بهینه سازی روش تشخیص اهمیت پیوند در پایگاه پیوند و کاربست آن در معماری موتورهای …

۲-۱۴-۲۱ موتورهای جستجوی منطقه ای
این موتورهـا بـرای کشـورهای مختلف و نواحی جغرافیایی مختلف در نظر گـرفته شـده اند. در زیر برخی از طبقه بندی نواحی مختلف آورده شده است[۵۶]:

  • Africa
  • Americas
  • Asia
  • Australia and New Zealand
  • Europe
  • Middle East
  • By Language

۲-۱۵ نتیجه گیری
در بخش اول این فصل، مقدمه و تاریخچه ای از موتورهای جستجو بیان گردید و انواع موتورهای جستجو شرح داده شد. در بخش دوم، معماری موتورهای جستجو تشریح و سپس اجزا و نحوه عملکرد هر یک توضیح داده شد. همچنین مثالی برای درک بهتر چگونگی عملکرد موتورهای جستجو ذکر گردید و الگوریتم های رتبه بندی و پارامترهایی که جهت رتبه بندی استفاده می شوند معرفی و شرح داده شد و در انتهای این فصـل، موتورهـای جستجـو در چند گروه بزرگ دسته بنـدی شـدند. این دسته بنـدی کمـک می کند که در جستجو برای موضوعات مختلف، از موتورهایی استفاده نماییم که دستیابی به نتایج را سریعتر امکان پذیر سازد. برای آشنایی بیشتر با این دسته بندی، چندین مثال از هر یک از آن ها نیز ارائه گردید. در فصل بعد این پایان نامه، به معماری خزنده های وب، چالش ها و استراتژی های خزش پرداخته می شود.
فصل سوم
معمـاری خـزنده وب و
استراتژی های خزش
۳-۱ مقدمه
همگام با رشد چشمگیر کاربران اینترنت و ماهیت پویای وب، دقت در ارائه نتایج جستجو چیزیست که کاربران همواره از موتورهای جستجوگر انتظار دارند. هر چه این نتایج دقیق تر و مرتبط تر باشد، موتور جستجو محبـوب تر خواهـد بود و کاربران بیشتری بدان مراجعه خواهنـد نمود بنابراین همـواره باید مرتبط ترین و بروزترین اطلاعات در اختیار کاربران قرار گیرد[۴۷].
یک موتور جستجوگر در قدم اول و قبل از آنکه بخواهد نتایجی را به کاربر نمایش دهد باید اطلاعات را جمع آوری و طبقه بندی نماید. بنابراین موتورهای جستجو باید تا حد امکان وب سایت ها را مرور و آدرس صفحات را با چکیده ای از محتویات صفحه ذخیره و طبقه بندی کنند. این وظیفه بسیار سنگین است و توسط خزندگان وب انجام می شود. این برنامه ها به صورت خودکار در وب می گردند و محتویات صفحات وب سایت ها را برای تحلیل بعدی ذخیره می کنند[۴۳]. از آن جا که تعداد صفحات و حجم آن ها بسیار بالاست از این رو این کار در مقیاس بسیار بزرگی انجام می شود و به زمان و پهنای باند بالایی نیاز دارد[۴۶].
خزنده وب برنامه ای اسـت که صفحات وب را از وب بازیابی و ذخیـره می نماید. خـزنده وب با قـرار دادن مجمـوعـه ی اولیه ی آدرس ها در صـف نقطه شروع[۹۱] آغاز می شـود و آدرس را از صـف نقطـه ی شـروع بدسـت آورده، صفحـه وب را دانلود، تمـام آدرس های موجـود در صفحه دانلـود شـده را استخـراج نمـوده، آدرس های جدید را در صف نقطه شروع قـرار می دهد و آدرس بعـدی را از این صـف بدسـت می آورد. خـزنده وب فرآینـد خـزش را تا زمانـی که تصمیم توقـف گرفته نشود تکـرار می کنـد.
خزنده وب اغلب باید در دوره زمانی کوتاه هزاران میلیون صفحه را دانلود نموده و به طور مداوم بر صفحات نظارت و آنها را بروز نماید. علاوه بر این، خزنده نباید بار شدیدی بر روی وب سایت های بازدید شده قرار دهد[۴۹].
۳-۲ معماری خزنده های وب
اکثر خزنده های وب دارای پنج بخش عمده ی زیر می باشند[۱ و ۲۱]:

مطلب دیگر :
سايت مقالات فارسی - بهینه سازی روش تشخیص اهمیت پیوند در پایگاه پیوند و کاربست آن در ...

دانلود کامل پایان نامه در سایت pifo.ir موجود است.

  1. ماژول تصمیم گیر [۹۲]DNS
  2. ماژول واکشی[۹۳]
  3. واحد کنترل[۹۴]
  4. واحد تجزیه[۹۵]
  5. واحد کار[۹۶]

Parsing Unit
Data Base
Workload Unit
Indexing
Link Extracting
Controller
Fetcher
WWW