شنبه ۱ اردیبهشت ۱۳۹۷ / Saturday, 21 April, 2018

چطور موتورهای جستجو کار می‌کنند؟


چطور موتورهای جستجو کار می‌کنند؟
وقتی جستجویی در یك موتور جستجوگر انجام و نتایج جستجو ارایه می‌شود، كاربران در واقع نتیجه كار بخش‌های متفاوت موتور جستجوگر را می‌بینند.
موتور جستجوگر قبلاً پایگاه داده‌اش را آماده كرده است و این گونه نیست كه درست در همان لحظه‌ی جستجو، تمام وب را بگردد.
بسیاری از خود می‌پرسند كه چگونه ممكن است گوگل در كمتر از یك ثانیه تمام سایت‌های وب را بگردد و میلیون‌ها صفحه را در نتایج جستجوی خود ارایه كند؟
گوگل و هیچ موتور جستجوی دیگری توانایی انجام این كار را ندارند. همه آنها در زمان پاسخ‌گویی به جستجوهای كاربران، تنها در پایگاه داده‌ای كه در اختیار دارند به جستجو می‌پردازند و نه در وب! موتور جستجوگر به كمك بخش‌های متفاوت خود، اطلاعات مورد نیاز را قبلاً جمع‌آوری، تجزیه و تحلیل می‌كند، آنرا در پایگاه داده‌اش ذخیره می‌نماید و به هنگام جستجوی كاربر تنها در همین پایگاه داده می‌گردد.
بخش‌های مجزای یك موتور جستجوگر عبارتند از:
▪ Spider یا عنكبوت
▪ Crawler یا خزنده
▪ Indexer یا بایگانی كننده
▪ Database یا پایگاه داده
▪ Ranker یا سیستم رتبه‌بندی
الف) Spider (عنكبوت)
اسپایدر یا روبوت (Robot) نرم افزاری است كه كار جمع‌آوری اطلاعات مورد نیاز یك موتور جستجو را بر عهده دارد. اسپایدر به صفحات مختلف سر می‌زند، محتوای آنها را می‌خواند، لینك‌ها را دنبال می‌كند، اطلاعات مورد نیاز را جمع‌آوری می‌كند و آنرا در اختیار سایر بخش‌های موتور جستجوگر قرار می‌دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می‌كنند، اسپایدر هم درست این كار را انجام می‌دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می‌بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن این كدها را.
اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می‌گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یك سایت و اتفاقات انجام شده در آن را داشته باشید، می‌توانید مشخص كنید كه اسپایدر كدام یك از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یكی از فعالیت‌های اصلی كه در SEM انجام می‌شود تحلیل آمار همین دید و بازدیدها است.
اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده‌ای از آنها به سایت‌های مختلف مراجعه می‌كنند و فقط به بررسی فعال بودن لینك‌های آنها می‌پردازند و یا به دنبال آدرس ایمیل (E-mail) می‌گردند.
ب) Crawler (خزنده)
كراولر، نرم‌افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می‌كند. كراولر مشخص می‌كند كه اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع كراولر تصمیم می‌گیرد كه كدام یك از لینك‌های صفحه‌ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی‌ها را دنبال كند و یا هیچ كدام را دنبال نكند.
كراولر، ممكن است قبلاً برنامه‌ریزی شده باشد كه آدرس‌های خاصی را طبق برنامه در اختیار اسپایدر قرار دهد تا از آنها دیدن كند. دنبال كردن لینك‌های یك صفحه به این بستگی دارد كه موتور جستجو چه حجمی از اطلاعات یك سایت را می‌تواند (یا می‌خواهد) در پایگاه داده‌اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.
شما به عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجو اطلاعات سایت شما را با خود ببرند، می‌توانید آنها را از بعضی صفحات سایت‌تان دور كنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می‌كند و از حقوق دسترسی خود اطلاع می‌یابد. تنظیم میزان دسترسی موتورهای جستجو به محتوای یك سایت توسط پروتكل Robots انجام می‌شود. به عمل كراولر، خزش (Crawling) می‌گویند.

هادی زجاجی

منبع : روزنامه همشهری

مطالب مرتبط

زیر آب زنی از نوع گوگلی

زیر آب زنی از نوع گوگلی

وبگردی
سیلی زدن به «امید» مردم در پارک!
سیلی زدن به «امید» مردم در پارک! - کتک خوردن دختری که جز التماس دوستانش هیچ فریادرسی ندارد از یک پلیس زن عضو گشت ارشاد که ماموران مرد هم آنها را همراهی می کردند، آنقدر دردناک است که کمتر وجدان بیداری به آن واکنش نشان نداده است.
زبان روسی به عنوان زبان دوم در مدارس !
زبان روسی به عنوان زبان دوم در مدارس ! - آخه قربونت برم اصلاً درکى از دلیل وجودى زبان دوم و فلسفه آموزشیش دارى که این پیشنهاد رو دادى؟ زبان دوم زبانیه که بر اساس میزان کاربرد و گسترش جهانى انخاب میشه، براى ایجاد ارتباط کلامى بیشتر. یعنى ربطى به رابطه سیاسى شما با آمریکا و انگلیس نداره.
عصر ما - پرونده حضور زنان در ورزشگاه ها
عصر ما - پرونده حضور زنان در ورزشگاه ها - بررسی حضور زنان در ورزشگاه ها با حضور نرگس آبیار، لاله افتخاری، حمید رسایی، حجت الاسلام محسن غرویان و فائزه هاشمی.
حمله فیزیکی به بازیگر زن ایرانی در خیابان! / عکس
حمله فیزیکی به بازیگر زن ایرانی در خیابان! / عکس - بازیگر سریال "تعطیلات رویایی" از حمله افراد ناشناس به خود خبر داد. مریم معصومی، بازیگر سینما و تلویزیون مورد حمله افراد ناشناس قرار گرفت.
گفتگوی تلفنی با همسر مرتضوی / صوت
گفتگوی تلفنی با همسر مرتضوی / صوت - سعید مرتضوی که در روزهای گذشته خبری از او نبود و حتی سخنگوی دستگاه قضایی گفته بود حکم جلبش صادر شده اما گیرش نیاورده‌اند، به گفته همسرش در تهران است.
ارسطوی پایتخت با مونا فائض پور ازدواج کرد
ارسطوی پایتخت با مونا فائض پور ازدواج کرد - «احمد مهران فر» بازيگر نقش «ارسطو عامل» در سريال پايتخت ۵ در اینستاگرام خود از ازدواجش با «مونا فائض پور» خبر داد.
صحبت های جنجالی رییسی علیه روحانی
صحبت های جنجالی رییسی علیه روحانی - صحبت های جنجالی رییسی پیرامون استفاده روحانی از نام امام رضا در انتخابات
500 نفر محتوای نامه‌های پستی مردم را میخواندند و چک می‌کردند!
500 نفر محتوای نامه‌های پستی مردم را میخواندند و چک می‌کردند! - محمد غرضی می‌گوید: زمانی که به عنوان وزیر در وزارت حضور یافتم بیش از ۵۰۰ نفر را دیدم نامه‌هایی که از داخل به خارج و از خارج به داخل کشور ارسال می‌شدند را چک می‌کردند و به صورت سه شیفت فعالیت می‌کردند و نامه‌ها را می‌خواندند.
جنجال ویدیو دختر بازیگر روی کول بازیکن پرسپولیس!
جنجال ویدیو دختر بازیگر روی کول بازیکن پرسپولیس! - عکس و ویدیویی منتسب به ستاره پرسپولیس فرشاد احمدزاده و ترلان پروانه بازیگر سینما و تلویزیون در فضای مجازی منتشر شده است. عجب پاپراتزی‌هایی داریم!
دختر داعشی سریال پایتخت کیست ؟
دختر داعشی سریال پایتخت کیست ؟ - در قسمت های اخیر سریال پایتخت بازیگر جدیدی به جمع خانواده معمولی پیوسته است؛ نیلوفر رجایی فر نقش الیزابت را در سریال پایتخت ۵ ایفا می کند ؛ این بازیگر با جلب اعتماد سیروس مقدم این فرصت ط بازی در سریال پر طرفدار پایتخت را به دست آورد .
خانم ایرانی، عامل تیراندازی در مقر یوتیوب / فیلم
خانم ایرانی، عامل تیراندازی در مقر یوتیوب / فیلم - ویدیوهایی از نسیم نجفی اقدم در شبکه های اجتماعی به زبان های انگلیسی و فارسی موجود است که در آن ها وی از حذف ویدیوهای خود توسط یوتیوب شکایت دارد.
رقص کاوه مدنی یا کالای ایرانی؟
رقص کاوه مدنی یا کالای ایرانی؟ - بگذارید اینطور بپرسم: مگر کیروش، مربی تیم ملی فوتبال جمهوری اسلامی ایران عرق نمی‌خورد؟ نمی‌رقصد؟ مگر برانکو و شفر نمازشب می‌خوانند و روزه می‌گیرند و اصولگرا و ارزشی و انقلابی هستند؟!