چهارشنبه ۲۵ مهر ۱۳۹۷ / Wednesday, 17 October, 2018

چطور موتورهای جستجو کار می‌کنند؟


چطور موتورهای جستجو کار می‌کنند؟
وقتی جستجویی در یك موتور جستجوگر انجام و نتایج جستجو ارایه می‌شود، كاربران در واقع نتیجه كار بخش‌های متفاوت موتور جستجوگر را می‌بینند.
موتور جستجوگر قبلاً پایگاه داده‌اش را آماده كرده است و این گونه نیست كه درست در همان لحظه‌ی جستجو، تمام وب را بگردد.
بسیاری از خود می‌پرسند كه چگونه ممكن است گوگل در كمتر از یك ثانیه تمام سایت‌های وب را بگردد و میلیون‌ها صفحه را در نتایج جستجوی خود ارایه كند؟
گوگل و هیچ موتور جستجوی دیگری توانایی انجام این كار را ندارند. همه آنها در زمان پاسخ‌گویی به جستجوهای كاربران، تنها در پایگاه داده‌ای كه در اختیار دارند به جستجو می‌پردازند و نه در وب! موتور جستجوگر به كمك بخش‌های متفاوت خود، اطلاعات مورد نیاز را قبلاً جمع‌آوری، تجزیه و تحلیل می‌كند، آنرا در پایگاه داده‌اش ذخیره می‌نماید و به هنگام جستجوی كاربر تنها در همین پایگاه داده می‌گردد.
بخش‌های مجزای یك موتور جستجوگر عبارتند از:
▪ Spider یا عنكبوت
▪ Crawler یا خزنده
▪ Indexer یا بایگانی كننده
▪ Database یا پایگاه داده
▪ Ranker یا سیستم رتبه‌بندی
الف) Spider (عنكبوت)
اسپایدر یا روبوت (Robot) نرم افزاری است كه كار جمع‌آوری اطلاعات مورد نیاز یك موتور جستجو را بر عهده دارد. اسپایدر به صفحات مختلف سر می‌زند، محتوای آنها را می‌خواند، لینك‌ها را دنبال می‌كند، اطلاعات مورد نیاز را جمع‌آوری می‌كند و آنرا در اختیار سایر بخش‌های موتور جستجوگر قرار می‌دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می‌كنند، اسپایدر هم درست این كار را انجام می‌دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می‌بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن این كدها را.
اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می‌گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یك سایت و اتفاقات انجام شده در آن را داشته باشید، می‌توانید مشخص كنید كه اسپایدر كدام یك از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یكی از فعالیت‌های اصلی كه در SEM انجام می‌شود تحلیل آمار همین دید و بازدیدها است.
اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده‌ای از آنها به سایت‌های مختلف مراجعه می‌كنند و فقط به بررسی فعال بودن لینك‌های آنها می‌پردازند و یا به دنبال آدرس ایمیل (E-mail) می‌گردند.
ب) Crawler (خزنده)
كراولر، نرم‌افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می‌كند. كراولر مشخص می‌كند كه اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع كراولر تصمیم می‌گیرد كه كدام یك از لینك‌های صفحه‌ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی‌ها را دنبال كند و یا هیچ كدام را دنبال نكند.
كراولر، ممكن است قبلاً برنامه‌ریزی شده باشد كه آدرس‌های خاصی را طبق برنامه در اختیار اسپایدر قرار دهد تا از آنها دیدن كند. دنبال كردن لینك‌های یك صفحه به این بستگی دارد كه موتور جستجو چه حجمی از اطلاعات یك سایت را می‌تواند (یا می‌خواهد) در پایگاه داده‌اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.
شما به عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجو اطلاعات سایت شما را با خود ببرند، می‌توانید آنها را از بعضی صفحات سایت‌تان دور كنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می‌كند و از حقوق دسترسی خود اطلاع می‌یابد. تنظیم میزان دسترسی موتورهای جستجو به محتوای یك سایت توسط پروتكل Robots انجام می‌شود. به عمل كراولر، خزش (Crawling) می‌گویند.

هادی زجاجی

منبع : روزنامه همشهری

مطالب مرتبط

شباهتهای آفلاین و آنلاین: موتور جستجوگر و شکارچی

شباهتهای آفلاین و آنلاین: موتور جستجوگر و شکارچی
مهران در روستایی زیبا نزدیک منطقه حفاظت شده ابیورد واقع در شمال شرقی ایران زندگی می کند. او شکارچی ماهری است و همیشه با گوشت لذیذ شکار از میهمانانش پذیرایی می کند. تابستان گذشته بدون اطلاع قبلی به او سر زدم. آنجا که رسیدم خیلی خسته بودم و البته گرسنه. درست یکساعت بعد در حالیکه شکمی از عزا درآورده بودم به این فکر می کردم که مهران چگونه به آن سرعت، غذایی خوشمزه از گوشت آهو برایم آماده کرد؟ او که همان لحظه به شکار نرفته بود!
این سوال من را یاد سوال یکی از مشتریانم انداخت که قبلا به من گفته بود: چگونه گوگل در کمتر از یک ثانیه به سوالات ما پاسخ می دهد؟ مگر گوگل می تواند در این مدت کوتاه در تمام وب بگردد؟
چه فانتزی! می توانم رفتار مهران را با رفتار یک موتور جستجوگر مقایسه کنم. این مقایسه برای من که کسب و کاری آنلاین دارم جذاب است. شاید برای شما هم جذاب باشد!
مهران برای شکار، به مجوز نیاز دارد هر چند که می تواند غیر قانونی هم این کار را بکند. او می تواند از راههای بسیاری وارد منطقه حفاظت شده شود. می تواند آهو شکار کند یا کبک یا خرگوش و ... . ممکن است شب به شکار برود و یا روز. جالب است بدانید که او گاهی دست خالی و بدون شکار بر می گردد.
موتور جستجوگر نیز می تواند از راههای متفاوتی به یک سایت وارد شود. این راهها همان لینکها هستند. موتور جستجوگر برای خواندن صفحات سایت مجوزهای لازم و محدودیتها را در فایل ROBOTS.TXT بررسی می کند. هر چند که می تواند آن مجوزها را به طور کلی نادیده بگیرد. موتور جستجوگر می تواند انواع فایل را بخواند: فایل DOC، PDF، HTML، PHP و ... شب به سایت سر بزند و یا روز. گاهی هم که به سایت سر می زند با دست خالی بر می گردد زیرا سرور سایت جواب نمی دهد و سایت موقتا و یا برای همیشه فعال نیست.
مهران بخشهای زاید شکار را همانجا دور می ریزد و بقیه را باخود به خانه اش می آورد. گوشت را بسته بندی می کند و در فریزر قرار می دهد تا در روزهای آینده از آن استفاده نماید.
موتور جستجوگر نیز بعد از خواندن محتوای سایت بخشهای زاید را دور می ریزد (کلمات بنجل) و بقیه را با خود می آورد، گروه بندی می کند، فشرده سازی می کند و در پایگاه داده اش قرار می دهد تا بعدا از آن استفاده نماید.
مهران اگر لذیذترین گوشت را هم در اختیار داشته باشد اما آشپز خوبی نباشد و نتواند غذای خوبی طبخ کند، برای من که کمی شکمو هستم، اوضاع نگران کننده است و او آشپز محبوب من نخواهد بود.
موتور جستجوگر هم اگر بهترین اطلاعات را در اختیار داشته باشد اما نتواند پاسخهای خوبی به سوالات کاربران بدهد، موتور جستجوی محبوب کاربران وب نخواهد بود.
● برداشتهای فنی:
۱) سایت شما نباید منطقه حفاظت شده باشد.
از سایتهای دیگر بخواهید که به شما لینک کنند. ساختار سایت را به گونه ای طراحی و تدوین کنید که موتور جستجوگر به راحتی بتواند به بخشهای مختلف آن سر بزند. اگر شکارچی سرخود راهی "شرق" نمی شود تا منطقه ای حفاظت شده در آن سو بیابد موتور جستجوگر نیز تا راهی (لینکی) به سایت شما نداشته باشد روانه آن نمی شود.
۲) مجوز لازم را به موتور جستجوگر بدهید.
سایت طراحی شده است که اطلاعاتی عرضه کند بنابراین ضرورتی ندارد دسترسی به آنها را محدود کنید. پس با دقت فایل robots.txt سایت خود را تهیه کنید. حتی اگر سایت شما محدودیتی ندارد این فایل را تهیه کنید و در سایت خود قرار دهید. حالا سایت شما حرفه ای تر است چون برای خود قانون دارد!
۳) در انتخاب میزبان وب سایت خود دقت کنید.
وب سایت شما باید همواره در دسترس باشد تا موتور جستجوگر بتواند با مراجعه به آن فایلهای مختلف را شکار کند.
۴) راه ورود به سایت شما تنها صفحه اول آن نیست!
اشتباه بسیاری از مدیران این است که تمام لینکها را به صفحه اول سایت خود ارجاع می دهند. اگر از سایتهای دیگر لینک درخواست می کنید به صفحات داخلی سایتتان نیز لینک کنید. صفحه اول سایتها معمولا محتوای کمی دارد و شانس کسب رتبه بالا را کاهش می دهد.
۵) هر موتور جستجوگری مهم نیست.
وقت خود را با تمرکز بر روی موتورهای جستجوگر غیر مهم تلف نکنید. آنها هیچ ارزشی برای سایتان ندارند زیرا ترافیک ناشی از آنها در عمل برابر صفر است. گوگل، یاهو، MSN و ASK در اغلب موارد کافی اند. من نیز این قانون را رعایت می کنم و به کار مهران ایمان دارم و سراغ شکارچی دیگری نمی روم.
های مهدی! امروز تو هم باید با من بیایی. با این صدا بود که من از دغدغه های ذهنی ام خارج شدم. وب و گوگل را فراموش کردم. دنیای مهران هم می تواند جذاب باشد هر چند که او اصلا نمی داند گوگل چیست!

وبگردی
فیلم | رسوایی جدید در رسانه ملی؛ مقصر فریب مردم کیست؟
فیلم | رسوایی جدید در رسانه ملی؛ مقصر فریب مردم کیست؟ - فیلم - پدری که در برنامه «فرمول یک» علی ضیا ادعا کرد به خاطر تامین هزینه‌های درمان فرزندش اقدام به فروش کلیه‌اش کرده، مردم را فریب داده است.
«بیان واضحات و تکرار مکررات» ؛ نتیجه 7 سال بودجه و تشکیلات و همایش و جلسه!
«بیان واضحات و تکرار مکررات» ؛ نتیجه 7 سال بودجه و تشکیلات و همایش و جلسه! - مثلاً سنت های الهی که در این سند آمده، در کتاب های درس بینش اسلامی دوره دبیرستان هم وجود دارد... واقعاً هزاران جلسه تشکیل داده اند که بدیهیاتی مانند خانواده بنیادی ترین واحد تشکیل دهنده جامعه است، انسان دارای اختیار است، جهان دارای نظام علّی - معلولی است، خداوند رحمان و رحیم است و ... را در سند بازنویسی کنند؟!
گلایه های جنجالی یک بازرگان با وزیر صنعت
گلایه های جنجالی یک بازرگان با وزیر صنعت - صحبتهای کنایه آمیز یک بازرگان با وزیر صنعت
ادامه داستان لُنگ و خانه سعدآباد
ادامه داستان لُنگ و خانه سعدآباد - ۱- خب چی میشه ولایتی بجای توصیه به لُنگ پوشی، بملت توصیه کنه تو سعدآباد مالک خونه بشن ویک سومشو وقف کنن؟ ۲- اینجور واینجا صاحبخونه شدن و بعد توجیه وقف، آدمو یادحافظ میندازه: فقیه مدرسه دی مست بود و فتوی داد که می‌حرام، ولی بِه زمالِ اوقاف است
عبدی : آقای ولایتی با خانه هزارمتری کنار کاخ سعدآباد حالا مردم رابه نان خشک خوردن دعوت می‌کنند
عبدی : آقای ولایتی با خانه هزارمتری کنار کاخ سعدآباد حالا مردم رابه نان خشک خوردن دعوت می‌کنند - حالا مردم رابه نان خشک خوردن دعوت می‌کنند؟مردم نیازی به این توصیه‌هاندارند اگرلازم باشد آن‌قدر شرف دارندکه از خودشان دفاع کنند ولی این دفاع،منحصربه دفاع دربرابر دشمنان خارجی نمی‌شود که باید وضعیت خیلی‌ها رادر داخل هم بررسی کرد.
فیلم | حمله به پلیس در اهواز به درگیری مرگ‌بار انجامید!
فیلم | حمله به پلیس در اهواز به درگیری مرگ‌بار انجامید! - فیلم - حمله فرد متهم در بازار پرنده فروشان اهواز به پلیس آگاهی منجر به درگیری مرگبار شد.
ماجرای عجیب منزل های مسکونی در همسایگی کاخ سعد آباد
ماجرای عجیب منزل های مسکونی در همسایگی کاخ سعد آباد - ماجرای عجیب دو منزل مسکونی در همسایگی کاخ سعدآباد و حسین فریدون و نهاد ریاست جمهوری
فیلم | لحظه حمله جن‌ها به یک مرد در کرج! (۱۶+)
فیلم | لحظه حمله جن‌ها به یک مرد در کرج! (۱۶+) - فیلم - به تازگی شخصی در فضای مجازی فیلمی منتشر کرده که مردی ادعا می کند در پارکینگ خانه اش مورد حمله جن ها قرار گرفته است.
فیلم | درس خجالت‌آوری که یک توریست به ایرانی‌ها می‌دهد!
فیلم | درس خجالت‌آوری که یک توریست به ایرانی‌ها می‌دهد! - فیلم - پاول یک توریست اهل چک است که با موتورسیکلتش دنیا را می گردد و یک هفته در ایران اقامت داشته است. ویدئوی سلفی که او در طبیعت ایران از خود و اقدام پسندیده اش منتشر کرده برای همه ایرانیان جای تامل دارد.
فیلم | جنازه غرق در خون ملکه زیبایی عراق (۱۶+)
فیلم | جنازه غرق در خون ملکه زیبایی عراق (۱۶+) - فیلم - قتل مدل و ملکه زیبایی عراق از روز گذشته سوژه رسانه ها شده و پلیس تحقیقات ویژه ای را برای دستگیر قاتل وی انجام داده است. تصاویر منتشر شده از جنازه غرق در خون وی را در ویدئوی زیر می بینید.
جنجال بنر سربازان اسرائیلی در شیراز
جنجال بنر سربازان اسرائیلی در شیراز - عکس این بنرکه گفته می‌شود نمایشگر تصویری از سربازان رژیم صهیونیستی است طی روزهای اخیر در فضای مجازی دست به دست می‌شد و واکنش‌هایی به همراه داشت.
عکسی آموزنده از سفر نیویورک
عکسی آموزنده از سفر نیویورک - پوشه‌های پُر از برنامه فرانسوی‌ها در برابر دستان خالی تیم ایرانی. به کاغذ ها و پرونده های موجود روبه روی تیم فرانسه دقت کنید!
ویدئوی جنجالی وزیر بهداشت؛ #خودت_بمال / تمسخر و تحقیر بیمار نیازمند توسط وزیر
ویدئوی جنجالی وزیر بهداشت؛ #خودت_بمال / تمسخر و تحقیر بیمار نیازمند توسط وزیر - وزیربهداشت بهترین توصیه رو به اون پیرمرد بیچاره کرد که گفت: خودت بمال. پیرمرد باید دستش رو محکم می‌مالید به گوش وزیر تا یک بار هم که شده از تخت اخلاق فرعونی بیاد پایین
نیاز شدید تلویزیون به بدحجابها در روزهای خاص
نیاز شدید تلویزیون به بدحجابها در روزهای خاص - کاش در این میان یکی به ما بگوید که بالاخره بی حجاب بد است، خوب است؟ چه زمانی بد است؟ چه زمانی خوب است؟
حال فعلی ! یا ناتوانی در تشخیص حال قبلی
حال فعلی ! یا ناتوانی در تشخیص حال قبلی - حمید رسایی عضو جبهه پایداری در صفحه شخصی خود در شبکه توییتر نسبت به اهانت زشت امیر تتلو به امام حسین (ع) و 72 تن از یاران باوفایش واکنش تندی نشان داد.
ویدئو/ وحشت پزشکان از تولد نوزاد تک چشم در اندونزی (۱۶+)
ویدئو/ وحشت پزشکان از تولد نوزاد تک چشم در اندونزی (۱۶+) - پزشکان هنگامی که یک نوزاد دختر اندونزیایی را در یکی از بیمارستان های این کشور به دنیا آوردند بسیار وحشت زده شدند. نوزاد تازه متولد شده با یک چشم بزرگ روی پیشانی اش متولد شد و پس از هفت ساعت درگذشت.
بازنشر نامه استاد به امیر تتلو! / معیار تشخیص حق از باطل گشته ای !
بازنشر نامه استاد به امیر تتلو! / معیار تشخیص حق از باطل گشته ای ! - فردی به نام علی‌اکبر رائفی‌پور كه رسانه‌‌های اصولگرا از او به عنوان «استاد، محقق و پژوهشگر» یاد می‌كنند! در تاریخ 29 اردیبهشت 96 (در كوران انتخابات ریاست‌جمهوری) در نامه‌ای سرگشاده به امیرحسین مقصودلو (تتلو) نوشت: «امیر جان بخوان، تو باید بخوانی، عیبی ندارد! سرت را بالا بگیر و خدا را شکر کن که به واسطه تو این همه نفاق را آشکار کرد! دلت محکم باشد پهلوان! تو فقط بخوان، بخوان
جنجال احمد خمینی در VIP عزاداری حسینی
جنجال احمد خمینی در VIP عزاداری حسینی - انتشار عکس‌های نشستن احمد خمینی زیر کولر در بخش وی‌آی‌پی هیات که پوششی شیشه‌ای دارد و از سینه‌زنان جداست، پس از توضیح او که گفت آن جایگاه مربوط به «روحانیون درجه یک و دو قم» است و «اون بالا معممین میشینن که لباسشون چون زیاده باعث گرمازدگی نشه»، با واکنش‌های تندتری هم همراه بود.
واکنش جالب رهبری به روبوسی کیارستمی با داور خانم جشنواره کن!
واکنش جالب رهبری به روبوسی کیارستمی با داور خانم جشنواره کن! - واکنش جالب مقام معظم رهبری به روبوسی کیارستمی با خانم داور جشنواره کن از زبان عزت الله ضرغامی