سه شنبه ۲ آبان ۱۳۹۶ / Tuesday, 24 October, 2017

چطور موتورهای جستجو کار می‌کنند؟


چطور موتورهای جستجو کار می‌کنند؟
وقتی جستجویی در یك موتور جستجوگر انجام و نتایج جستجو ارایه می‌شود، كاربران در واقع نتیجه كار بخش‌های متفاوت موتور جستجوگر را می‌بینند.
موتور جستجوگر قبلاً پایگاه داده‌اش را آماده كرده است و این گونه نیست كه درست در همان لحظه‌ی جستجو، تمام وب را بگردد.
بسیاری از خود می‌پرسند كه چگونه ممكن است گوگل در كمتر از یك ثانیه تمام سایت‌های وب را بگردد و میلیون‌ها صفحه را در نتایج جستجوی خود ارایه كند؟
گوگل و هیچ موتور جستجوی دیگری توانایی انجام این كار را ندارند. همه آنها در زمان پاسخ‌گویی به جستجوهای كاربران، تنها در پایگاه داده‌ای كه در اختیار دارند به جستجو می‌پردازند و نه در وب! موتور جستجوگر به كمك بخش‌های متفاوت خود، اطلاعات مورد نیاز را قبلاً جمع‌آوری، تجزیه و تحلیل می‌كند، آنرا در پایگاه داده‌اش ذخیره می‌نماید و به هنگام جستجوی كاربر تنها در همین پایگاه داده می‌گردد.
بخش‌های مجزای یك موتور جستجوگر عبارتند از:
▪ Spider یا عنكبوت
▪ Crawler یا خزنده
▪ Indexer یا بایگانی كننده
▪ Database یا پایگاه داده
▪ Ranker یا سیستم رتبه‌بندی
الف) Spider (عنكبوت)
اسپایدر یا روبوت (Robot) نرم افزاری است كه كار جمع‌آوری اطلاعات مورد نیاز یك موتور جستجو را بر عهده دارد. اسپایدر به صفحات مختلف سر می‌زند، محتوای آنها را می‌خواند، لینك‌ها را دنبال می‌كند، اطلاعات مورد نیاز را جمع‌آوری می‌كند و آنرا در اختیار سایر بخش‌های موتور جستجوگر قرار می‌دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می‌كنند، اسپایدر هم درست این كار را انجام می‌دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می‌بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن این كدها را.
اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می‌گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یك سایت و اتفاقات انجام شده در آن را داشته باشید، می‌توانید مشخص كنید كه اسپایدر كدام یك از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یكی از فعالیت‌های اصلی كه در SEM انجام می‌شود تحلیل آمار همین دید و بازدیدها است.
اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده‌ای از آنها به سایت‌های مختلف مراجعه می‌كنند و فقط به بررسی فعال بودن لینك‌های آنها می‌پردازند و یا به دنبال آدرس ایمیل (E-mail) می‌گردند.
ب) Crawler (خزنده)
كراولر، نرم‌افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می‌كند. كراولر مشخص می‌كند كه اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع كراولر تصمیم می‌گیرد كه كدام یك از لینك‌های صفحه‌ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی‌ها را دنبال كند و یا هیچ كدام را دنبال نكند.
كراولر، ممكن است قبلاً برنامه‌ریزی شده باشد كه آدرس‌های خاصی را طبق برنامه در اختیار اسپایدر قرار دهد تا از آنها دیدن كند. دنبال كردن لینك‌های یك صفحه به این بستگی دارد كه موتور جستجو چه حجمی از اطلاعات یك سایت را می‌تواند (یا می‌خواهد) در پایگاه داده‌اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.
شما به عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجو اطلاعات سایت شما را با خود ببرند، می‌توانید آنها را از بعضی صفحات سایت‌تان دور كنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می‌كند و از حقوق دسترسی خود اطلاع می‌یابد. تنظیم میزان دسترسی موتورهای جستجو به محتوای یك سایت توسط پروتكل Robots انجام می‌شود. به عمل كراولر، خزش (Crawling) می‌گویند.

هادی زجاجی

منبع : روزنامه همشهری

مطالب مرتبط

کلمات در حال جستجو
معتمدی منطقه آزاد اروند , فقر حرکتی , «چه کسی مرا هل داد؟» , هدفمندی یارانه , رابطه دولت و سپاه , ادعیه , ناک اوت , دهری , طرح پایان جنگ یمن , کارت پستال سال نو , صرف , ۲ شهریور , بازیگران جوان هالیوود , زنان اواره سوری , مفقود , مبارزه با سن غلات , جامعه هدف , افتتاحیه اکران فیلم سینمایی یه وا , تایلند , ماده پیش ساز , سارتر , بیماری های عفونی همه گیر , اداره کل تبلیغات اسلامی همدان , فصل تخم ریزی , تلفات سوانح , سازمان بهره وری آسیایی , فرمانده ستاد مشترک ارتش آمریکا , دشت مرند , فرماندهی داعش , کمیسیون ثبت طرح و صدور مجوز اسباب‌بازی , عملیات عرشه گذاری پل , عبدالرضا فولادوند , جعفر عبدالملکی , مستند اعتراض وارد نیست در شب‌های سفید , کاهش قیمت کالاهای دیجیتال , کارتون سیندرلا , جراحی غیر تهاجمی , اعظم آخوندی , مشکلات اجتماعی , ورزش حرفه ای , آرای عمومی , نیازمندی‌های روزنامه , شبکه توزیع گوشت , گفتگو نوروزی , یار دیرین , مزدور موریتانیایی , نشست بررسی اندیشه های آیت الله هاشمی , ایران ایر تور , لیست امید , بسیج ملی ,

برخی از مطالبی که کاربران هم اکنون در حال خواندن آن هستند
نثر ساده به تقلید اروپا , ترکیب کلی ایلات و طوایف , گاراژ , نکاتی که هرگز نباید در هتل دیده شود , پیشگیری اولیه , ملک‌جمشید و ملک‌خورشید (۲) , مطبوعات و جراید کشور , فال قهوه (۱۰) , پشمالو(۲) , اپیدمیولوژی توصیفی سرطان ریه , آنتی‌بیوتیک‌ها , نرخ‌های اضافی تعرفه‌ای , رخت تمکین مرا عشق به یک بار بسوخت , ای سرو گلندام که داری کمر از مو , تجاوز ترکیه و نتایج آن (The Turkish Invasion & Its Aftermath) , اصول تشخیص , قبرس (۲) , سرفه و هموپتیزی , چو آفتاب برآمد ز قعر آب سیاه , مسجد رشتخوار ,

برخی منابع مهم خبری
citypress.ir شهرداری تهران , rooznamehsaba.ir روزنامه صبا , winbeta.net وین بتا , khanevarzesh.com خانه‌ ورزش , irandoc.ac.ir مدارک علمی ایران , vetnews.ir وت نیوز , farsnews.ir خبرگزاری فارس , persianmags.com پرشین مگز , safirnews.com سفیر , jahaneghtesad.com روزنامه جهان اقتصاد , iusnews.ir خبرنامه دانشجویان , roozannews.ir روزنامه روزان , seratnews.ir صراط نیوز , eghtesadoma.com اقتصادوما , porseshnews.ir پرسش , zoomit.ir زومیت , modeonline.ir مدآنلاین , soroushnews.ir سروش , sobhanehonline.com صبحانه آنلاین , irib.ir صدا و سیما , freezones.ir مرکز امور مناطق آزاد , otaghpress.com اتاق‌پرس , smtnews.ir روزنامه صمت , dolatema.com دولت ما , rozanehonline.com روزنه , noandish.com نواندیش , dadna.ir دادنا , arshnews.ir عرش , namaknews.ir نمک , siasatnameh.ir سیاست نامه ,

وبگردی
انصافاً هیچ دولتى در شیرین كارى، خلاقیت اینا رو نداشت!
انصافاً هیچ دولتى در شیرین كارى، خلاقیت اینا رو نداشت! - امروز كه این عكسا رو دیدم، یهو دلم واسه كل ایل و تبارشون تنگ شد. انصافاً هیچ دولتى در شیرین كارى، خلاقیت اینا رو نداشت.
مردم اسلام آباد، مدرسه را به آتش کشیدند / فیلم
مردم اسلام آباد، مدرسه را به آتش کشیدند / فیلم - عصر دوشنبه شایعه ای مبنی بر تعرض یک نیروی خدماتی مدرسه ای در اسلام اباد ارومیه به دانش آموز 12 ساله در شبکه های اجتماعی منتشر شد اگرچه هنوز صحت خبر تایید نشده اما مردم منطقه تجمع کرده و عده ای از فرصت طلبان به مدارس یورش بردند.
آشکارشدن ابعادجدیدی از تجاوز ناپدری به اهورا
آشکارشدن ابعادجدیدی از تجاوز ناپدری به اهورا - یکی از همسایه ها گفت: هنگامی که وارد خانه شدیم اهورا لخت مادرزاد بود و قاتل نیز در حالی که نیمه برهنه بود روی مبل نشسته بود. یکی دیگر از همسایه ها نیز گفت: اهورا را در حالی که از بینی، دهان و.... دچار خونریزی بود از خانه خارج کردیم.
۵۰ درصد ثروت کشور در اختیار ۳ یا ۴ نهاد
۵۰ درصد ثروت کشور در اختیار ۳ یا ۴ نهاد - بهزاد نبوی می‌گوید اگر رییس دولت اصلاحات هر ۹ روز با یک بحران مواجه می‌شد، حسن روحانی در هر ۹ ساعت با یک بحران روبه‌رو شده است.
خرابکاری سگ رئیس جمهور فرانسه حین جلسه رسمی!
خرابکاری سگ رئیس جمهور فرانسه حین جلسه رسمی! - امانوئل مکرون رئیس جمهور فرانسه در جلسه ای با سه وزیر این کشور مشغول صحبت بود که سگ سیاه او در کنار شومینه اقدام به قضای حاجت کرد. این اتفاق باعث خنده حضار و مکرون شد.
اظهارات جنجالی و درگیری فیزیکی بقایی با ماموران پس از دادگاهش!
اظهارات جنجالی و درگیری فیزیکی بقایی با ماموران پس از دادگاهش! - دادگاه دوم حمید بقایی،معاون اجرایی محمود احمدی نژاد بسیار جنجالی شد... / ویدیو از آپارات
همسر جهانگیری در ضیافت ناهار همسر اردوغان در کشتی!
همسر جهانگیری در ضیافت ناهار همسر اردوغان در کشتی! - همسر اسحاق جهانگیری و دیگر مقامات اجلاس دی-۸ در ضیافت ناهار همسر اردوغان را می‌بینید.
محسن افشانی باز هم جنجال آفرید.
محسن افشانی باز هم جنجال آفرید. - بتازگی فیلمی در استوری اینستاگرام خانم لنی برلین lennyberlin خواننده و دی جی اوکراینی منتشر شده که عجیب بود. حضور آقای محسن افشانی بازیگر کشورمان در کنسرت این خواننده و حضور در کنار این خانم آن هم با ظاهری نامتعارف جای سوال و تعجب دارد.
میرشکاک: اختلاس مقدس شده است
میرشکاک: اختلاس مقدس شده است - خشت خام / نوبت سی و چهارم / گفتگوی حسین دهباشی با یوسفعلی میرشکاک / ویدیو از آپارات
فیلم | شخصی که کنار ترامپ ایستاده بدل ملانیاست
فیلم | شخصی که کنار ترامپ ایستاده بدل ملانیاست - فیلم - کاربران شبکه های اجتماعی با انتشار این ویدئو شایعه کرده اند فردی که کنار دونالد ترامپ ایستاده، ملانیا نیست و بدل او است.
رفتار نامناسب قرائتی در یک برنامه زنده
رفتار نامناسب قرائتی در یک برنامه زنده - سن و سال كه بالا برود حوصله آدم كمتر مي شود. در پخش مستقيم هم اقتضائات و شرايطي است كه آقاي قرائتي به آن عادت ندارد. در همين ويدئو هم ايشان مي گويد دوربين را نگه داريد! يعني كاملا واضح است كه ايشان تصور مي كرده در يك برنامه ضبطي سخنراني مي كند!
حمله خانم نماینده با پایه میکروفن به معاون استاندار
حمله خانم نماینده با پایه میکروفن به معاون استاندار - هاجر چنارانی نماینده نیشابور سخنرانی معاون استاندار خراسان رضوی را بخاطر استفاده سهوی از کلمه خراسان غربی در سخنرانی گذشته به هم زد.
"اسیدپاشی اصفهان" هم‌چنان "معما"
"اسیدپاشی اصفهان" هم‌چنان "معما" - این اظهارات رییس پلیس آگاهی مسیر عجیب خود را ادامه داد تا به اینجا رسید که توپ عدم دستگیری اسیدپاش را به زمین رسانه‌ها انداخت. او گفت: "این در شرایطی بود که این فرد در شرایط زمانی آن موقع به‌دنبال حساسیت بالایی که در رسانه‌ها و جامعه ایجاد شد، در نیمه راه، از ادامه مسیرش منصرف شد."
حاشیه های مراسم ختم داود احمدی‌نژاد
حاشیه های مراسم ختم داود احمدی‌نژاد - مراسم ترحیم مرحوم داود احمدی‌نژاد برادر رئیس جمهور سابق کشورمان عصر دیروز در مسجد امام خمینی(ره) شهرک شهید محلاتی برگزار شد.
دختر شطرنج‌باز ایرانی به تیم ملی آمریکا پیوست
دختر شطرنج‌باز ایرانی به تیم ملی آمریکا پیوست - دختر شطرنج‌باز ایرانی که به دلیل حضور بدون حجاب در رقابت‌های بین‌المللی از تیم ایران اخراج شد، به تیم ملی آمریکا پیوست.
میلیاردر ایرانی بار دیگر خودرویBMW خود را به آتش کشید
میلیاردر ایرانی بار دیگر خودرویBMW خود را به آتش کشید - فیلم / آقا این ماشینو بفروش یک پراید بخر راحت شو.
ازدواج قربانی اسید پاشی اصفهان
ازدواج قربانی اسید پاشی اصفهان - مرضیه ابراهیمی در جریان اسیدپاشی یکی از قرنیه‌هایش را از دست داد و بدنش نیز به‌ شدت آسیب دید و یک قسمت از سرش سوراخ شد.
پربازدیدها