سه شنبه ۱ آبان ۱۳۹۷ / Tuesday, 23 October, 2018

جستجو در وب و.....


جستجو در وب و.....
دور از ذهن نیست اگر انتظار داشته باشیم اینترنت برای هر سوال یا موضوعی كه به فكرمان خطور می كند جواب و پاسخی در خود داشته باشد البته كه چنین است ‚ خوشبختانه به همین منظور در اینترنت ابزارهایی هم طراحی گردیده اند تا ما را در مسیر جستجوی اطلاعاتمان یاری رساند كه این ابزار ها اصطلاحا موتورهای جستجو نامیده میشود. شیوه كار بدین نحو است كه شما ابتدا به سایت وب موتور جستجو وارد شده سپس در بخش نوار جستجو كلمات كلیدی خود را وارد ساخته و با فشردن كلید Enter از موتور جستجو میخواهید تا به دنبال اطلاعات درخواستی تان در پایگاه داده خود جستجویی را به انجام رسانده و پس از گذشت زمان اندكی جوابهای منطبق ما مورد پرس و جوی شما را ارائه كند.
اطلاعات را در اینترنت چگونه پیدا كنیم
پیدا كردن اطلاعات در اقیانوس اینترنت به ابزار جستجو نیاز دارد . خوشبختانه ابزاری به نام موتورهای جستجوگر (search engines) یا پایگاههای جستجوگر وجود دارد‚ كه با وارد كردن كلمه یا كلمات مورد نظر خود و زدن دكمهء search به احتمال زیاد میتوانید اطلاعات مربوط به آن كلمه یا كلمات را پیدا كنید.
موتور جستجو در مقابل دایركتوری
بعضی از پایگاههای جستجوگر با استفاده از برنامه های قدرتمندی به نام (( موتور جستجو)) كه گاهی spider (دام انداز) ‚ یا crawler (یابنده ) نامیده میشوند بطور خودكار به جستجو در وب می پردازند . بعضی از نمونه های چنین پایگاههایی شامل پایگاه Alta Vista (به نشانی http://www.altavista.com كه از برنامه ای بنام ((Scooter)) بهره میگیرد ‚ و پایگاه HotBot (به نشانی وب http://www.hotbot.com كه از برنامه ((Slurp The Web Hound)) بهره میگیرد‚ است . موتورها با استفاده از یك برنامه كامپیوتری به منظور جستجوی اینترنت برای كلید واژه هایی كه بر روی صفحه ها یا عنوانهای پایگاههای وب ظاهر میشوند كار می كنند. در مقابل ‚ دیراكتوریهای وب‚ مانند یاهو (http://www.yaho.com) ‚ فهرستهایی از پایگاههای وب هستند كه بوسیله متخصصان گردآوری و در یك پایگاه داده ای (database) ذخیره میشوند. بعضی از موتورهای جستجوگر‚ مانند Lycos (http://www.lycos.com) Infoseek (http://www.infoseek.com)وExcite (http://www.excite.com) امكانات موتوری خود را با خدمات دیركتوریٍ وب تكمیل می كنند
دستور زبان و عملگرهای بولی (Boolean)
این موتورها و دیركتوریها برای خودشان امكانات و خصوصیات پیشرفته و قدرتمندی دارند‚ ۰ اما اكثر آنها از دستور زبانی مشترك (مانند استفاده از علامتهای جمع و تفریق ) به همراه عملگرهای بولی (۲) (AND,OR یا AND NOT) بهره می گیرند. برای این كه با دستور زبان هر پایگاه جستجوگری آشنا شوید به بخشٍ help آن پایگاه مراجعه كنید . دستور زبان و عملگرهای بولی به كاربران كمك می كنند كه نتایج جستجوی ویژه ای را بدست آورند. بعنوان مثال ‚ فرض كنید می خواهید اطلاعاتی دربارهء فیلمهای علمی – تخیلی دهه ۱۹۵۰ بدست بیاورید. اگر در پایگاه جستجوگر فقط كلمه movies را تایپ كنید نتیجه ‚ فهرستی نامحدود از فیلمهای سال ۱۹۲۰ گرفته تا برندگان فستیوال فیلم كن خواهد بود. اما اگر جستجوی خود را ماهرانه و و با استفاده از دستور زبان پایگاه جستجوگر و عملگرهای بولی انجام دهید‚ میتوانید به فهرستی دست یابید كه اطلاعات مورد نظر شما را ارائه میدهد.
بعنوان مثال ‚ میتوانید از علامتهای گیومه دوتایی انگلیسی (“) برای یافتن صفحه هایی از وب بهره بگیرید كه فقط شامل كلمات داخلی آن باشد . مثلا جستجو برای “movies of the ۱۹۵۰” فهرستی از پایگاههایی را ارائه خواهد داد كه حاوی این عبارت است . اگر این فهرستنیز چنان طولانی باشد كه براحتی نتوان نتیجه گرفت‚ میتوانید از علامتهای جمع (+) یا تفریق (-) برای كوچكتر كردن فهرست نتیجه بهره بگیرید. بعنوان مثال ‚ با تایپ +science +fiction كاربران میتوانند نتیجه جستجو را فقط به صفحاتی كاهش دهند كه حاوی كلمه های science و fiction است ‚ هر چند لزوما“ ترتیب آنها همان نیست كه ذكر كرده ایم . از سوی دیگر‚ اگر بخواهید فهرستی از پایگاههایی را ببینید كه science را ذكر می كند اما fiction را ندارد‚ وارد كردن عبارت +science +fiction باعث خواهد شد كه صفحات نامربوط از نتیجه جستجو حذف شود. سرانجام ‚ اگر كسی بخواهد همه صفحاتی را كه بطریقی كلمه fiction را دارند ببیند میتواند fiction را بعنوان پارامتر جستجوی خود تایپ كند. علامت ستاره باعث خواهد شد كه فهرستی از صفحاتی بیابد كه حاوی كلمه fiction و همچنین كلمه هایی هستند كه fictional یا fictionally .عملگرهای بولی شبیه به علامتهای جمع و تفریق كار می كنند . بعنوان مثال‚ تایپ عبارت movies AND science AND fiction باعث خواهد شد كه پایگاههایی فهرست شوند كه حاوی هر سه این كلمات هستند‚ هر چند ترتیب آنها ممكن است به ترتیب ذكر شده نباشد . جستجو برای movies AND science AND fiction باعث خواهد شد كه فهرست پایگاههای حاوی كلمه های moviesو scienceو بدون كلمه fiction ظاهر شود‚ عبارت science OR fiction فهرست همه صفحاتی را كه یكی از این دو كلمه یا هر دو را دارند نشان خواهد داد
امكانات جستجوی پایگاههای جستجوگر
بسیاری از موتورها و دیركتوریهای جستجوی وب خصوصیات مشابهی دارند اما بعضی از آنها امكانات متمایز دیگری نیز دارند.
یا هو : یا هو یكی از ابزارهای اصلی جستجو در وب از لحاظ تعداد استفاده كننده و سادگی كار است.
http://www.yahoo.com Alta Vista . استفاده از امكان refine در این پایگاهٍ جستجو باعث میشود كه نتایج بطور خودكار در موضوعات مختلف مرتبط با كلید واژه های وارد شده قرار بگیرد. به عنوان مثال انتخاب امكان refine پیش از جستجوی +science +fiction باعث میشود كه گروهها و طبقه های مختلفی در اختیار كاربر گذاشته شود تا از میان آنها انتخاب كند. شاید جستجو كننده بخواهد جستجو شامل كتاب و تلویزیون برای فیلمهای علمی – تخیلیٍ دههء ۱۹۵۰ باشد و پایگاههایی كه به فیلمهای مدرن اختصاص دارند از دامنه جستجو حذف شود . با حذف بعضی از موضوعات و درخواست برای بعضی دیگر جستجو سریعتر و قابل قبول تر خواهد شد.
http://www.altavista.com
Excite : این پایگاه بخشی به نام Search Wizard دارد كه شبیه به فرمان refine در Alta Vista عمل می كند.
http://www.excite.com
Infoseek : امكانات جستجوی مختلفی دارد . جستجو را میتواند به كشورها یا نواحی جغرافیایی خاصی محدود كند.
http://www.infoseek.com
HotBot و Lycos :دو پایگاه جستجوگری هستند كه كار با آنها ساده است . آنها به استفاده كنندگان كمك می كنند تا دقیقا داده های مورد نیاز خود را پیدا كنند.
http://www.lycos.com
http://www.hotbot.com
Goto :اگر یك جستجوی ساده و بدون نتایج نامربوط می خواهید پاسخ پایگاه جستجوگر Goto به نشانی وب http://www.goto.com است . كاربران میتوانند از علامتهای بولی و سایر علامتها بهره میگیرند اما در اینجا نیازی به چنین علامتهایی نیست . آنچه را میخواهید به انگلیسی ساده تایپ كنید‚ Goto به شما نتیجه را ارائه خواهد كرد.
بعنوان مثال جستجو برای science fiction movies of ۱۹۵۰ نتایج مورد نظرتان را ارائه خواهد كرد . با قرار دادن علامت ستاره بعنوان علامت ضرب پیش از هر كلمه ‚ میتوانید تأكید خود را برای Goto مطرح كنید . بعنوان مثال تایپ عبارت movies+۲.۰*fiction باعث میشود كه اهمیت fiction دو برابر باشد . هنگام استفاده از چنین امكاناتی به یاد داشته باشید كه قبل از علامت ستاره از یك عدد اعشاری بهره بگیرید.
جستجوی گسترده وب با پایگاههای جستجو گر فراگیر
گشت زنی در میان ۳۲۰ میلیون صفحه وب جهان پهنا بدون موتورها و پایگاههای جستجوگر(search engine) كار دشواری است . طبق بعضی از بررسیها ‚ ۷۵ درصد از كاربران راه خود را از طریق موتورهای جستجوگر یا دیركتوری وب (web directory) پیدا می كنند . پایگاههای جستجوگر یك فهرست بزرگ از پایگاههای وب را در اختیار دارند. با این حال بهترین پایگاههای جستجوگر حدود ۴۰ درصد از اطلاعات اینترنت را میتوانند پیدا كنند. یك راه وسیع تر كردن دامنه جستجو استفاده از پایگاههای متاسرچ (metasearch) یا جستجوگر فراگیر است. این پایگاهها درخواست شما را بطور همزمان به چندین پایگاه جستجوگر می فرستند و سپس نتایج را در یك فهرست جامع ارائه می دهند. دهها پایگاه جستجوگر فراگیر بر روی وب وجود دارد اما اكثر آنها شبیه به هم كار میكنند . بسیاری از آنها از دستور زبان استاندارد پایگاههای جستجوگر (مانند قرار دادن + و – و سایر علامتها در جلوی كلمات مورد پرسش ) و عملگرهای بولی (استفاده از AND و OR یا NOT برای تركیب كردن كلمه های درخواستی ) بهره می گیرند . برای اطلاعات بیشتر درباره دستور زبان این پایگاهها به بخش help آنها مراجعه كنید.
پایگاه جستجوگر فراگیر خود را انتخاب كنید پایگاههای جستجوگر از لحاظ زمان پاسخ دهی متفاوت هستند. بعضی از آنها‚ مانند پایگاه Surfy (http://www.surfy.com) به كاربران امكان می دهند كه بطور همزمان ۴۰ پایگاه جستجوگر را مورد سئوال قرار دهند. نظر به این كه چنین جستجویی میتواند وقت گیر باشد بعضی از پایگاههای جستجوگر فراگیر مانند Cyber ۴۱۱ (http://www.cyber۴۱۱.com) (http://www.dogpile.com) و( Mamma (http://www.mamma.com) امكان محدود كردن زمان جستجو از چند ثانیه تا چند دقیقه را فراهم می كنند . البته زمان كوتاهتر جستجو به معنی فهرست نتیجه كوچكتر است .
Meta Crawler
این پایگاه از سال ۱۹۹۵ فعال بوده است و در حال حاضر یكی از پایگاههای جستجوگر فراگیر پرطرفدار است . این پایگاه به ۹ پایگاه اصلی جستجوی وب دسترسی دارد .
http://www.metacrawler.com()
Cyber ۴۱۱
از ۱۶ پایگاه جستجوی وب بهره می گیرد. امكان محدود كردن زمان جستجو را دارد .
Dogpile
به ۲۵ پایگاه جستجوی وب دسترسی دارد . امكان محدود كردن زمان جستجو را فراهم می كند . دستور زبان آن بطور خودكار به دستور زبان پایگاهها ی جستجوی تحت پوشش ترجمه میشود.
Highway۶۱
برای این كه جستجو گستردگی زیادی نداشته باشد میتوانید از این پایگاه بهره بگیرید . به ۶ پایگاه اصلی جستجوی وب دسترسی دارد . امكان حذف پایگاه یاهو (Yahoo) از میان این ۶ پایگاه را دارد . (بسیاری از استفاده كنندگان پایگاههای جستجوگر وقتی از طریق پایگاهی چون یاهو به نتیجه نمی رسند به فكر استفاده از پایگاههای جستجوگر فراگیر می افتند).
رابطهای جستجوی متحد شده (USI )
USIها انواع دیگری از پایگاههای جستجو هستند. برخلاف پایگاههای جستجوی فراگیر ‚ USIها پایگاههای جستجوی متعارف را بطور همزمان به كار نمی گیرند. آنها فهرستی از پایگاههای جستجو را در خود دارند و كاربران میتوانند به دلخواه خود یك یا چند پایگاه جستجو را انتخاب كنند و در صورت نتیجه نگرفتن پایگاههای دیگر را انتخاب كنند. به همین دلیل آنها را پایگاههای جستجوی ترتیبی می نامند . بسیاری از این پایگاههای جستجوی ترتیبی انواع مختلف پایگاههای جستجو را گروه بندی می كنند. بعنوان مثال صفحه جستجوی پایگاه All-In-One به نشانی http://www.albany.net/allinone) ۱۲۰ پایگاه را بصورت طبقه بندی شده در اختیار كاربران قرار می دهد. پایگاه جستجوی ترتیبی Beaucoup (به نشانی وب http://www.beaucoup.com حدود ۱۲۰۰ پایگاه جستجو را بصورت طبقه بندی شده فراهم كرده است .
WebTaxi
این پایگاه ‚ ۱۵۵ پایگاه جستجوگر متعارف را در ۱۴ طبقه تقسیم بندی كرده است . با انتخاب هر طبقه میتوان یك جستجوی فراگیر انجام داد.
http://www.webtaxi.com
iSleuth
اگر از پایگاههای جستجوگر معمولی مانند یاهو یا حتی پایگاههای جستجوگر فراگیر دیگر نتیجه نگرفته اید . این پایگاه را امتحان كنید . بیش از ۳۰۰۰ بخش جستجو دارد . پس از آن كه كاربر یك اصطلاح مورد نظر خود را در جعبه اصلی جستجو تایپ كند‚ iSleuth فهرستی از پایگاههای جستجوی مناسب را به نمایش در می آورد . میتوانید این پایگاهها را به ترتیب امتحان كنید .
http://www.isleuth.com
با استفاده از پایگاههای جستجوگر فراگیر و USI ‚ احتمال پیدا كردن داده های مورد نظر خود را بیشتر خواهید كرد.
پایگاههای جستجو گر تخصصی
پایگاههای جستجوگر تخصصی نتایج بهتری ارائه می دهند.
هر چه اینترنت بیشتر رشد می كند اطلاعات بیشتری در آن ذخیره میشود و یافتن آنها نیز دشوارتر میشود . پایگاههای جستجوگری چون Alta Vista ویاهو سالهاست كه با نمایه گذاری پایگاههای وب جهان پهنا به این مسئله پاسخ گفته اند . پایگاههای جستجوگر عمومی مانند یاهو – هر چقدر خوب هم كه باشند معمولا نتایجی ارائه می دهند كه حتی با آنچه شما میخواهید نزدیك نیست . پایگاههای جستجوگر جدیدی برای حل این مسئله به وجود آمده اند كه فقط پایگاههایی را می یابند كه نیاز شما را برطرف می سازد. این پایگاهها حوزه هایی تخصصی دارند.
باریك كردن میدان جستجو
برای این كه دریابید پایگاههای جستجوگر تخصصی چگونه كار می كنند فرض كنید می خواهیم كلمه Microsoft را روی یك پایگاه جستجوگر عمومی و یك پایگاه جستجوگر ویژه تجاری جستجو كنیم . پایگاه جستجوگر عمومی تعداد زیادی رابط به موضوع كلی میكروسافت بدست می دهد. جستجوگر ویژه تجاری فقط رابطهایی را فراهم می كند كه با جنبه های تجاری – تخصصی معرفی شده است .
در زیر تعدادی از نمونه های پایگاههای جستجوگر تخصصی معرفی شده است . پایگاه وب واژه نامه های OneLook صدها واژه نامه موجود در اینترنت – هم واژه نامه های عمومی و هم واژه نامه های تخصصی از شعر و موسیقی و بازرگانی گرفته تا پزشكی و علائم اختصاری – را جستجو می كند. نشانی وب این پایگاه بقرار زیر است :
http://www.onelook.com
كلمه ای را كه می خواهید تعریف آن را به دست آورید در این پایگاه وارد كنید میتوانید مشخص كنید كه در واژه نامه های عمومی ‚ تخصصی ‚ یا همه واژه نامه ها آن را پیدا كند. بر اساس نوع جستجویی كه خواسته اید ‚ OneLook فهرستی از پایگاههایی را می یابد كه حاوی تعریف آن كلمه هستند. سپس میتوانید به منبع یا منابعی كه می خواهید ‚ مرتبط شوید.
پایگاه News Index برای كسانی كه به اخبار علاقه دارند مناسب است . این پایگاه در سال ۱۹۹۶ تأسیس شد و به شما امكان می دهد كه اخبار را از بیش از ۳۰۰ منبع خبری در سراسر دنیا جستجو كنید . نشانی وب این پایگاه به قرار زیر است :
http://www.newsindex.com
كلمه یا كلماتی را كه میخواهید جستجو كنید. تایپ كنید تا همه مقاله هایی را كه حاوی آن كلمه یا كلمات است پیدا كنید . این پایگاه فهرستی از پیوندگاهها (link) را می یابد كه دارای مقاله یا مقالاتی حاوی كلمه مورد نظر شما هستند. در این فهرست ‚ عنوان مقالات نیز می آید . با تقه زدن روی پیوندگاه ‚ پایگاه News Index شما را به پایگاه حاوی مقاله مورد نظرتان می برد . اگر در جستجوی اطلاعات چندرسانه ای باشید پایگاه Scour.Net را امتحان كنید . نشانی وب این پایگاه بقرار زیر است :
http://www.scurnet.com
پایگاه Scour.Net در پایگاههای جند رسانه ای در اینترنت بدنبال صدا‚ ویدئو‚ یا تصویر می گردد و در پی آن فهرستی از فایلها را به همراه منبع آن ارائه می دهد. روی پیوندگاه هر كدام كه تقه بزنید ‚ Scour آن فایل را بطور خودكار به اجرا در می اورد .


مطالب مرتبط

Googlebot، روبات جست‌وجوگر

Googlebot، روبات جست‌وجوگر
بدون شک هر یک از ما هنگامی که موضوعی را در اینترنت جست‌وجو کرده‌ایم با لیست مفصلی از اطلاعات مواجه شده‌ایم که در بیشتر مواقع با دریافت مطالبی که در صدر فهرست هستند به مقصود خود رسیده‌ایم. google به عنوان مهمترین مخزن اطلاعات جهان از مکانیسم‌های ویژه‌ای برای طبقه‌بندی و نیز اولویت‌گذاری مطالب استفاده می‌کند. googlebot روبات جست‌و‌جوگری است که فهرستی طبقه‌بندی شده از مطالب و موضوعات گوناگون را به کاربر ارائه می‌دهد. در واقع مانند یک روبات خزنده عمل می‌کند بدین ترتیب که در بین صفحات سایت‌ها حرکت کرده و تمامی اطلاعات را در یک محل ذخیره می‌کند و برای استفاده آسان‌تر فهرستی از آنها تهیه می‌نماید.
اصطلاحا می‌گویند googlebot مانند عنکبوتی عمل می‌کند که قادر است تمامی تارهای شبکه خود را زیر نظر داشته و با سرعتی زیاد روی آنها حرکت کند. googlebot تمامی صفحات سایت‌ها را می‌پیماید و حتی تمامی پیوندهای بین صفحات را برای یافتن اطلاعات جست‌و‌جو می‌کند. به عبارتی مانند یک web browser عمل می‌کند. google از سه قسمت مجزا تشکیل شده است:
▪ ابتدا googlebot در بین شبکه‌ها حرکت می‌کند در این رفت‌وآمد بین صفحات، مطالب گوناگون را جست‌و‌جو کرده و می‌یابد.
▪ کلمات پیدا شده در روی هر صفحه در قالب فهرستی طبقه‌بندی شده ذخیره می‌شوند، بدیهی است که این فهرست بسیار بزرگ خواهد بود و در یک پایگاه اطلاعاتی بسیار بزرگ ذخیره می‌گردد. googlebot به صفحات پیمایش شده شماره‌ای مشخص می‌دهد و کلمات گوناگون را بر اساس حروف الفبا فهرست‌بندی می‌کند. با پیمایش هر صفحه، موضوعات و مطالبی جدید به این فهرست اضافه می‌شود. در هنگام جست‌و‌جو برای فهرست کردن مطالب google به طور اتوماتیک فضاهای خالی، برخی علامات و نقطه‌گذاری‌ها، کلمات تکراری و نیز واژه‌هایی از قبیل the, is, on, or, of , how, why , را حذف می‌کند و تمامی حروف را به اندازه کوچک تبدیل می‌نماید. این مسئله خود باعث سرعت بیشتر خواهد شد.
▪ آخرین مرحله، پاسخ به درخواست کاربر است. هنگامی که کاربر در رابطه با موضوعی پرسشی می‌کند یا کلمه خاصی را در محیط google تایپ می‌کند googlebot به جست‌و‌جو در فهرست تهیه شده، می‌پردازد و هر آنچه را که در پایگاه داده‌های خود ذخیره کرده است بر اساس اولویت تعیین شده در اختیار کاربر قرار می‌دهد. بدیهی است که با استفاده از این روش شاخص‌گذاری سرعت دسترسی به اطلاعات بسیار بالا می‌رود زیرا هنگام جست‌و‌جوی مطلبی خاص google ابتدا در فهرست الفبایی خود به دنبال کلمه موردنظر گشته و سپس براساس شاخص یا آدرس مشخص آن در پایگاه داده‌های خود می‌یابد. اما برای اولویت‌بندی مطالب، google چندین فاکتور را درنظر می‌گیرد که برخی از آنها عبارت است از: طراحی مناسب، داشتن پیوندهایی دقیق به سایت‌های دیگر، اعتبار و شهرت سایت و نیز میزان استقبال کاربران از آن می‌باشد.
در بین فاکتورهای تعیین کننده اولویت، آنچه از همه موارد مهم‌تر است پیوندهای مناسب صفحات یک سایت به سایت‌های دیگر می‌باشد که هر اندازه دقیق‌تر و همچنین از تعداد بیشتری برخوردار باشد آن سایت از جایگاه بالاتری در فهرست جست‌و‌جو برخوردار است. عامل مهم دیگری که باعث صدرنشینی سایتی می‌شود میزان جست‌و‌جو و دیدن آن از طرف کاربران است در واقع هر چه میزان استقبال از آن بیشتر باشد در اولویت بالاتری قرار خواهد گرفت. google این امکان را به مدیر شبکه یا طراح سایت می‌دهد که در صورت تمایل با استفاده از تمهیداتی خاص اطلاعات را در دسترس دیگران قرار دهد یا مانع از دیدن و استفاده داده‌ها و اطلاعات مربوطه شود. طراح سایت یا شبکه می‌تواند با اجرای فایل robots.txt و یا اضافه کردن عبارت زیر به صفحه سایت خود اطلاعات آن را قابل دسترس برای googlebot نماید.
روش دیگر ، معرفی سایت در آدرس www.google.com/addurl.html می‌باشد در واقع با بکاربردن چنین روش‌هایی، سایت‌های گوناگون خود را به googlebot معرفی می‌کنند تا در لیست پیمایش آن قرار گیرند و در فهرست طبقه‌بندی شده آن جایی مناسب را به خود اختصاص دهند. بدیهی است که هر چه اطلاعات و محتوای سایتی در رده‌بندی بالاتر باشد امکان دسترسی و دیده شدن بیشتر خواهد بود. بعضی از سایت‌ها با ایجاد پیوندهایی به سایت‌های مهم و شناخته شده سعی می‌کنند تا بیشتر مطرح شوند، زیرا googlebot تمامی صفحات سایت‌ها را اعم از پیوندها و صفحات مرتبط، جست‌و‌جو می‌کند و با درنظر گرفتن تعداد پیوندها، سایت موردنظر را در رده‌ای مناسب قرار می‌دهد. هنگامی که کاربر کلمه‌ای را از طریق google جست‌و‌جو می‌کند، googlebot از سرور شبکه درخواست می‌کند تا کلمه موردنظر را در فهرست طبقه‌بندی شده شناسایی کرده و اطلاعات مربوطه را بر اساس اولویت تعیین شده به نمایش درآورد.
درواقع googlebot شامل تعداد زیادی از اطلاعات وب سایت‌هاست و googlebot.com شامل آدرس‌های آنهاست. Googlebot دارای دو نوع شناخته شده است: deepbot , freshbot deepbot در سایت‌ها و شبکه‌ها جست‌و‌جو می‌کند و تمامی اطلاعات، داده‌ها و پیوندهای صفحات را بررسی کرده و بطور کامل در سرور خود بارگذاری می‌نماید. در نهایت اطلاعات ذخیره شده را طبق روش‌هایی خاص فهرست‌بندی می‌کند. deepbot در فواصل زمانی مشخص که اغلب یک ماه یک بار است، اطلاعات سایت‌ها را جست‌و‌جو کرده و آنها را در محل سرور خود ذخیره می‌نماید.
Fresh bot نیز در سایت‌ها و شبکه‌های گوناگون جست‌و‌جو کرده و اطلاعات بروز شده که تازه و جدید هستند را پیدا می‌کند و آنها را در سرور خود بار گذاری می‌کند. در واقع freshbot برای سایت‌هایی تعبیه شده است که اطلاعات و محتوای آنها دائما تغییر می‌کند به عبارتی دائما بروز رسانی می‌شوند.
google برای پیمایش صفحات دارای انواعی است که هر کدام وظایف خاصی را بر عهده دارند:
▪ Googlebot انتخاب و پیمایش صفحات سایت‌ها
▪ Mediabot این پیمایش از اهمیت بالایی برخوردار است ابتدا به تجزیه و تحلیل صفحات سایت‌ها می‌پردازد و در نهایت پیوند معنی داری بین مطالب و موضوعات مرتبط ایجاد می‌کند. این پیمایش منحصر به جنبه‌ای خاصی از موضوعات نمی‌شود، در واقع ایجاد ارتباط منطقی بین موضوعات گوناگون در هنگام جست‌و‌جوی مطالب از مواردی است که دارای اهمیت ویژه‌ای است. طراح سایت می‌تواند با اضافه کردن این عبارت user-agent:mediapartners-google* از این ویژگی استفاده نماید.
▪ Imagebot برای پیمایش صفحاتی است که تصاویری در آنها وجود دارد. رتبه‌بندی آن نیز اغلب از روی کلمات کلیدی است که هدف و مقصود تصویر را می‌رساند ولی از روی نام فایل تصویری، تیتر، زیرنویس و یا متن حاشیه عکس نیز رده‌بندی صورت می‌گیرد. از طرفی با اضافه کردن عبارت زیر و استفاده از این تکنیک از پهنای باند، استفاده بهینه می‌شود. user-agent:googlebot-image
▪ Googlebot-mobile برای پیمایش محتوای اطلاعات موبایل است. با این تکنیک محتوای سایت‌های مربوط به موبایل تجزیه و تحلیل و طبقه‌بندی می‌شود. کاربران موبایل می‌توانند سایت‌ها، مطالب و موضوعات موردنظر خود را از طریق google mobile web روی دستگاه تلفن همراه خود جست‌و‌جو نمایند. برای قرارگیری سایت در فهرست رده‌بندی، عبارت زیر لازم است. user-agent:googlebot-mobile
▪ Adsbot پیمایش و تجزیه و تحلیل کلمات نشاندار یا کلیدی در صفحات سایت‌های تبلیغاتی است. تجزیه و تحلیل محتوای سایت کمک می‌کند تا کیفیت سایت به منظور رتبه‌بندی انجام شود. البته google برای تبلیغات روش دیگری نیز دارد که آن CTR (click through rate) است که اگر سایتی در اولویت رده‌بندی قرار گیرد می‌بایست برای هر دفعه‌ای که کاربر از آن سایت دیدن می‌کند به عبارتی روی آن کلیک می‌کند تا مبلغی مشخص از طرف دارنده سایت به شرکت google واریز شود. برای وارد شدن به رده‌بندی عبارت زیر لازم است. user-agent:adsbot-google
این مسئله که چگونه googlebot در بین اطلاعات بدست آمده فهرستی تهیه می‌کند و با چه منطقی اطلاعات را اولویت‌بندی می‌کند موضوع بسیار جالبی است که شرکت google هزینه و وقت زیادی را صرف آن کرده است. این شرکت در فواصل زمانی معین روش‌های جدیدی را جایگزین شیوه‌های قدیمی می‌نماید تا از سوءاستفاده بعضی افراد که می‌خواهند مطلب یا سایت خود را در اولویت قرار دهند، جلوگیری کند. امروزه اغلب شرکت‌های تجاری دارای سایت‌هایی هستند که محصولات خود را از طریق اینترنت به عموم مردم عرضه نمایند و در دنیای تجارت امروزه تبلیغات در تمامی عرصه‌ها نقش مهمی ایفا می‌کند. شرکت‌های تجاری و بازرگانی امروزه هزینه زیادی برای تبلیغات و به بیانی دیگر مطرح شدن می‌پردازند.
واضح است هر چه نام و خدمات شرکتی در لیست جست‌و‌جو google بالاتر باشد توجه افراد بیشتری را به خود جلب می‌کند و یقینا در موفقیت آن شرکت نقش بسزایی دارد. البته خدمات ویژه‌ای در google تعبیه شده است که افراد برای تبلیغات شرکت یا محصول خود می‌توانند با پرداخت مبلغی پول بین اولین، دومین و سومین تبلیغ قرار گیرند زیرا کارشناسان این امر معتقدند که تبلیغاتی موفق‌تر است که در سه گزینه اول قرار گیرد و طبق آمار بدست آمده اولویت سه تای اول باعث می‌شود تا فروش شرکت‌ها ۳۰% افزایش یابد. در رابطه با مطالب و موضوعات متفاوت اعم از علمی، اجتماعی، سیاسی و ... به همین منوال است. در لیستی که googlebot تهیه می‌کند هر چه مطالب در بین اولین‌ها باشد، امکان دیده شدن آنها بیشتر است.
google به طور اتوماتیک و هوشمند آدرس‌هایی را حذف می‌کند که موجب اغفال کاربران می‌شوند و تنها هدفشان قرارگیری در صدر فهرست google است و حتی در شرایطی صفحات این سایت‌ها را به صفحات مرتبط با موضوع، پیوند می‌دهد و یا آنها را برای مدتی غیر قابل دسترس و غیر قابل دیدن می‌نماید. به این ترتیب سایت موردنظر در گروه فهرست‌بندی قرار نمی‌گیرد و از دامنه googlebot خارج می‌شود. موتور جست‌و‌جو google بر اساس روش پیمایش موازی طراحی شده است که این روش نسبت به روش‌های دیگر از سرعت بالاتری برخوردار است زیرا به طور همزمان در بین هزاران کامپیوتر به جست‌و‌جوی اطلاعات می‌پردازد و تمامی مطالب را روی سرور خود بارگذاری می‌کند تا در هنگام درخواست کاربران در رابطه با موضوعی یا مطلبی خاص تنها جست‌و‌جو در سرور google صورت گیرد و نیازی به کنترل کردن تمامی شبکه‌ها و سایت‌ها نباشد این ویژگی خود باعث می‌شود تا از اتلاف وقت جلوگیری شود و کاربران بتوانند در کمترین زمان ممکن اطلاعات لازم را دریافت نمایند.

وبگردی
فیلم | دستگیری ۳ مرد با لباس زنانه در مسیر پیاده‌روی اربعین!
فیلم | دستگیری ۳ مرد با لباس زنانه در مسیر پیاده‌روی اربعین! - ۳ مرد با لباس زنانه در مسیر پیاده روی اربعین دستگیر شدند. دادستان شهرستان حمیدیه استان خوزستان گفت: افرادی که شامگاه گذشته در مسیر راهپیمایی اربعین حسینی دستگیر شده اند، هیچگونه انگیزه امنیتی نداشته اند. علی بیرانوند به ایرنا گفته بعد ازظهر جمعه ماموران انتظامی حمیدیه به یک خودروی پراید مشکوک شدند که پس از متوقف کردن آن متوجه شدند 6سرنشین مرد داشته که سه نفرشان پوشش زنانه دارند. این افراد برای تحقیقات…
فیلم | رسوایی جدید در رسانه ملی؛ مقصر فریب مردم کیست؟
فیلم | رسوایی جدید در رسانه ملی؛ مقصر فریب مردم کیست؟ - فیلم - پدری که در برنامه «فرمول یک» علی ضیا ادعا کرد به خاطر تامین هزینه‌های درمان فرزندش اقدام به فروش کلیه‌اش کرده، مردم را فریب داده است.
«بیان واضحات و تکرار مکررات» ؛ نتیجه 7 سال بودجه و تشکیلات و همایش و جلسه!
«بیان واضحات و تکرار مکررات» ؛ نتیجه 7 سال بودجه و تشکیلات و همایش و جلسه! - مثلاً سنت های الهی که در این سند آمده، در کتاب های درس بینش اسلامی دوره دبیرستان هم وجود دارد... واقعاً هزاران جلسه تشکیل داده اند که بدیهیاتی مانند خانواده بنیادی ترین واحد تشکیل دهنده جامعه است، انسان دارای اختیار است، جهان دارای نظام علّی - معلولی است، خداوند رحمان و رحیم است و ... را در سند بازنویسی کنند؟!
گلایه های جنجالی یک بازرگان با وزیر صنعت
گلایه های جنجالی یک بازرگان با وزیر صنعت - صحبتهای کنایه آمیز یک بازرگان با وزیر صنعت
ادامه داستان لُنگ و خانه سعدآباد
ادامه داستان لُنگ و خانه سعدآباد - ۱- خب چی میشه ولایتی بجای توصیه به لُنگ پوشی، بملت توصیه کنه تو سعدآباد مالک خونه بشن ویک سومشو وقف کنن؟ ۲- اینجور واینجا صاحبخونه شدن و بعد توجیه وقف، آدمو یادحافظ میندازه: فقیه مدرسه دی مست بود و فتوی داد که می‌حرام، ولی بِه زمالِ اوقاف است
عبدی : آقای ولایتی با خانه هزارمتری کنار کاخ سعدآباد حالا مردم رابه نان خشک خوردن دعوت می‌کنند
عبدی : آقای ولایتی با خانه هزارمتری کنار کاخ سعدآباد حالا مردم رابه نان خشک خوردن دعوت می‌کنند - حالا مردم رابه نان خشک خوردن دعوت می‌کنند؟مردم نیازی به این توصیه‌هاندارند اگرلازم باشد آن‌قدر شرف دارندکه از خودشان دفاع کنند ولی این دفاع،منحصربه دفاع دربرابر دشمنان خارجی نمی‌شود که باید وضعیت خیلی‌ها رادر داخل هم بررسی کرد.
فیلم | حمله به پلیس در اهواز به درگیری مرگ‌بار انجامید!
فیلم | حمله به پلیس در اهواز به درگیری مرگ‌بار انجامید! - فیلم - حمله فرد متهم در بازار پرنده فروشان اهواز به پلیس آگاهی منجر به درگیری مرگبار شد.
ماجرای عجیب منزل های مسکونی در همسایگی کاخ سعد آباد
ماجرای عجیب منزل های مسکونی در همسایگی کاخ سعد آباد - ماجرای عجیب دو منزل مسکونی در همسایگی کاخ سعدآباد و حسین فریدون و نهاد ریاست جمهوری
فیلم | لحظه حمله جن‌ها به یک مرد در کرج! (۱۶+)
فیلم | لحظه حمله جن‌ها به یک مرد در کرج! (۱۶+) - فیلم - به تازگی شخصی در فضای مجازی فیلمی منتشر کرده که مردی ادعا می کند در پارکینگ خانه اش مورد حمله جن ها قرار گرفته است.
فیلم | درس خجالت‌آوری که یک توریست به ایرانی‌ها می‌دهد!
فیلم | درس خجالت‌آوری که یک توریست به ایرانی‌ها می‌دهد! - فیلم - پاول یک توریست اهل چک است که با موتورسیکلتش دنیا را می گردد و یک هفته در ایران اقامت داشته است. ویدئوی سلفی که او در طبیعت ایران از خود و اقدام پسندیده اش منتشر کرده برای همه ایرانیان جای تامل دارد.
فیلم | جنازه غرق در خون ملکه زیبایی عراق (۱۶+)
فیلم | جنازه غرق در خون ملکه زیبایی عراق (۱۶+) - فیلم - قتل مدل و ملکه زیبایی عراق از روز گذشته سوژه رسانه ها شده و پلیس تحقیقات ویژه ای را برای دستگیر قاتل وی انجام داده است. تصاویر منتشر شده از جنازه غرق در خون وی را در ویدئوی زیر می بینید.
جنجال بنر سربازان اسرائیلی در شیراز
جنجال بنر سربازان اسرائیلی در شیراز - عکس این بنرکه گفته می‌شود نمایشگر تصویری از سربازان رژیم صهیونیستی است طی روزهای اخیر در فضای مجازی دست به دست می‌شد و واکنش‌هایی به همراه داشت.
عکسی آموزنده از سفر نیویورک
عکسی آموزنده از سفر نیویورک - پوشه‌های پُر از برنامه فرانسوی‌ها در برابر دستان خالی تیم ایرانی. به کاغذ ها و پرونده های موجود روبه روی تیم فرانسه دقت کنید!
ویدئوی جنجالی وزیر بهداشت؛ #خودت_بمال / تمسخر و تحقیر بیمار نیازمند توسط وزیر
ویدئوی جنجالی وزیر بهداشت؛ #خودت_بمال / تمسخر و تحقیر بیمار نیازمند توسط وزیر - وزیربهداشت بهترین توصیه رو به اون پیرمرد بیچاره کرد که گفت: خودت بمال. پیرمرد باید دستش رو محکم می‌مالید به گوش وزیر تا یک بار هم که شده از تخت اخلاق فرعونی بیاد پایین
نیاز شدید تلویزیون به بدحجابها در روزهای خاص
نیاز شدید تلویزیون به بدحجابها در روزهای خاص - کاش در این میان یکی به ما بگوید که بالاخره بی حجاب بد است، خوب است؟ چه زمانی بد است؟ چه زمانی خوب است؟
حال فعلی ! یا ناتوانی در تشخیص حال قبلی
حال فعلی ! یا ناتوانی در تشخیص حال قبلی - حمید رسایی عضو جبهه پایداری در صفحه شخصی خود در شبکه توییتر نسبت به اهانت زشت امیر تتلو به امام حسین (ع) و 72 تن از یاران باوفایش واکنش تندی نشان داد.
ویدئو/ وحشت پزشکان از تولد نوزاد تک چشم در اندونزی (۱۶+)
ویدئو/ وحشت پزشکان از تولد نوزاد تک چشم در اندونزی (۱۶+) - پزشکان هنگامی که یک نوزاد دختر اندونزیایی را در یکی از بیمارستان های این کشور به دنیا آوردند بسیار وحشت زده شدند. نوزاد تازه متولد شده با یک چشم بزرگ روی پیشانی اش متولد شد و پس از هفت ساعت درگذشت.
بازنشر نامه استاد به امیر تتلو! / معیار تشخیص حق از باطل گشته ای !
بازنشر نامه استاد به امیر تتلو! / معیار تشخیص حق از باطل گشته ای ! - فردی به نام علی‌اکبر رائفی‌پور كه رسانه‌‌های اصولگرا از او به عنوان «استاد، محقق و پژوهشگر» یاد می‌كنند! در تاریخ 29 اردیبهشت 96 (در كوران انتخابات ریاست‌جمهوری) در نامه‌ای سرگشاده به امیرحسین مقصودلو (تتلو) نوشت: «امیر جان بخوان، تو باید بخوانی، عیبی ندارد! سرت را بالا بگیر و خدا را شکر کن که به واسطه تو این همه نفاق را آشکار کرد! دلت محکم باشد پهلوان! تو فقط بخوان، بخوان
جنجال احمد خمینی در VIP عزاداری حسینی
جنجال احمد خمینی در VIP عزاداری حسینی - انتشار عکس‌های نشستن احمد خمینی زیر کولر در بخش وی‌آی‌پی هیات که پوششی شیشه‌ای دارد و از سینه‌زنان جداست، پس از توضیح او که گفت آن جایگاه مربوط به «روحانیون درجه یک و دو قم» است و «اون بالا معممین میشینن که لباسشون چون زیاده باعث گرمازدگی نشه»، با واکنش‌های تندتری هم همراه بود.