ساختار نمایه سازی در موتورهای كاوش وب

حجم وسیع اطلاعات بر روی شبكه وب باعث می گردد تا پاسخ دهی به كاوش های ارسالی از سوی كاربرن, بدون دسترسی به تمام متون و فقط با استفاده از فایل های نمایه صورت گیرد بدین منظور, در سطح شبكه از روش های مختلف نمایه سازی استفاده می گردد

حجم وسیع اطلاعات بر روی شبكه وب باعث می‌گردد تا پاسخ‌دهی به كاوش‌های ارسالی از سوی كاربرن، بدون دسترسی به تمام متون و فقط با استفاده از فایل‌های نمایه صورت گیرد. بدین منظور، در سطح شبكه از روش‌های مختلف نمایه‌سازی استفاده می‌گردد. روش نمایهء انتهای كتاب، استفاده از ابرداده‌ها، شاخه‌های موضوعی و ساختار متمركز و پراكنده در فن‌آوری موتورهای كاوش از روش‌های دیگر می‌باشد.بسیاری از موتورهای كاوش از یك ساختار متمركز خزنده-نمایه‌ساز، سود می‌جونید. خزنده‌ها برنامه‌های نرم‌افزاری هستند كه عمل پیمایش وب را انجام داده و صفحات جدید و یا به روز در آمده را به سرویس‌دهنده‌ای كه قرار است این صفحات در آنجا نمایه شوند، می‌فرستند.در ساختار پراكنده كه بسیار موءثرتر از نوع متمركز است، مشكلات ناشی از استفاده از ساختار متمركز چون:

۱) دریافت درخواست صفحات، توسط خزنده‌های متفاوت موتورهای كاوش، از سرویس‌دهندگان وب؛

۲) افزایش ترافیك در وب به علت استخراج تمام اشیا و اجزا صفحات وب و نادیده گرفتن اكثر آن‌ها هنگام نمایه‌سازی؛

۳) جمع‌آوری اطلاعات بدون همكاری و آگاهی سایر خزنده‌ها و موتورهای كاوش، مورد توجه قرار گرفته و مرتفع شده است.

مقدمه

از زمان پایه‌گذاری وب جهانی در اواخردههء ۱۹۸۰، هیچ كس نمی‌توانست پیش‌بینی وضعیت و تأثیرات فعلی آن را بكند. رونق وب و رشد فزاینده آن بر كسی پوشیده نیست، به نحوی كه فقط میزان اطلاعات متنی قابل دسترس آن در حدود ۱ ترابایت تخمین زده می‌شود (Baeza-Yates, ۱۹۹۹).اندازه‌گیری حجم اطلاعات بر روی شبكه اینترنت به ویژه وب كار بسیار دشواری است. بر طبق آمارهایی كه گروه Cyveillance عرضه كرده است، بیش از ۱/۲ میلیارد صفحه اطلاعات، بدون تكرار و قابل دسترس تا نیمه دوم سال ۲۰۰۰ بر روی وب موجود بوده و برساس همین مطالعات نرخ رشد انفجاری صفحات وب ۷ میلیون در روز بوده است. (Pasore, ۲۰۰۰)این بدان معناست كه در حال حاضر تعداد صفحات وب، به میزان سه برابر آن افزایش یافته است و این اطلاعات، براساس آمار NetCraft (۲۰۰۲) به وسیله بیش از ۲۷ میلیون سرویس‌دهنده وب در اختیار مشتریان قرار می‌گیرد.

حجم وسیع اطلاعات بر روی شبكه وب باعث می‌گردد تا پاسخ‌دهی به كاوش‌های ارسالی را بدون دسترسی به تمام متون و فقط با استفاده از فایل‌های نمایه صورت دهیم زیرا در غیر این صورت یا بایستی نسخه‌ای از اطلاعات درخواستی به صورت محلی ذخیره گردد و یا تمام صفحات از راه دور و از طریق شبكه، در هنگام جستجو دسترس‌پذیر باشد كه این روش‌ها بسیار گران و كند است. تمام این‌ها تأثیر و اهمیت، تلاش برای بهبود روش‌های نمایه‌سازی و الگوریتم‌های جستجو را مشخص می‌سازد.براساس استاندارد نمایه‌سازی بریتانیا نمایه، ترتیب اصولی از مداخل است كه به منظور قادر ساختن استفاده‌كنندگان برای یافتن اطلاعات خود در یك مدرك ایجاد می‌شود. نمایه‌سازی وب كار ساده‌ای نیست و لذا برای كمك به درخواست‌كنندگان اطلاعات در رسیدن به آن در سطح شبكه از روش‌های مختلف نمایه‌سازی استفاده می‌گردد.

روش نمایه انتهای كتاب در وب

بسیاری از سایت‌های وب، برنامه‌ای برای جستجوی سایت خود طراحی كرده‌اند. این برنامه‌ها همچون جستجو در فایل‌های تمام متن می‌تواند در نتایج جستجوی خود دارای مدارك نامرتبط و در اصطلاح همراه با ریزش كاذب باشد.اگر در چنین سایت‌هایی نمایه‌ای شبیه آنچه در انتهای كتاب‌ها دیده می‌شود به وجود آید، مراجعه‌كننده می‌تواند به سرعت و با استفاده از لیست به مدخل مورد نظر خود وارد شود و با سرعت بالا و از دست دادن زمان كمتری به مدارك مورد نیاز خود وحتی به مدارك مرتبط با آن نیز دسترسی یابد.سایت وب شركت نرم‌افزاری Adobe با داشتن نمایه‌ای از نوع كواك(۱) و نیز موتور كاوش ویژه سایت، سعی در بالا بردن دسترس‌پذیری موءثر اطلاعات سایت خود نموده است.سایت دانشگاهی جورج تاون نیز نمایه موضوعی A-Z را در قسمت ابزارهای دسترسی به اطلاعات در صفحه خانگی خود قرار داده است.

ابرداده(۲) و وب

ابرداده به طور مكرر، داده‌ای برای داده تعریف شده است. این تعریف در عین ضروری بودن ناكافی است. ابرداده، داده‌ای است دربارهء داده، كه برای شرح منابع یا شیء اطلاعاتی پایه‌ریزی شده است و داده‌های منابع و روابط بین آن‌ها را تشریح می‌كند. پدیدآورندگان منابع، ناشران، كتابداران و سایر متخصصان اطلاع‌رسانی می‌توانند ابرداده را تولید كنند. ابرداده می‌تواند در درون منابع اطلاعاتی جاسازی(۳) و یا در كنار منبع اطلاعاتی و به طور مجزا حفظ شود. (Cleveland, ۲۰۰۱,P.۲۲۳)

قالب ابرداده‌ای دوبلین كور نمونه‌ای پیشنهادی از ابرداده است كه دستاورد نشست متخصصان اطلاع‌رسانی در دوبلین اوهایو به منظور حل مشكلات موجود در توصیف منابع اطلاعاتی موجود بر روی شبكه‌های كامپیوتری است. این نمونه‌ای از مفهوم پیوند بین ابرداده و وب است.شاخص‌های عنوان، پدیدآور، موضوع، ناشر، توصیف (همچون چكیده)، تاریخ ارائه، نوع مدرك، قالب(۴) (نیازهای سخت‌افزاری و نرم‌افزاری جهت ارائه مدرك)، برچسب منحصر به فرد شناسایی(۵)، محل تولید مدرك، زبان اصلی مدرك، چگونگی و محل ارتباط مدرك با سایر منابع، پوشش (بیانگر دامنه، محدوده و عمق مدرك) و مدیری حق موءلف، در قالب دوبلین كور پیشنهاد گردیده است. (Cleveland, ۲۰۰۱,P.۲۲۴)

شاخه‌های موضوعی

بعضی از ابزارهای جستجوی وب سعی در مرور سایت‌ها توسط افراد متخصص كرده و پس از تحلیل محتوی سایت، كلیدواژه مناسب را انتخاب و آن را در محل موضوعی، براساس لیست موضوعی ویژه خود قرار می‌دهند و در واقع یك راهنمای موضوعی را برای استفاده‌كننده فراهم می‌آورند. این در واقع به آن معناست است كه در زمانی كه موتور كاوش به طور معمول برای هدایت فرد به سایت، تمام صفحات آن سایت را نمایه كرده است، ولی از سوی دیگر یك راهنمای موضوعی بسیار شبیه یك پیوند به صفحه خانگی آن سایت تلقی می‌گردد. (Tyner, ۲۰۰۱).

سایت Open Directory و Looksmart دو نمونه بارز از این نوع سایت‌ها می‌باشند.

فن‌آوری موتورهای كاوش

ساختار متمركز

بسیاری از موتورهای كاوش از یك ساختار متمركز خزنده-نمایه‌ساز(۶) سود می‌جویند. خزنده‌ها برنامه‌های نرم‌افزاری هستند كه عمل پیمایش وب را انجام داده و صفحات جدید و یا به روز درآمده را به سرویس‌دهنده‌ای كه قرار است این صفحات در آنجا نمایه شوند، می‌فرستند. یك خزنده به عنوان نقطه شروع یك URL را دریافت كرده و انتقال صفحات وب را-همچون ایستگاه كاری كه صفحات را مرور می‌كند-به سرویس‌دهنده آغاز می‌نماید. پس از انتقال یك مدرك، سازه‌یاب(۷) شروع به استخراج واژه‌های مرتبط با متن كرده و آن‌ها را به پایگاه داده می‌افزاید. هر ركورد اطلاعاتی در این پایگاه شامل واژه استخراج شده و URL مربوط به آن می‌باشد. قابل ذكر است، تعدادی از خزنده‌ها واژه‌های موجود در بین برچسب‌هایی خاص نظیر، <TITLE>,<H۱>... و یا واژه‌های با بسامد بالا می‌نمایند.JumpstationII از این نوع است كه علاوه بر آن واژه‌های موجود در عناصر <HEADER> (<Hi>,۱<=I<=۶) و واژه‌های با بسامد بالا در برچسب <BODY> را استخراج می‌كند.خزنده WWWW واژه‌های موجود در عنصر URL, <TITLE> و <A> (ابر پیوندهای موجود در مدرك) را نمایه می‌كند.

---