یکشنبه, ۲۳ اردیبهشت, ۱۴۰۳ / 12 May, 2024
فایل robots.txt چیست و نحوه استفاده از آن چگونه است؟
وظیفه فایل robots.txt محدود کردن دسترسی روباتهای گوگل و سایر موتورهای جستجو به محتویات سایت شماست. این روباتها بصورت کاملا اتوماتیک عمل کرده و قبل از ورود به هر سایت یا صفحهای از وجودفایل robots.txtبر روی آن و محدود نبودن دسترسی محتوا مطمئن میشوند. تمامی روباتهای استاندارد در اینترنت به این قوانین و محدودیتها احترام گذاشته و صفحات شما را بازدید و ایندکس نخواهند کرد ولی روباتهای اسپم توجهی به این فایل نخواهند داشت. اگر تمایل به حفظ امنیت محتوایی خاص و پنهان کردن آن از دید روباتهای اینترنتی دارید بهتر است از پسورد گذاری صفحات استفاده کنید. در عمل استفاده از فایل robots.txt به شما این امکان را میدهد که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کرده و ترسی از محتوای تکراری، وجود لینک های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نداشته باشید. همچنین به شما این امکان را میدهد که صفحات بیارزش و کم محتوا را از دید موتورهای جستجو پنهان کنید تا زمان روباتها در سایت شما برای ایندکس کردن این صفحات هدر نرود. شما تنها زمانیکه قصد محدود کردن روباتهای گوگل را داشته باشید از فایل robots.txt استفاده میکنید و اگر از نظر شما تمام صفحات سایت قابلیت و ارزش ایندکس شدن توسط گوگل را داشته باشند نیازی به این فایل نخواهید داشت. حتی قرار دادن یک فایل خالی با همین نام نیز لزومی ندارد. برای قرار دادن یک فایل robots.txt شما باید به هاست دسترسی داشته و آن را در ریشه اصلی کپی کنید. اگر به هر دلیل دسترسی شما به سرور محدود شده باشد میتوانید با قرار دادن تگهای متا در هدر صفحه دسترسی روبات به آن را محدود کنید.
برای جلوگیری از ورود تمامی روباتهای اینترنتی به صفحه از تگ:
و برای محدود کردن روباتهای گوگل از تگ:
استفاده کنید. با مشاهدهی این تگ در هدر یک صفحه گوگل، بطور کلی آن را از نتایج جستجوی خود خارج خواهد کرد.
آموزش ساخت فایل robots.txt
با ترکیب این دو دستور شما میتوانید قوانین مختلفی را برای دسترسی به صفحات داخلی سایت تعریف کنید. به عنوان مثال برای یک user-agent مشخص میتوان چندین آدرس را معرفی نمود و یا برعکس.
لیست تمامی روباتهای اینترنتی معتبر در دیتابیس "Web Robots Database" موجود است و شما میتوانید با قرار دادن نام هر یک بعنوان User-agent قوانین مشخصی برای آنها تعریف کنید و یا با استفاده از کاراکتر * به جای نام در فایل robots.txt یک قانون را برای همه روباتها اعمال کنید؛ مانند:
* :User-agent
Disallow: /folder1/
موتور جستجوی گوگل چندیدن نوع روبات مخصوص بخود دارد که معروفترین آنها با نام Googlebot شناخته میشود و وظیفه بررسی و ایندکس صفحات وب را برعهده دارد. روبات Gogglebot-image نیز مسئول بررسی تصاویر سایتها و ایندکس کردن آنها میباشد.
User-Agent: Googlebot
Disallow: /folder2/
Disallow: /
برای عدم دسترسی به یک فولدر یا دسته از سایت نام آن را وارد کنید.
Disallow: /blog/
برای اعمال محدودیت روی یک صفحه خاص آدرس دقیق آن را بدون نام سایت وارد کنید.
Disallow: /blog/keyword-planner/
برای محدود کردن یک تصویر بر روی سایت آدرس آن را به همراه User-agent مربوط به آن وارد کنید.
و برای مخفی کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو از دستور زیر استفاده کنید.
همچنین شما میتوانید یک نوع فایل مشخص را از دید موتورهای جستجو مخفی نگه دارید، به عنوان مثال برای تصاویری با فرمت gif
توجه داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف انگلیسی حساس بوده و آدرس صفحات باید به دقت وارد شوند. پس از ساخت فایل مورد نظر خود و ذخیره آن در فرمت txt آن را بر روی سرور و در ریشه اصلی کپی کنید. قوانین اعمال شده برای روباتهایی هستند که از این پس به سایت شما وارد میشوند حذف صفحاتی که در گذشته ایندکس شدهاند از دیتابیس گوگل نیازمند گذشت زمان خواهد بود.
آزمایش Robots.txt در بخش Blocked URLs وبمستر
نمایی از صفحه Blocked urls در وبمستر گوگل
با فشردن دکمه Test نتایج آزمون و میزان دسترسی روباتها به هریک از این آدرسها به شما نمایش داده خواهد شد.
نمونهای از نتایج آزمایش فایل Robots.txt
نحوه انتخاب صفحاتی که در فایل robots.txt معرفی میشوند و پنهان کردن آنها از دید موتورهای جستجو وابستگی مستقیم با سیاستهای شما در انتشار محتوا و سئو سایت خواهد داشت. قبل از انجام تغییرات اساسی در این فایل حتما با متخصصان سئو مشورت کرده و کدهای وارد شده را چندین بار آزمون و بازنویسی نمایید.
گردآوری: مجله اینترنتی وب
نمایندگی زیمنس ایران فروش PLC S71200/300/400/1500 | درایو …
دریافت خدمات پرستاری در منزل
پیچ و مهره پارس سهند
تعمیر جک پارکینگ
خرید بلیط هواپیما
مجلس شورای اسلامی ایران مجلس انتخابات مجلس دوازدهم صادق زیباکلام انتخابات مجلس انتخابات مجلس دوازدهم انتخابات مجلس شورای اسلامی ستاد انتخابات کشور دولت رهبر انقلاب
تهران قتل هواشناسی فضای مجازی شهرداری تهران سیل زلزله سازمان هواشناسی وزارت بهداشت پلیس آتش سوزی بارش باران
قیمت دلار خودرو قیمت طلا قیمت خودرو بازار خودرو سایپا گاز بورس حقوق بازنشستگان نمایشگاه نفت ایران خودرو بانک مرکزی
نمایشگاه کتاب کتاب نمایشگاه کتاب تهران رضا عطاران کیانوش عیاری کتابخانه سینمای ایران تلویزیون دفاع مقدس سینما نمایشگاه بینالمللی کتاب تهران سریال
خورشید فناوری تجهیزات پزشکی کنکور سراسری
رژیم صهیونیستی اسرائیل غزه فلسطین جنگ غزه روسیه آمریکا سازمان ملل افغانستان حماس رفح اوکراین
پرسپولیس فوتبال استقلال لیگ برتر رئال مادرید هوادار باشگاه پرسپولیس سپاهان لیگ برتر فوتبال ایران لیگ برتر ایران بازی باشگاه استقلال
هوش مصنوعی همراه اول شفق قطبی دبی ناسا ایلان ماسک نوآوری اپل گوگل طوفان خورشیدی وزیر ارتباطات
سرطان تغذیه درمان و آموزش پزشکی کاهش وزن رژیم غذایی زیبایی فشار خون قهوه بارداری توت فرنگی هندوانه