یکی از ابزارهایی که همیشه از آن برای پیدا کردن محتوا بهره می بریم، موتورهای جستجو هستند. مدیران و طراحان وب سایت با استفاده از تکنیک های سئو تمامی صفحات سایت خود را به موتور جستجو معرفی می کنند. اما در یک سایت صفحاتی نیز وجود دارد که باید از چشم موتورهای جستجو مخفی بمانند.
برای مخفی کردن قسمت هایی از وب سایت می توانیم از robots به دو شکل فایل یا متا (meta) تگ استفاده کنیم.
مزایای استفاده از robots
قبل از اینکه با نحوه ایجاد robots و مشخصات آن آشنا شویم، بد نیست برخی از کاربردهای این فایل (یا تگ) را مرور کنیم:
- حذف محتوای تکراری در موتورهای جستجو (مانند نسخه مخصوص چاپ صفحات یا مخصوص موبایل که البته بهتر است نسخه های متعدد نداشته باشیم)
- حذف صفحاتی که در حال تکمیل هستند
- حذف صفحات یا فایل های خصوصی و محرمانه
وجود صفحات تکراری کار موتورهای جستجو را برای پیدا کردن بهترین نسخه سخت می کند. اگر صفحات جدیدی دارید که در حال به روز رسانی هستند، بهتر است به کمک robots آن ها را موقتا در لیست موتورهای جستجو قرار ندهیم. همچنین در بعضی از وب سایت ها صفحات یا فایل هایی وجود دارند که خارج از محدوده حساب کاربری اعضا و فرم لاگین قرار دارند و نباید در لیست جستجو نمایش داده شوند. خوشبختانه در نسخه جدید بلاگ اسکای صفحه robots.txt ایجاد شده است .
در ادامه مطلب نحوه استفاده از robots.txt در وبلاگ های بلاگ اسکای و متا تگ robots را مرور خواهیم کرد.