وقتی که سایت یا وبلاگمان را در گوگل وبمستر تولز ثبت میکنیم، صفحات و آدرس هایی که گوگل در پیمایش و ایندکس وبلاگ ما در آن ها با مشکل مواجه شده را تذکر میدهد تا مشکل آن صفحات را رفع کنیم.
شایع ترین این مشکلات خطای 404 است، یعنی نبودن آن صفحه. و این خطا ها باعث پایین آمدن سئو و کم ارزش شدن وبلاگ ما نزد گوگل است که در نتیجه پس از مدتی مطالب ما در نتایج اول گوگل دیده نخواهد شد.
این مطلب را به این خواطر گفتم که با بروز شدن بلاگ اسکای به نسخه جدید، وبلاگ های بلاگ اسکای به تعداد زیادی از این خطاها دچار شده اند. البته پیش از این هم مشکلاتی بود اما اکنون بیشتر شده.
در ادامه به توضیح این مشکلات و چگونگی رفع آنها با استفاده از robots.txt میپردازیم.
یکی از ابزارهایی که همیشه از آن برای پیدا کردن محتوا بهره می بریم، موتورهای جستجو هستند. مدیران و طراحان وب سایت با استفاده از تکنیک های سئو تمامی صفحات سایت خود را به موتور جستجو معرفی می کنند. اما در یک سایت صفحاتی نیز وجود دارد که باید از چشم موتورهای جستجو مخفی بمانند.
برای مخفی کردن قسمت هایی از وب سایت می توانیم از robots به دو شکل فایل یا متا (meta) تگ استفاده کنیم.
مزایای استفاده از robots
قبل از اینکه با نحوه ایجاد robots و مشخصات آن آشنا شویم، بد نیست برخی از کاربردهای این فایل (یا تگ) را مرور کنیم:
- حذف محتوای تکراری در موتورهای جستجو (مانند نسخه مخصوص چاپ صفحات یا مخصوص موبایل که البته بهتر است نسخه های متعدد نداشته باشیم)
- حذف صفحاتی که در حال تکمیل هستند
- حذف صفحات یا فایل های خصوصی و محرمانه
وجود صفحات تکراری کار موتورهای جستجو را برای پیدا کردن بهترین نسخه سخت می کند. اگر صفحات جدیدی دارید که در حال به روز رسانی هستند، بهتر است به کمک robots آن ها را موقتا در لیست موتورهای جستجو قرار ندهیم. همچنین در بعضی از وب سایت ها صفحات یا فایل هایی وجود دارند که خارج از محدوده حساب کاربری اعضا و فرم لاگین قرار دارند و نباید در لیست جستجو نمایش داده شوند. خوشبختانه در نسخه جدید بلاگ اسکای صفحه robots.txt ایجاد شده است .
در ادامه مطلب نحوه استفاده از robots.txt در وبلاگ های بلاگ اسکای و متا تگ robots را مرور خواهیم کرد.