مرجع بلاگ اسکای
معرفی کد ها و امکانات جدید برای وبلاگ نویسان بلاگ اسکای - قالب های حرفه ای بلاگ اسکای
مرجع بلاگ اسکای
معرفی کد ها و امکانات جدید برای وبلاگ نویسان بلاگ اسکای - قالب های حرفه ای بلاگ اسکای
مروری بر سئو - استفاده از robots.txt در نسخه جدید بلاگ اسکای
یکی از ابزارهایی که همیشه از آن برای پیدا کردن محتوا بهره می بریم، موتورهای جستجو هستند. مدیران و طراحان وب سایت با استفاده از تکنیک های سئو تمامی صفحات سایت خود را به موتور جستجو معرفی می کنند. اما در یک سایت صفحاتی نیز وجود دارد که باید از چشم موتورهای جستجو مخفی بمانند.
برای مخفی کردن قسمت هایی از وب سایت می توانیم از robots به دو شکل فایل یا متا (meta) تگ استفاده کنیم.
مزایای استفاده از robots
قبل از اینکه با نحوه ایجاد robots و مشخصات آن آشنا شویم، بد نیست برخی از کاربردهای این فایل (یا تگ) را مرور کنیم:
- حذف محتوای تکراری در موتورهای جستجو (مانند نسخه مخصوص چاپ صفحات یا مخصوص موبایل که البته بهتر است نسخه های متعدد نداشته باشیم)
- حذف صفحاتی که در حال تکمیل هستند
- حذف صفحات یا فایل های خصوصی و محرمانه
وجود صفحات تکراری کار موتورهای جستجو را برای پیدا کردن بهترین نسخه سخت می کند. اگر صفحات جدیدی دارید که در حال به روز رسانی هستند، بهتر است به کمک robots آن ها را موقتا در لیست موتورهای جستجو قرار ندهیم. همچنین در بعضی از وب سایت ها صفحات یا فایل هایی وجود دارند که خارج از محدوده حساب کاربری اعضا و فرم لاگین قرار دارند و نباید در لیست جستجو نمایش داده شوند. خوشبختانه در نسخه جدید بلاگ اسکای صفحه robots.txt ایجاد شده است .
در ادامه مطلب نحوه استفاده از robots.txt در وبلاگ های بلاگ اسکای و متا تگ robots را مرور خواهیم کرد.
فایل robots.txt
خزنده های موتورهای جستجو بسیار کنجکاو هستند. کافی است یک ورودی به وب سایت ببینند تا تمامی صفحات را استخراج کنند. همین خزنده ها به اندازه کافی نجیب هم هستند. ابتدا دنبال فایلی به نام robots.txt در شاخه اصلی وب سایت می گردند. اگر این فایل وجود داشته باشد، تنظیمات داخل آن را می خوانند تا بدانند اجازه ورود به چه قسمت هایی از وب سایت را ندارند.
نکته: نام فایل به حروف بزرگ و کوچک حساس است (case sensitive).
تنظیمات robots.txt
به این منظور از اولین صفحه ی قسمت مدیریت وبلاگ های بلاگ اسکای ، وارد مدیریت وبلاگ ها شده و به قسمت بهینه سازی جستجوگر ها وارد شوید.
قسمت بالا که مربوط به فایل robots.txt شماست شامل تعداد دلخواه ردیف اطلاعات (رکورد) است که هر رکورد از دو قسمت تشکیل شده است.
user-agent مشخص کننده شناسه موتور جستجو و disallow شامل آدرس قسمت هایی از وب سایت که نباید لیست بشوند است.
- User-agent: *
- Disallow:
کدهای فوق بدین معنا است که تمامی موتورهای جستجو می توانند به همه قسمت های وب سایت دسترسی داشته باشند. اما با قرار دادن / در مقابل Disallow، دسترسی تمام خزنده ها را به کل وب سایت مسدود می کنیم.
- User-agent: *
- Disallow: /
این امکان نیز وجود دارد که یک موتور جستجوی خاص را هدف قرار بدهیم. دستورات زیر، بدین معنا است که گوگل اجازه دسترسی به نسخه قابل چاپ ما را نخواهد داشت.
- User-agent: Googlebot
- Disallow:/print/
Googlebot همان روبات نرم افزاری گوگل است که وظیفه جمع آوری اطلاعات برای جستجوگر گوگل را بر عهده دارد. لیست کامل روبات های وب را می توانید در این آدرس مشاهده نمایید.
برای صرفه جویی در زمان و کوتاه کردن کدنویسی می توانیم از چند Disallow برای یک User-agent استفاده کنیم.
- User-agent: Bingbot
- Disallow: /print/
- Disallow: /comments/
دستورات فوق باعث می شود جستجوگر بینگ صفحات نسخه قابل چاپ و همچنین کامنت ها را دنبالا نکند
برای آزمایش صحت تنظیمات فایل robots.txt می توانید با مراجعه به ابزارهای گوگل وبمسترزدر قسمت health لیست آدرس های تعریف شده را مشاهده نمایید.
متا تگ robots
در نسخه جدید بلاگ اسکای دیگر نیازی به استفاده از این تگ را ندارید اما بهتر است بدانید که متا تگ robots کاری مشابه با فایل robots.txt انجام می دهد. البته با تفاوت اینکه متا تگ فقط مربوط به یک صفحه است ولی در فایل robots.txt با یک تنظیم ساده می توانیم تعداد زیادی فایل را انتخاب کنیم.
- <head>
- <meta name=”robots” content=”noindex, nofollow” />
- </head>
کدهای فوق، فایل را در تمامی موتورهای جستجو مخفی می کند. عبارات زیر را در قسمت content می توانیم قرار دهیم:
