اکثر وبلاگ نویسان باتجربه مطمئناً می دانند robots.txt چیست و چرا به این پرونده نیاز دارید. اما تعداد کمی از نویسندگان پس از نصب وبلاگ در وردپرس بلافاصله برای ایجاد یک پرونده robots.txt عجله می کنند.
Robots.txt یک فایل متنی است که در فهرست اصلی سایت شما بارگذاری می شود و حاوی دستورالعمل هایی برای خزنده ها است. هدف اصلی استفاده از آن منع نمایه سازی صفحات و بخشهای جداگانه در سایت است. با این حال ، با استفاده از robots.txt ، می توانید آینه دامنه صحیح را نیز تعیین کرده ، مسیر نقشه سایت و مواردی از این دست را تعیین کنید.
بیشتر موتورهای جستجوی مدرن یاد گرفته اند که به خوبی در CMS محبوب پیمایش کنند و معمولاً سعی نمی کنند محتوایی را که برای این کار در نظر گرفته نشده است فهرست بندی کنند. به عنوان مثال ، Google منطقه مدیریت وبلاگ وردپرس شما را فهرست نمی کند حتی اگر آن را مستقیماً در robots.txt مشخص نکنید. با این حال ، در برخی موارد ، استفاده از ممنوعیت های مستقیم هنوز هم می تواند مفید باشد. و ما در درجه اول در مورد ممنوعیت محتوای تکراری صحبت می کنیم.
برخی از مدیران وب تا آنجا پیش می روند که نمایه سازی صفحات دسته و برچسب را ممنوع می کنند ، زیرا محتوای آنها تا حدی محتوای صفحه اصلی را تکرار می کند. اما بیشتر آنها به ممنوعیت پیگیری و صفحه های خوراک محدود می شوند که به طور کامل محتوای مقاله را کپی می کنند و به هیچ وجه برای موتورهای جستجو در نظر گرفته نشده اند. چنین احتیاطی نه تنها باعث "پاک تر" شدن نتایج سایت می شود ، بلکه شما را از فیلترهای احتمالی جستجو به ویژه پس از معرفی الگوریتم جدید Google Panda نجات می دهد.
در اینجا دستورالعمل های پیشنهادی برای یک فایل robots.txt آورده شده است (تقریباً برای همه وبلاگ های وردپرس کاربرد دارد):
نماینده کاربر: * غیرمجاز: /wp-login.php غیر مجاز: /wp-register.php غیر مجاز: /xmlrpc.php غیر مجاز: / wp-admin غیر مجاز: / wp-شامل مجاز نیست: / wp-content / plugins غیرمجاز: / wp-content / cache مجاز نیست: / wp-content / themes غیرمجاز: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
لطفا توجه داشته باشید که در robots.txt پوشه های مدیریتی wp-admin و wp-شامل برای نمایه سازی کاملاً بسته هستند. پوشه wp-content فقط بخشی از آن بسته است ، زیرا شامل پوشه بارگذاری است که شامل تمام تصاویر وبلاگ شما است که باید نمایه شوند.
تمام کاری که شما باید انجام دهید این است که دستورالعمل ها را از کد بالا کپی کنید (توجه داشته باشید که هر دستورالعمل باید روی یک خط جدید نوشته شود) ، آنها را در یک فایل متنی به نام robots.txt ذخیره کنید و در پوشه اصلی سایت خود بارگذاری کنید.
شما همیشه می توانید از طریق رابط های Google Webmaster Tools و Yandex Webmaster بررسی کنید که آیا robots.txt به درستی کار می کند یا خیر.
