فایل “robots.txt” به ربات های موتور های جستجو کمک می کند تا به چه بخش هائی دسترسی داشته باشند. این فایل، باید با نام robots.txt در شاخه روت سایت قرار گیرد.
تمامی ربات های موتور های جستجو در صورت مشاهده * نباید به پوشه های مشخص شده آن دسترسی داشته باشند.
شما ممکن است که تمایلی نداشته باشید بخشی از سایت شما توسط موتور های جستجو مشاهده شود. و امکان دارد آن اطلاعات برای کاربران مفید نباشد. در صورتی که می خواهید این کار را انجام دهید در بخش Google Webmaster Tools ابزار بسیار آسانی برای طراحی robots.txt وجود دارد.
در صورتی که شما زیر دامنه های متفاوتی دارید باید با هر کدام از آن ها یک فایل robots.txt ایجاد کنید.
روش های دیگری برای این کار نیز وجود دارد، شما می توانید از متا تگ NOINDEX نیز در آن صفحه استفاده کنید. از فایل .htaccess برای رمز گذاری پوشه ها استفاده کنید.
روش های مناسب برایrobots.txt
۱. از متد های فایل robots.txt بهخوبی استفاده کنید – از تمامی قابلیت های این فایل برای دسترسی موتور های جستجو استفاده کنید. با این حال استفاده از تگ متا را در موارد خاص حتماً در نظر بگیرید. بهترین روش برای جلوگیری از دسترسی موتور های جستجو به پوشه های شما قرار دادن رمز برای پوشه ها توسط .htaccess است.
اجتناب کنید از:
– اجازه دهید موتور های جستجو شاخه های غیر ضروری شما را مشاهده کند.
– اجازه دهید که موتور های جستجو مطالب تکراری شما را که در بخش های دیگر سایت هستند را مشاهده کنند.