فایل robots.txt همانگونه که از پسوند آن مشخص است یک فایل متنی میباشد، که با قرار گرفتن در وب سایت شما به موتور های جستجو و گوگل اعلام میکند که کدام قسمت های سایت قابل دسترس باشد و یا نیاز به ایندکس چه صفحات و یا پوشه هایی نیست.
در سئو متوسط و پیشرفته سایت نیاز است که این فایل ایجاد و تغییراتی در آن اعمال شود.
اعمال قوانین به ربات ها که همیشه در حال خزش در صفحات وب هستند از طریق فایل robots قابل انجام است.
برای این کار قوانین استانداردی وجود دارد که با آن میتوانیم نسبت به انجام محدودیت ها برای ایندکس و خزش در قسمت های مختلف سایت را انجام دهیم.
همچنین معمولا محل قرار گرفتن نقشه سایت در این فایل مشخص میشود.
یکی از بهترین مواردی کاربردی فایل robots که میتوانیم از آن استفاده کنیم جلوگیری از عدم ایندکس صفحات مشابه در مباحث مرتبط به سئو است.
با توجه به امکانات پوسته و قالب وردپرس، ممکن است چند محصول در آدرس های متفاوت اما مشابه ای دسته بندی شوند و این کار به دلیل محتوای کپی میتواند موجب تائیر منفی در بهینه سازی سایت شود.
هر چند گوگل تا حدود زیادی بیشتر پارامترها را تشخیص میدهد. اما وقتی نیازی به ایندکس صفحات نیست چرا باید از این کار جلوگیری نکنیم؟
برای نمونه دسته بندی رنگ بندی ها، محدوده قیمت، سایز و . . . میتواند موجب ایجاد دهها آدرس در وب سایت شوند که هیچ لزومی برای ایندکس شدن انها در گوگل از نظر سئو وجود ندارد.
برای برخی از این مشکلات هیچ راهی جز اعمال محدودیت در فایل robots وجود ندارد.
ما در اینجا به چند نمونه آن اشاره میکنیم توجه داشته باشید که این دستورات با توجه به پوسته شما ممکن است متفاوت باشند.
این مقاله به روز میشود.
