فایل robots.txt یک فایل متنی است که در ریشه سایت قرار می گیرد و توسط آن امکان تعریف برخی قوانین برای ربات های موتور جستجو وجود دارد. در نتیجه این فایل باید به صورت example.com/robots.txt در دسترس باشد. توسط ابزار robots.txt Tester این امکان وجود دارد که علاوه بر رویت فایل robots.txt سایت، بتوانید بررسی کنید که گوگل بات به کدام فایلها یا مسیرها دسترسی دارد یا خیر.
جهت بررسی بلاک بودن یا نبودن یک آدرس، یک منبع یا مسیر بر روی گوگل بات، ابتدا صفحه ابزار robots.txt Tester سرچ کنسول را باز کرده و سپس آدرس مورد نظرتان را مانند تصویر زیر در فیلد مربوطه نوشته و پس انتخاب user-agent از منوی آبشاری، روی دکمه TEST کلیک کنید.
نتیجه بررسی آدرس با robots.txt
اگر گوگل بات به آدرس مورد نظر شما دسترسی داشته باشد، همانند تصویر زیر عبارت ALLOWED به رنگ سبز به شما نمایش داده می شود و خط مربوطه در متن فایل robots.txt نیز به رنگ سبز در خواهد آمد.
ولی اگر بر اساس نوشته های robots.txt گوگل بات به آدرس مد نظر شما دسترسی نداشته باشد، همانند تصویر زیر، عبارت BLOCKED به رنگ قرمز نمایش داده می شود و آن خط از نوشته robots.txt که باعث بلاک شدن گوگل بات شده نیز به رنگ قرمز در می آید تا شما متوجه علت عدم دسترسی گوگل بات به آدرس مورد نظرتان بشوید.
همچنین می توانید به صورت دستی در صفحه robots.txt Tester قوانین مد نظرتان را بنویسید و تست کنید. البته دقت داشته باشید که اعمال تغییرات در robots.txt به معنای اعمال تغییرات در فایل اصلی نیست و صرفا کاربرد آزمایش دارد. با کلیک روی عبارت See live robots.txt می توانید فایل اصلی را مشاهده کنید.