ابزار robots.txt Tester در گوگل سرچ کنسول

ابزار robots.txt Tester در سرچ کنسول

فایل robots.txt یک فایل متنی است که در ریشه سایت قرار می گیرد و توسط آن امکان تعریف برخی قوانین برای ربات های موتور جستجو وجود دارد. در نتیجه این فایل باید به صورت example.com/robots.txt در دسترس باشد. توسط ابزار robots.txt Tester این امکان وجود دارد که علاوه بر رویت فایل robots.txt سایت، بتوانید بررسی کنید که گوگل بات به کدام فایلها یا مسیرها دسترسی دارد یا خیر.

جهت بررسی یک آدرس یا مسیر در این ابزار ابتدا آدرس مورد نظرتان را در فیلد مربوطه (تصویر زیر) نوشته و پس انتخاب user-agent از منوی آبشاری، روی دکمه TEST کلیک کنید.

تست robots.txt در گوگل سرچ کنسول
تست robots.txt در گوگل سرچ کنسول

نتیجه بررسی آدرس با robots.txt

اگر گوگل بات به آدرس مورد نظر شما دسترسی داشته باشد، همانند تصویر زیر عبارت ALLOWED به رنگ سبز به شما نمایش داده می شود و خط مربوطه در متن فایل robots.txt نیز به رنگ سبز در خواهد آمد.

Robots.txt Allowed Rule
Robots.txt Allowed Rule

ولی اگر بر اساس نوشته های robots.txt گوگل بات به آدرس مد نظر شما دسترسی نداشته باشد، همانند تصویر زیر، عبارت BLOCKED به رنگ قرمز نمایش داده می شود و آن خط از نوشته robots.txt که باعث بلاک شدن گوگل بات شده نیز به رنگ قرمز در می آید تا شما متوجه علت عدم دسترسی گوگل بات به آدرس مورد نظرتان بشوید.

Robots.txt Blocked Rule
Robots.txt Blocked Rule

همچنین می توانید به صورت دستی در صفحه robots.txt Tester قوانین مد نظرتان را بنویسید و تست کنید. البته دقت داشته باشید که اعمال تغییرات در robots.txt به معنای اعمال تغییرات در فایل اصلی نیست و صرفا کاربرد آزمایش دارد. با کلیک روی عبارت See live robots.txt می توانید فایل اصلی را مشاهده کنید.

ابزار robots.txt Tester بیشتر در کنار ابزار Fetch as Google سرچ کنسول کاربرد دارد و توسط آن می توانید علت بلاک بودن برخی منابع سایت بر روی گوگل بات را بیابید و در مورد آن تصمیم گیری کنید. هر سئوکار باید بتواند جهت بهینه سازی سایت برای موتورهای جستجو از گزارش ها و ابزارهای سرچ کنسول یا همان وبمستر تولز سابق به بهترین نحو استفاده کند. شما می توانید جهت آشنایی با دیگر خدمات سرچ کنسول به بخش آموزش گوگل سرچ کنسول مراجعه کنید.

دیدگاه و سوالات خود را با ما در میان بگذارید

نشانی ایمیل شما منتشر نخواهد شد.