برای اینکه گوگل بات بتواند صفحات را به درستی رندر کند، باید بتواند به همه منابع صفحه مانند جاوااسکریپت، CSS و عکسها دسترسی داشته باشد. در صورتیکه صفحه یا صفحات و یا منابع آنها بر روی گوگل بات بلاک شده باشند، لیست آنها به همراه صفحاتی که تحت تاثیر آن قرار گرفته اند در گزارش Blocked Resources نمایش داده می شود.
به عنوان نمونه در تصویر بعدی که گزارش منابع بلاک شده در گوگل سرچ کنسول است، گزارش سایت example.com را مشاهده می کنید که تعداد 1083 صفحه آن دارای منبع یا منابعی هستند که گوگل بات به آنها دسترسی ندارد. طبق این گزارش، منابع بلاک شده بر روی گوگل بات بر سه هاست example.com و aparat.com و api.pinterest.com قرار دارند و با کلیک بر روی هر کدام از آنها می توان لیست کامل صفحاتی که دارای منبع بلاک شده از آن هاست هستند را مشاهده کرد.
دلایل رایج بلاک بودن منابع صفحه بر روی ربات گوگل
یکی از دلایل رایج بلاک بودن منابع برای موتورهای جستجو، استفاده غیر صحیح از robots.txt است. به عنوان نمونه ممکن است مسیری توسط robots.txt بلاک شده باشد ولی فایل CSS و یا js که برای رندر صفحه مورد نیاز است در آن مسیر قرار گرفته باشد. بنابراین کاربران می توانند به درستی صفحه را مشاهده کنند ولی موتور جستجو به دلیل تبعیت از robots.txt نمی تواند به درستی صفحه را رندر کند. برای تست فایل robots.txt می توانید از ابزار robots.txt Tester سرچ کنسول استفاده کنید.
دلیل دیگری که در برخی از سایت ها مشاهده می شود، استفاده از iframe یک سایت دیگر مانند سایت آپارات جهت نمایش یک ویدیو در صفحه است. بیشتر سایتهای اشتراک گذاری ویدیو این اجازه را به کاربران می دهند که بتوانند ویدیوهای مورد نظرشان را از طریق iframe در صفحات سایتشان نمایش دهند. ولی معمولا این گونه سایتهای اشتراک گذاری ویدیو با استفاده از تکنیک های مختلف، دسترسی ربات های موتور جستجو را به iframe خودشان که در سایت های دیگر وجود دارد، مسدود می کنند که منجر به نمایش ارور مسدود بودن منابع در گزارش Blocked Resources می شود.
بنابراین اگر فضای کافی برای هاست ویدیو روی سرور سایت خودتان دارید، می توانید ویدیوهایتان را بر روی سرور خودتان هاست کنید ولی اگر ویدیوهای متعددی دارید و بنابر هر دلیلی قصد هاست کردن ویدیوها روی سرور خودتان را ندارید می توانید با علم به اینکه ویدیوهای موجود در سایتتان توسط ربات گوگل خوانده نمی شود، از سایت های اشتراک گذاری ویدیو بهره ببرید.
با توجه به این توضیحات، جهت سئوی حرفه ای سایت باید از در دسترس بودن همه منابع صفحات سایت بر روی گوگل اطمینان حاصل نمود. توصیه می کنیم با استفاده از ابزار Fetch as Google صفحات سایت را از نظر عدم بلاک بودن منابع آنها برای کراولر گوگل بررسی کنید. در بخش آموزش گوگل سرچ کنسول در مورد دیگر گزارشات و ابزارهای سرچ کنسول برای وبمستران و سئوکاران توضیح داده شده است.
سلام
من تو این زمینه سئو در سایتم به مشکل برخوردم.
ممکنه راهنمایی کنید چطور ربات گوگل رو تنظیم کنم که ارور نده؟
سلام و وقت بخیر،
فایل robots.txt شما ایراد دارد. الان از طریق https://worldsaltmarket.com/robots.txt دسترسی گوگل به کلیه عکسهای سایت را مسدود کردید و دسترسی به فولدر ادمین را باز گذاشته اید که دقیقا در هر دو مورد برعکس است. اگر تنظیماتتان را مانند https://webyooz.com/robots.txt انجام دهید و از جای دیگری دسترسی گوگل را به سایت محدود نکرده باشید، مشکلتان برطرف خواهد شد.