گوگل بات یا همان Googlebot یک خزنده وب است که وظیفه اش جمع آوری اطلاعات صفحات وبسایت های گوناگون و ارسال آن به سرورهای گوگل جهت آپدیت ایندکس گوگل است. جهت سئوی حرفه ای و اصولی حتما باید با نحوه کارکرد گوگل بات آشنا باشید.
مراحل کار Googlebot:
- ربات گوگل اطلاعات یک صفحه مانند کلمات، کدها، عکسها و منابعی مانند CSS و جاوااسکریپت را جمع آوری میکند.
- اگر لینک یا لینک هایی در صفحات موجود باشد، آنها را در نظر میگیرد.
- کلیه دیتای جمع آوری شده را به سرورهای گوگل ارسال میکند.
خزنده یا Webcrawler چیست؟
به طور کلی خزنده‌های وب، نرم افزارهایی هستند که در اینترنت وارد سایتهای گوناگون می شوند و همه صفحات آنها را می خوانند و لینکها را دنبال می کنند و در نهایت اطلاعات صفحات را جمع آوری و به محل مشخصی ارسال می کنند.
کراولرهای وب با نامهای دیگری از قبیل ant، bot، spider و robot نیز شناخته می شوند.
Googlebot و سایت شما:
برای اینکه گوگل بات بتواند صفحات سایت شما را بخواند به دو نکته مهم توجه داشته باشید:
- اطمینان داشته باشید که گوگل بات می تواند صفحات سایت شما را ببیند.
- گوگل بات باید بتواند به همه منابع صفحات سایت مانند کدهای جاوااسکریپت، CSS و عکسها دسترسی داشته باشد.
انواع Googlebot:
تا امروز 10 نوع Googlebot وجود دارد که برای اهداف و وظایف گوناگونی طراحی و بکار گرفته شده اند.
| نام | کاربرد |
| Googlebot | جستجوی وب |
| Googlebot News | جستجوی اخبار |
| Googlebot Images | جستجوی عکس ها |
| Googlebot Video | جستجوی ویدیو ها |
| Google Mobile | جستجوهایی که با feature phone انجام می شوند |
| Google Smartphone | جستجوی هایی که با تلفنهای هوشمند انجام می شوند |
| Google Mobile AdSense | بررسی سایت روی موبایل جهت تعیین نوع محتوا با هدف نمایش تبلیغ مرتبط |
| Google AdSense | آنالیز سایت با دسکتاپ برای مشخص کردن محتوا جهت نمایش تبلیغ مرتبط |
| Google AdsBot | بررسی کیفیت صفحات ورود یا همان landing page |
| Google app crawler | خواندن اطلاعات و منابع اپلیکیشنهای موبایل |
سلام
https://www.google.com/webmasters/tools/googlebot-report
این ابزار گوگل دقیقا برای چی هست و برای پر کردن گزینه هاش چی باید بنویسیم
سلام و وقت بخیر،
در صورتیکه رفتار گوگل بات در سایت شما طبیعی نیست، مثلا تعداد زیادی صفحه را در یک ثانیه کراول می کند، می توانید آن مشکل را توسط این فرم به گوگل ریپورت کنید. برای ارسال گزارش ابتدا باید لاگ سرور را چک کنید که ببینید گوگل بات از چه آی پی در حال کراول صفحه است و آن آی پی را در فیلد اول وارد کنید. سپس چک کنید که گوگل بات با چه user-agent در حال کراول صفحات مورد نظر شما است و آن user-agent را در فیلد دوم وارد کنید. در فیلد سوم هم تعداد بازدید گوگل بات از سایت در روز را وارد کنید و در فیلد Additional details نیز اگر لازم بود، توضیح بیشتری بدهید.
سلام و عرض ادب.
چطور میتونم تنظیماتی انجام بدم تا googlebot صفحاتی که به 404 ارجاع میده رو ایندکس نکنه و نادیده بگیره؟
سلام،
اگر صفحه 404 شما استاندارد باشد و 404 https response در صفحات not found برگرداند، گوگل بات آن صفحات را ایندکس نخواهد کرد.
با سلام
آیا اگر تنظیمات سرچ کنسول را به نحوی انجام دهیم که گوگل بات با سرعت بیشتری صفحات سایت را بخواند، در بهبود سئوی سایت تاثیر دارد؟
سلام، تنظیم Crawl rate در گوگل سرچ کنسول تاثیری در محاسبات رنکینگ ندارد. اگر گوگل بات با سرعت زیادی صفحات را کراول کند و یا شما در لاگ های سرور ببینید که به عنوان مثال گوگل بات بیشتر از قبل در حال کراول سایت شما است، به معنای بهبود رنکینگ سایت شما نیست.
سلام چطور میشه فهمید که گوگل بات روزانه چند صفحه از سایت ما را کراول می کند؟
سلام، شما می توانید از طریق چک کردن لاگ های سرور متوجه شوید که چه user-agentهایی برای سرور شما request فرستاده اند. با چک کردن لاگ می توانید گوگل بات، بینگ بات و بقیه robotهایی که به سرور شما request ارسال کرده اند را شناسایی کنید.
سلام از کجا بفهمیم که گوگل بت صفحات سایت ما رو میبینند ؟
سلام. شما می توانید از طریق fetch کردن صفحه مورد نظرتان در گوگل سرچ کنسول، چک کنید که آیا گوگل بات به صفحه مورد نظر شما دسترسی دارد یا خیر.
سلام عالی بود
یه سوال هست؟ گوگل بات چطوری متن مطالب رو از سایر متن های سایت تشخیص میده حالا بر فرض مثال گوگل بات این کار رو انجام نمیده و به مرکز میفرسته این کار رو انجام میده الگوریتم تشخیص متن از بین این همه کد و حالا مطالب اصلی هست یا نیست چطوری انجام میشه چطوری میتونم در این مورد مطلبی پیدا کنم.
سلام.همانطور که در متن اشاره شده و خودتان نیز به آن اشاره فرمودید، گوگل بات کد HTML صفحه به همراه منابع را می خواند و به ایندکس گوگل میفرستد. در آنجا نیز الگوریتمهای گوگل از روی کد HTML میتوانند تشخیص دهند که کدام قسمت منو،متن مقاله، هدر، فوتر، عکس، متن یک کامنت و یا دیگر قسمت های یک صفحه است. اصولا الگوریتم های گوگل و دیگر robot ها نیز به همین روش عمل میکنند. ضمنا برای درک بهتر موتورهای جستجو از سایت توصیه می شود که از structured data نیز استفاده شود.
نحوه تشخیص چطوری هست مثلا من بخواهم یه خزنده بنویسم براساس کدهای هر سایت متفاوت هست و نمیشه مطالب رو تشخیص داد مگر اینکه با تفکیک html, سایر موارد را تشخیص بدهم حالا اگر کلی سایت باشه هر سایت ممکنه ساده یا پیچیدگی خاص خودش رو داشته باشه صدرصد یه الگوریتمی داره چون ربات هست و انسان نیست که بتونه مطلب رو تشخیص رو بده و ربات هم با یک سری دستورات اینکار رو انجام میده
در ربات های ساده، برای هر نوع صفحه، الگوریتم مشخصی نوشته می شود ولی نوشتن رباتی مانند گوگل بات که بتواند انواع صفحات را تشخیص دهد، قطعا دانش برنامه نویسی و تجربه بالایی نیاز دارد. برای آموزش نوشتن ربات در گوگل عبارت Web Crawler Tutorial را جستجو کنید.
امان از این خزنده گوگل که همه سایت ها اگه بهترین مطلب رو بنویسند ولی گوگل بت نخونه و کرال نکنه وبمسترش انگار کاری نکرده و حتی همه زحماتی که برای تولید محتوا اصولی کشیده باشه هم به هدر میره.
اینکه Googlebot برای پیدا کردن محتوای سایت ها 10 تا کرالر داره رو نمی دونستم و خیلی برام جالب بود. چرا یک کرالر همه کارها را انجام نمیدهد؟
هر crawler وظیفه مشخصی دارد. به عنوان نمونه، کرالر سرویس تبلیغات گوگل یا همان گوگل ادوردز نباید همه سایت ها را بررسی کنید و فقط باید سایتهایی که از گوگل ادوردز استفاده میکنند را بخواند و بررسی کند. بقیه خزنده ها هم به همین ترتیب رفتار خواهند کرد.
سلام ممنونم بابت توضیح گوگل بت یا کرالر گوگل، خیلی کامل معرفی کرده بودید،یک سئوال داشتم، آیا گوگل بات ها جهت تشخیص فریب سایت که گاهاً برای ایجاد صفحات زیاد از تکنیک های مختلف استفاده میکنند، هوشمند هستند و خود خزنده گوگل به صفحات سایت ها رنک می دهد یا اینکه وظیفه خزشگر گوگل یا Webcrawler فقط پیداکردن محتوا و خواندن صفحات سایت ها هست و امور رنک دهی به صفحات وب سایت ها در ساختار دیگری انجام می گردد؟
کراولر ها فقط صفحات را میخوانند و اطلاعات کامل آنها را به سرورهای گوگل ارسال میکنند و در نهایت ایندکس گوگل آپدیت میشود و در آنجا محاسبات رنکینگ توسط الگوریتمهای گوگل انجام می پذیرد. الگوریتمهای متنوعی مانند مرغ مگس خوار، آپدیت کبوتر گوگل، گوگل رنکبرین، الگوریتم دزد دریایی، آپدیت گوگل پاندا، آپدیت پنگوئن و موبایل گدون وجود دارد که هر کدام محاسبات خاصی را انجام میدهند.