کرال بادجت (Crawl budget) یا بودجه خزش یعنی موتور جست و جو با چه سرعتی سایت شما از زیر نظر می گذارد و چند صفحه از سایت شما را رصد می کند. به این فرآیند رصد کردن و ارزیابی، کرال کردن سایت می گویند. بنابراین این نرخ سرعت و صفحه ها تحت تأثیر منابعی است که کرالر موتور جست و جو استفاده می کند. از طرف دیگر قدرت پشتیبانی سرور سایت هم در این نرخ تعیین کننده است.
دقت کنید که نرخ کرال بیشتر، همیشه لزوماً به معنی گرفتن رتبه بهتر در گوگل نیست! اما نکته اینجاست که اگر صفحات سایت شما از زیر نظر کرال های موتور جست و جو رد نشده و شاخص بندی نشوند، قطعاً باید قید رتبه گرفتن را بزنید.
اما اینجا با چند سؤال مهم روبه را هستیم که در این راهنما به آنها پاسخ می دهیم:
- کِی باید نگران بودجه خزش باشیم؟
- چطور فعالیت خزش را بررسی کنیم؟
- چه چیزهایی جلوی خزش را می گیرند؟
- گوگل چطور خزش را تنظیم می کند؟
- چه کار کنیم که گوگل سایت را سریع تر کرال کند؟
- چه کار کنیم گوگل سایت را آهسته تر کرال کند؟
چه زمانی در مورد بودجه خزش باید احساس نگرانی کنیم؟
خب در صفحه های محبوب و پربازدید جای هیچ نگرانی وجود ندارد. چون این صفحات قبلاً کرال و رتبه بندی شده اند. اما وقتی صفحه های جدیدی به سایت اضافه می شوند که لینک زدن به آنها درست انجام نشده و یا زیاد تغییر داده نمی شوند، این صفحات معمولاً از سمت موتور جست و جو کرال نمی شوند.
نگرانی ما جایی بیشتر می شود که پای یک سایت جدید در میان است که تعداد صفحات زیادی هم دارد. در این شرایط حتی اگر سرور شما هم پشتیبانی خوبی داشته باشد، اما به خاطر جدید بودن و عدم محبوبیت، موتور جست و جو تمایلی برای بررسی صفحه ها نشان نخواهد داد! درواقع ربات های گوگل نمی توانند سایت و صفحات آن را برای ایندکس شدن به خوبی تشخیص بدهند. البته سایت های بزرگ با بازدیدهای میلیونی هم اگر با افت کرال بادجت مواجه بشوند، باید حتماً خزش را در سایتشان بررسی کنند. چون این بودجه خزش است که صفحه های هر سایتی را وارد ماراتن رتبه بندی می کند!
روش بررسی کرال بادجت
اگر بخواهیم فعالیت ربات های خزنده گوگل و هر مسئله ای که کرالر گوگل در سایت ما شناسایی کرده را مرور کنیم، بهترین کار این است که به گزارش های Crawl Stats در ” Google Search Console” نگاهی بیندازیم. گزارش های زیادی آنجا وجود دارد که کمک می کند تغییر رفتار کرال ها را بفهمیم. از همینجا هم می توانیم هر نوع اطلاعاتی که در مورد کرال سایتمان لازم داریم را پیدا کنیم.
ضمناً تاریخ آخرین باری که صفحه ها کرال شدند هم می تواند به شما کمک کند. استفاده از ابزارهای “Awstats” و “Webalizer” می تواند بازدید ربات ها و کاربران را هم برای شما مشخص کند.
البته ابزارهای تخصصی تری مثل EKL(Elasticsearch, Kibina, Logstash) را هم داریم. با این ابزارها می توانید فایل های Log را ذخیره، پردازش و بصری سازی کنید. “Splunk” هم یک ابزار خوب دیگر برای تحلیلlog هاست.
ارورهای رایجی که باعث افت کرال بادجت می شوند
وقتی به کمک ابزارهای بالا بودجه خزش سایتتان را چک می کنید، ممکن است یک سری ارور را ببینید. این ارورها در اکثر مواقع نگران کننده نیستند؛ چون به راحتی قابل شناسایی و برطرف کردن هستند.
رایج ترین ارورهایی که باعث افت بودجه خزش می شوند عبارت اند از:
- “not available”: اگرtxt یک روز غیر فعال بماند، کرال کردن هم متوقف می ماند و باید درست شود.
- “Unauthorized (101/407)”: برای این صفحه ها شما باید اجازه ورود به گوگل بات را بدهید؛ البته اگر اطلاعات محرمانه ای ندارید.
- “Server error (5XX)”: این ارور هشدار دسترسی می دهد و باید حتماً مشکل دسترسی را برطرف کرد.
- “Other client error (4XX)”: مربوط به هر اروری که کار کرالر را با مشکل مواجه می کند.
- “DNS unresponsive”: سرور DNS برای اینURL ها پاسخگو نیست.
- “DNS error”: ارورهای دیگر DNS که شناسایی نشدند.
- “Fetch error”: شماره پورت نامناسب، IP بد یا پاسخ های غیر قابل توجیه.
- “Page could not be reached”: هر اروری در مورد دسترسی به صفحه.
- “Page timeout”: خارج از زمان دسترسی (طول کشیدن بیش از حد لود شدن صفحه).
- “Redirect error”: ریدایرکت های زیاد، پوچ یا گردشی.
چه چیزهایی جلوی خزش را می گیرند؟
گاهی پیش می آید که سایت ما کرال بادجت کمی دارد و می خواهیم همین بودجه کم را به سمت صفحه های مهم تر هدایت کنیم. دقت کنید که تمامURL ها و درخواست ها در بودجه خزش حساب می شوند. نشانی های اینترنتی و درخواست ها شامل صفحه های AMP یا m-dot، hreflang، CSS و javascript از جمله درخواست های XHR می شوند. این نشانی های اینترنتی با کرال یا parsing pages پیدا می شوند.
کاری که باید انجام دهیم این است که بعضی از صفحات را محدود کنیم تا صفحات مهم تر را جلوی چشم کرالر قرار دهیم. چگونه؟ با یکی از روش های زیر:
- شکل دادن منابعی مثل نقشه سایت و RSS
- ارسال URL صفحه مهم تر برای ایندکس شدن (به کمک ابزارهایی مانند گوگل سرچ کنسول)
- استفاده از API گوگل بات هایی که بودجه خزش را به اشتراک می گذارند و می توانیم گزارش های آن را درCrawl stats در GSCببینیم.
ورودی هایی که بر کرال بادجت مؤثر اند
اما شاید بپرسید چه فاکتورهایی می توانند بر بودجه خزش تأثیر بگذارند؟ یعنی کدام ورودی ها باعث می شوند که بودجه خزش بیشتر یا کمتری داشته باشیم؟ در ادامه می بینیم.
1- میزان تقاضای کرال از سمت گوگل
تقاضای کراول یعنی این که گوگل تا چه اندازه ای می خواهد در سایت ورود کند. طبق یک قاعده کلی، صفحات محبوب تر و صفحه هایی که تغییرات قابل توجهی داشتند، بیشتر مورد کرال قرار می گیرند. همینطور صفحه هایی که لینک و پیوند بیشتری به آنها زده شده باشد هم در اولویت هستند.
به این نکته توجه کنید که گوگل همیشه در حال اولویت بندی است و صفحه های محبوب و پر لینک همیشه در اولویت هستند. یادتان باشد که می توانیم با استفاده از گزارش های Site Explorer بفهمیم که کدام صفحه ها مطلوبیت بیشتری دارند یا اینکه ahrefs آخرین بار چه زمانی صفحه های شما را کرال کرده است.
این قانون را گوشه ذهن داشته باشید که هر چه صفحه ای کمتر تغییر کند، دیر به دیرتر هم مورد کرال قرار می گیرد. یعنی یک صفحه اول به فاصله یک روز و بعد در صورت عدم تغییر، به فاصله سه روز، بعد ۱۰ روز، یک ماه، ۱۰۰ روز و …. کراول می شود. در نهایت در صورت تغییرات بسیار کم، فرآیند کرال آن صفحه متوقف می شود.
2- محدودیت نرخ کرال
محدودیت نرخ کرال مربوط به سایت شما می شود؛ این که سایتتان تا چه اندازه قادر به پشتیبانی است؟ وب سایت ها معمولاً در این زمینه محدودیت دارند و بعد از میزان معینی، دچار مشکلاتی مثل کُندی سرور یا ارورها می شوند.
اکثر کرالرها برای جلوگیری از آسیب زدن به سایت، وقتی با چنین مشکلاتی رو به رو می شوند، کار خودشان را متوقف می کنند. درواقع گوگل آنقدر هوشمند هست که تنظیمات خودش را بر اساس ظرفیت سایت انجام می دهد. پس اگر سایتی ظرفیت کرال بیشتری داشته باشد، این مقدار هم افزایش پیدا می کند و در صورت بروز مشکل از طرف سرور، عمل کرال کردن از سمت گوگل کُند می شود.
چه کار کنیم که گوگل کار خزش یا کرال را سریع تر انجام بدهد؟
کارهای مختلفی هست که با انجام دادن آنها می توانید به گوگل ثابت کنید که بهتر است کرال بادجت سایت شما را افزایش بدهد. در ادامه تمام این کارهای مفید را بررسی می کنیم.
1# افزایش سرعت سرور یا افزایش منابع
نحوه خزش گوگل به این صورت است که اول منابع را دانلود و بعد در انتها پردازش می کند. بنابراین همانطور که کاربرها متوجه تفاوت سرعت سایت ها می شوند، گوگل هم متوجه این سرعت می شود و بودجه خزش خود را مطابق با آن تنظیم می کند. به این ترتیب هر چه قدر گوگل سریع تر بتواند منابع را دانلود کند، بودجه خزش هم برای شما بیشتر خواهد بود. پس باید به فکر افزایش سرعت و ظرفیت سرور خود باشید.
2# لینک های داخلی و خارجی بیشتر
به این نکته خیلی توجه کنید که خزش معمولاً به دلیل محبوبیت یک صفحه یا وجود لینک های زیاد به آن صفحه انجام می شود. به همین دلیل برای بیشتر کردن کرال بادجت باید لینک های داخلی و خارجی سایت را افزایش بدهید.
لینک های داخلی پیشنهاد شده را می توانید از گزارش Link Opportunities در Site Audit پیدا کنید که شامل آموزش عملکرد آن هم هست. فقط دقت کنید در بین این لینک ها هرگز لینک شکسته نداشته باشید. می توانید در مورد تأثیرات لینک های شکسته بر سئو سایت در وبلاگ ریراکو بیشتر بخوانید.
نکته:
در گذشته لینک های nofollow از بودجه خزش استفاده نمی کردند و روی آنها بی تأثیر بودند؛ اما در حال حاضر می توانند یک راهنما برای ترغیب خزش باشند.
3# اصلاح لینک های خراب و ریدایرکت شده
نگه داشتن لینک هایی که به صفحات ریدایرکت شده یا خراب شده می رسند، می تواند تأثیر منفی زیادی بر کرال بادجت سایت بگذارد. چون معمولاً این صفحات اولویت خیلی کمی برای خزش دارند. بنابراین اصلاح آنها می تواند تا حدی به افزایش بودجه خزش سایت شما کمک کند.
این صفحات را هم می توانید در گزارش Site Audit پیدا کنید و مشکل خرابی (۴XX) و ریدایرکت شدن (۵XX) را برطرف کنید. اگر مایل اید درباره مفهوم ریدایرکت بیشتری بدانید، می توانید نگاهی به مقاله “ریدایرکت ۳۰۱ چیست“ بیندازید.
4# تا جای ممکن به جای POST از GET استفاده کنید
این مورد کمی فنی تر است؛ چون شامل روش های درخواست از HTTP می شود. اما این را بدانید که هرجایی که می توانید از درخواست GET استفاده کنید را باید غنیمت بدانید و از درخواست POST استفاده نکنید. درخواست های POST کَش (cache) نمی شوند و به همین خاطر روی بودجه خزش تأثیری ندارند. درست برعکس درخواست های GET!
5# از نمایه سازی و شاخص بندی API استفاده کنید
اگر نیاز دارید که صفحه هایی از سایت شما سریع تر کرال بشوند، باید بررسی کنید که آیا واجد شرایط شاخص بندی و نمایه سازی در API هستید یا نه؟ در حال حاضر این نمایه برای چند مورد مثل آگهی های شغلی یا فیلم های زنده قابل استفاده است. موتور جست و جوی بینگ هم نمایه سازی API دارد که برای همه قابل دسترسی است.
چه کارهایی بر افزایش کرال بادجت تاثیر ندارند؟
اما باید بدانید که کارهایی هم هستند که معمولاً افراد انجامشان می دهند، اما خب تاثیر زیادی را به چشم نمی بینند! مثلاً:
1-تغییرات کوچک در سایت (مثل به روزرسانی تاریخ، ایجاد فاصله کلمات یا نقطه گذاری) کارهای بیهوده هستند! چون گوگل خیلی هوشمندانه تشخیص می دهد که آیا این تغییرات جدی هستند یا نه. به همین دلیل تغییرات کوچک هیچ تأثیری روی خزش ندارند.
2- دستور العمل vrawl-delay در txt خیلی از ربات ها را کُند می کند (مثلاً روی ahrefs اثر می گذارند)؛ اما روی ربات گوگل سر سوزنی تأثیر ندارند!
3-حذف اسکریپت های شخص ثالث هم کاملاً بر بودجه خزش بی تأثیر اند.
چه کار کنیم که گوگل کار خزش یا کرال را کُندتر انجام دهد؟
چند راه خوب وجود دارد که باعث کم شدن سرعت خزش در سایت شما می شود. یکسری تنظیمات فنی هم هستند که با کند کردن وب سایت خودتان می توانید این کار را انجام دهید. اما کند کردن سایت، روشی نیست که سایت ahrefs به شما توصیه کند. اما در ادامه راه های بهتری را که ضرر کمتری هم دارند توضیح می دهیم.
1- تنظیم آهسته، اما تضمینی
اصلی ترین کنترلی که گوگل برای خزش آهسته تر در اختیار ما قرار داده، محدود کننده سرعت با Google Search Console است. می تونید از این طریق با استفاده از ابزارها به راحتی نرخ خزش را پایین بیاورید. اما یادتان باشد که برای دیدن تاثیر آن باید دو روز صبر کنید.
2- تنظیم سریع، اما پرخطر
اگر دنبال راه حل سریع می گردید، می شود از تنظیمات ” google’ crawlrate adjustment” که مرتبط با سلامت سایت هستند استفاده کنید. اگر به ربات گوگل ارورهای “۵۰۳Service unavailable ” یا ” Too many requests429 “را نشان بدهید، سرعت خزش خیلی سریع پایین می آید یا حتی ممکن است به طور موقت قطع بشود! اما این کار را برای بیشتر از چند روز ادامه ندهید؛ چون صفحه های سایت شما در رتبه بندی دچار افت خواهند شد.
به هر حال جای نگرانی نیست…
باز هم تاکید می کنیم که کرال بادجت چیزی نیست که لازم باشد نگرانی زیادی برای آن داشته باشید. چراکه در اغلب اوقات ربات های باهوش گوگل کارشان را به درستی انجام می دهند. معمولاً وقتی لازم است برای کراول شدن صفحاتتان فکری کنید که مثلاً صفحات را با ابزارهای وب مستر چک کردید و دیدید که بعضی از صفحات کراول نشده اند یا رتبه ای از گوگل نگرفته اند. که در این صورت هم می توانید به کمک این راهنما فکری برای رفع این مشکل کنید.
اما اگر در مورد کراول شدن سایت یا هر موضوع دیگری در حوزه سئو نیاز به کمک و مشاوره دارید، می توانید از خدمات مشاوره ریراکو استفاده کنید. همینطور می توانید صفر تا صد سئو سایت خود را به کمک خدمات سئو این مجموعه تقویت کنید.
سوالات متداول در بودجه خزش و کرال بادجت
چرا Crawl Budget برای سئو مهم است؟
بودجه خزیدن مهم است زیرا به صفحات وب سایت اجازه می دهد تا توسط ربات های خزنده پیدا شوند و تضمین می کند که محتوای جدید به سرعت شناسایی و ایندکس می شود. اگر گوگل صفحه ای را ایندکس نکند، در هیچ کجا و برای چیزی رتبه ای نخواهد گرفت
چگونه بودجه خزیدن را بهینه می کنیم؟
- جلوگیری از خزیدن گوگل در URL های غیر متعارف و بی ارزش.
- بهبود زمان بارگذاری صفحه با بهینه سازی جاوا اسکریپت.
- به حداقل رساندن خطاها هنگام خزیدن.
- بررسی محدودیت سرعت خزیدن در Google Search Console.
- تازه کردن مطالب قدیمی
چه مطالب جالبی بود. ممنون