بودجه خزش فاکتوری مهم برای سئو در سایت های بزرگ

گزارش بازرگانی،   3990822053
بودجه خزش فاکتوری مهم برای سئو در سایت های بزرگ

سئو با تمام تکنیک ها و الگوریتم های حاکم بر آن از گذشته تا به امروز تغییرات بسیاری داشته است، به طوری که برخی تکنیک ها در طی سال های اخیر منسوخ شده اند و در عوض فاکتورهای جدیدی در زمینه سئو مطرح می شود. البته برخی تکنیک های سئو نیز همچنان بر قوت خود باقی مانده اند. به عنوان مثال تا چند سال پیش سایت ها با مزرعه لینک، بک لینک های زیادی را برای خود ایجاد می کردند، اما گوگل با انتشار الگوریتم پنگوئن تاثیر این بک لینک ها را نادیده گرفت و امروزه آنها را به عنوان اسپم در نظر می گیرد که شامل جریمه گوگل نیز می شود.

بودجه خزش یکی دیگر از مفاهیم تاثیرگذار بر سئو است که معیارهای زیادی از جمله اعتبار دامنه یا Domain Authority در تعیین آن نقش دارند. بنابراین اگر به دنبال یادگیری مفاهیم سئو هستید، این مطلب را از دست ندهید.

بودجه خزش چیست؟

برای درک مفهوم بودجه خزش یا Crawl Budget ابتدا باید توضیحی در مورد خزش یا کرول شدن سایت ارائه دهیم. موتور جستجوی گوگل برای اینکه نتایج بهتری را به کاربران خود نمایش دهد، کلیه سایت‌ های موجود در فضای وب را به وسیله ربات‌ های گوگل کرول می‌ کند. در واقع خزنده یا کرولرهای گوگل تمام محتوا، لینک‌ ها و اطلاعات صفحات سایت شما را بررسی می‌ کنند تا مرتبط‌ ترین و مناسب‌ ترین آنها را در لیست نتایج جستجو نمایش دهند.

حسین روشنایی متخصص و مشاور سئو تعریف خوبی از بودجه خزش دارد : "بودجه خزش یا Crawl Budget تعداد صفحاتی است که در یک دوره زمانی مشخص مانند یک هفته در سایت شما کرول می‌ شود. کرول فرایندی است که به طور مداوم در حال انجام است. حال با توجه به حجم بالای سایت‌ هایی که هر روزه به دنیای اینترنت اضافه می‌ شوند؛ گوگل برای مدیریت و بهینه‌ سازی این فرآیند اولویت‌ بندی و محدودیت‌ هایی را قائل می‌ شود. بنابراین می‌ توان گفت بودجه خزش یک سایت میزان توجه گوگل به صفحات آن برای خزش یا کرول شدن است."

فاکتورهای تعیین کننده بودجه خزش

برای سایت‌ هایی با تعداد صفحات کم، کرول شدن کل صفحات مسئله‌‌ ای طبیعی و بدیهی است، اما

وقتی به سایت‌ هایی با چندین هزار صفحه محتوا می‌ رسیم، اولویت کرول و ایندکس شدن برخی صفحات و محتواها به یک دغدغه مهم تبدیل می‌ شود. گوگل در تعیین نرخ بودجه خزش یک سایت، از دو فاکتور مهم با نام‌ های  Crawl Limit و Crawl Demand بهره می‌ گیرد.

Crawl limit / host load

هر بار که ربات‌ های گوگل صفحه‌ ای از سایت را کرول می‌ کنند، درخواستی مبنی بر دسترسی به منابع سایت را به سمت سرور ارسال می‌ کنند. حال اگر تعداد این درخواست‌ ها بسیار بالا باشد، منابع سرور قادر به پاسخگویی به درخواست‌ ها نخواهند بود و سایت از کار می‌ افتد یا اصطلاحا down می‌ شود.

به عنوان مثال سایت‌ هایی با تعداد صفحات بالا بهتر است از هاست اشتراکی استفاده نکنند، زیرا در این حالت بودجه خزش آنها به میزان قابل توجهی کاهش می‌ یابد.

Crawl demand / crawl scheduling

گوگل با این فاکتور به دنبال تعیین ارزش صفحات سایت برای کرول شدن یا زمانبندی کرول مجدد آنها است. برای تعیین این ارزش چند معیار مهم وجود دارد:

  • میزان محبوبیت یک صفحه: میزان لینک‌ های داخلی و خارجی با کیفیت که در یک صفحه وجود دارد و اینکه صفحه مورد نظر در چند کلمه کلیدی جایگاه داشته باشد، در تعیین میزان محبوبیت آن نقش دارد.
  • نوع صفحه: برای مثال می‌ توان گفت صفحه دسته‌ بندی محصولات در یک فروشگاه اینترنتی بسیار بیشتر از صفحه"درباره ما" احتمال تغییر محتوا دارد، پس اهمیت آن برای کرول شدن بیشتر است.
  • تازگی محتوا: آپدیت‌ محتواهای قبلی باعث می‌ شود که ربات‌ های گوگل مجددا در این صفحه خزش داشته باشند.
  • کیفیت محتوا: صفحاتی که محتوای کمی دارد یا محتوای آن کیفیت چندانی ندارد، ارزش کرول شدن ندارند.
  • نقشه سایت: زمانی که یک صفحه در نقشه سایت وجود داشته باشد، اولویت بالاتری برای خزش دارد.

داشتن این پنج معیار گوگل را متقاعد می‌ کند که این صفحه ارزش کرول شدن دارد، اما در ابتدای کار گوگل باید تمام صفحات سایت شما را کرول کند تا آنها را برای کرول مجدد اولویت بندی نماید.

اهمیت بودجه خزش برای سئو

اگرچه بودجه خزش جزو فاکتورهای سئو محسوب نمی شود، اما در سایت های بزرگ با چندین هزار صفحه تاثیر مهمی بر نتیجه گرفتن شما از اقدامات سئو دارد. به طور مثال شما ممکن است صفحاتی در سایت خود ایجاد نمایید و از نظر محتوا و اصول سئو آن را به بهترین شکل ارائه دهید، اما تا زمانی که این صفحه ایندکس نشود، هیچ جایگاهی در لیست نتایج گوگل کسب نخواهد کرد. یکی از دلایل ایندکس نشدن برخی صفحات سایت به خاطر کرول نشدن آن است. در واقع ربات های گوگل در هنگام بررسی سایت و تعیین نرخ بودجه خزش این صفحه را در اولویت بندی خود قرار نداده اند.

در سه حالت بودجه خزش برای سایت اهمیت پیدا می کند:

  1. زمانی که شما سایتی با بیش از 10 هزار صفحه داشته باشید.
  2. زمانی که تعداد زیادی صفحه جدید را به صورت یکجا به سایت اضافه می کنید.
  3. زمانی که ریدایرکت های پی در پی زیادی در سایت خود داشته باشید.

معمولا چه صفحاتی در سایت  کرول نمی شوند؟

ربات های گوگل بعد از بررسی تمام سایت شما درباره کرول نشدن برخی صفحات تصمیم می گیرند و به طور معمول برای کرول چنین صفحه هایی اولویت پایین تر در نظر می گیرند:

  • صفحات یتیم یعنی صفحاتی که هیچ لینک داخلی و خارجی به آن وجود ندارد.
  • صفحات با محتوای تکراری که تمام یا بخشی از آن تکراری باشد.
  • صفحات دارای خطا
  • محتوای بی کیفیت و اسپم
  • صفحات خالی
  • صفحات با سرعت بارگذاری پایین

بنابراین بهتر است اگر چنین صفحاتی در سایت خود دارید، آنها را حذف کرده یا مشکل آن را برطرف کنید.

چگونه بودجه خزش سایت را بهینه کنیم؟

زمانی که بخواهیم بودجه خزش سایت به درستی و برای صفحات مهم سایت صرف شود، می‌ بایست مواردی را که باعث هدر رفتن بودجه خزش سایت می‌ شود برطرف نماییم.

بهبود سرعت سایت

هر چه سرعت بارگذاری صفحات سایت شما بالاتر باشد، ربات‌ های گوگل زمان بیشتری را برای خزش صفحات خواهند داشت.

لینک دهی داخلی

اگر لینک‌ دهی داخلی به درستی انجام شود، ربات های گوگل این صفحات را در اولویت کرول قرار می‌ دهند. به این ترتیب شما می توانید ربات های گوگل را به صفحاتی که می خواهید کرول و ایندکس شوند، هدایت کنید.

ساختار آدرس دهی سایت

برای هدر نرفتن بودجه خزش و دسترسی راحت تر کاربران و ربات های گوگل به بخش های مختلف سایت، ساختار آدرس دهی نهایتا تا 4 سطح ادامه پیدا کند.

تقویت اعتبار دامنه و اعتبار صفحات

گوگل برای اولویت بندی سایت ها  و صفحات آن از مفاهیمی با نام های اعتبار دامنه (Domain Authority) و اعتبار صفحه (Page Authority) کمک می گیرد. هر چه اعتبار یک دامنه یا صفحه بیشتر باشد، گوگل اهمیت بیشتری برای آن قائل است. بنابراین می توان گفت اعتبار دامنه و صفحات با بودجه خزش رابطه مستقیمی دارد.

انتشار محتوا به صورت منظم و متناوب

زمانی که کرولرهای گوگل متوجه یک روند ثابت و متناوب در انتشار محتوای سایت می شوند، زمانبندی کرول دوباره سایت را بر مبنای آن تنظیم می‌ کنند. مثلا در سایت های خبری که روزانه هزاران محتوای جدید منتشر می شود، ربات های گوگل چندین بار در روز صفحات آن را کرول می کنند. اما در سایت های که روند انتشار محتوا کندتر و در فواصل زمانی طولانی تر است، ربات های گوگل نیز در فاصله زمانی بیشتری برای کرول مجدد به سایت بر می گردند.

مدیریت ریدایرکت ها

با وجود ریدایرکت های زیاد در سایت بخش قابل توجهی از بودجه خزش سایت شما هدر می رود. بنابراین بهتر است میزان ریدایرکت های سایت را مدیریت کنید و زنجیره های ریدایرکت را به حداقل برسانید. زمانی که صفحه A را به صفحه B و پس از مدتی صفحه B را به C ریدایرکت کنیم، زنجیره ریدایرکت ایجاد کرده ایم که اصلا برای سایت خوب نیست.

یکتانت

پربحث‌های اخیر

    پربحث‌های هفته

    1. تکذیب انتشار تصویر دستبوسی حدادعادل از فرح + عکس

    2. ساز ناهماهنگ دولت و مجلس در برابر آژانس اتمی

    3. پدری که با «کودتا« آمد، پسری که با «کودتا» برگشت

    4. چرا دولت بایدن به برجام برنمی گردد؟

    5. میدل ایست آی: برنامه موشکی ایران ناشی از یک نگرانی امنیتی مشروع است

    6. آیا کار مجلس این است؟!

    7. نظر حداد عادل درباره حضور احمدی‌نژاد در انتخابات

    8. موافقت مجلس با ارجاع پرونده دولت به قوه قضاییه به خاطر استنکاف از قانون لغو تحریم‌ها

    9. کانون سردفتران: لایحه دولتی نقل و انتقال خودرو توسط پلیس فراقانونی است؛ مانع می‌شویم

    10. دولت پالس‌های فریبنده به دشمن داد/ گام‌های کاهش تعهدات برجامی را اجرا نکرند

    11. ایران؛ جت مسافری ۱۰۰ نفره‌ می‌سازد

    12. ربیعی: با اطمینان می‌توانیم پیش‌بینی کنیم که لغو تمامی تحریم‌ها، نزدیک است

    13. ماجرای اجرای حکم قصاص در زندان رجایی‌شهر/ التماس‌های زن اعدامی نجاتش نداد

    14. ساندی تایمز: روزهای سختی در انتظار محمد بن سلمان است

    15. سازمان سنجش و تضییع حقوق برخی داوطلبان کنکور

    16. پاسخ حداد عادل به سخنان احمدی نژاد

    17. پیش‌فروش خودرویی که مجوز هم ندارد !

    18. واکنش احمدی‌نژاد به احتمال ردصلاحیتش در انتخابات۱۴۰۰/ از ابتدا به دنبال رابطه ایران و آمریکا بودم

    19. تورم سوئد سه برابر شد!

    20. رژیم صهیونیستی؛ همسایه جدید ایران !

    21. حداکثر حقوق دریافتی کارمندان دولت ۱۵برابر حداقل حقوق شد/ تصویب ۵ پله مالیات حقوق‌بگیران

    22. حمله تند زنگنه به منتقدان وزارت نفت

    23. مریخ‌نورد "استقامت" با موفقیت روی سطح مریخ نشست+اولین تصاویر

    24. روحانی: می‌ترسم دستی در کار باشد تا مردم در انتخابات شرکت نکنند

    25. یکی از مدیران ارشد ارزی بانک مرکزی بازداشت شد

    پربحث‌های اخیر

      پربحث‌های دیروز

        پربحث‌های هفته

        1. ایران؛ جت مسافری ۱۰۰ نفره‌ می‌سازد

        2. پیش‌فروش خودرویی که مجوز هم ندارد !

        3. حداکثر حقوق دریافتی کارمندان دولت ۱۵برابر حداقل حقوق شد/ تصویب ۵ پله مالیات حقوق‌بگیران

        4. یکی از مدیران ارشد ارزی بانک مرکزی بازداشت شد

        5. خودروهای بالای یک میلیارد تومان مشمول مالیات می شوند

        6. روحانی: هر اقدامی که به ثبات و آرامش اقتصادی لطمه بزند، خیانت است/ وحدت کلمه اولویت نخست دوره بازآفرینی پس از جنگ اقتصادی است

        7. پیشنهاد تعدادی از نمایندگان مجلس درباره سهمیه بنزین خانوارهای فاقد خودرو

        8. آذری جهرمی: اینترنت به هیچ وجه گران نمی‌شود/ آخرین وضعیت پرونده قضایی

        9. خروج پول از کشور با ارز دیجیتال

        10. سلبریتی‌ها با درآمد بیش از ٢٠٠ میلیون ملزم به پرداخت مالیات شدند

        11. اینترنت سال آینده گران نمی‌شود

        12. پول بلوکه‌شده ایران؛ گروگان باتلاق FATF

        13. روحانی: طرح اقدام ملی مسکن گام مهم دولت برای تامین مسکن است/ تاکید بر جبران خسارت‌های زلزله سی‌سخت

        14. قیمت خانه در ایران: دو برابر عربستان و ترکیه، نصف کانادا و آمریکا!

        15. هر آنچه که باید درباره «سهام عدالت» بدانید/ از «پرداخت سود» تا «تفاوت روش مستقیم و غیر مستقیم»

        16. آغاز پرداخت بدهی کره جنوبی به ایران با رقم یک میلیارد دلار

        17. ستاد تنظیم بازار: دلیل افزایش قیمت میوه صادرات است

        18. دبیر ستاد تنظیم بازار: عرضه روغن با کارت ملی را تکذیب می‌کنم

        آخرین عناوین