בקצרה: תקציב זחילה (Crawl Budget) הוא כמות הזמן והמשאבים שמנוע חיפוש מקצה לסריקת אתר מסוים, ובפועל מספר הכתובות ש-Googlebot יסרוק בפרק זמן נתון. הוא נקבע לפי היכולת של השרת שלכם לעמוד בסריקה ולפי מידת העניין של גוגל בתוכן. רוב האתרים הקטנים לא צריכים לדאוג לו, אתרים גדולים כן.
שני הרכיבים שקובעים את התקציב
גוגל מתארת את תקציב הזחילה כשילוב של שני גורמים:
- מגבלת קצב הסריקה (Crawl Capacity Limit): כמה בקשות במקביל הבוט יכול לשלוח בלי להעמיס על השרת. אם השרת מגיב מהר ויציב, המגבלה עולה. אם הוא מחזיר שגיאות 5xx או מאט, גוגל מורידה הילוך.
- ביקוש לסריקה (Crawl Demand): כמה גוגל רוצה לסרוק. עמודים פופולריים, עמודים שמתעדכנים לעיתים קרובות וכתובות חדשות מקבלים עדיפות. עמודים שלא השתנו שנים נסרקים לעיתים רחוקות.
התקציב בפועל הוא הנמוך מבין השניים. שרת חזק לא יעזור אם לגוגל אין עניין בעמודים, וביקוש גבוה לא יתממש אם השרת קורס. על האופן שבו Googlebot עובד תוכלו לקרוא במדריך נפרד.
למי זה באמת רלוונטי
לפי ההנחיות של גוגל, תקציב זחילה הוא נושא שכדאי לטפל בו בעיקר באחד המצבים הבאים:
- אתר עם יותר ממיליון עמודים ייחודיים שמשתנים בערך פעם בשבוע.
- אתר בינוני, מסדר גודל של עשרת אלפים עמודים ומעלה, שהתוכן בו משתנה מדי יום.
- אתר חדשות או אתר עם תוכן שמתיישן מהר.
- אתר שבו חלק גדול מהכתובות מסומן ב-Search Console כ"התגלה, כרגע לא נוסף לאינדקס".
אתר תדמית של משרד רואי חשבון או קליניקה עם כמה עשרות עמודים לא יגיע למגבלה. אם עמוד באתר כזה לא נכנס לאינדקס, הסיבה כמעט תמיד איכות, תוכן כפול או בעיה טכנית אחרת, ולא תקציב.
מה מבזבז תקציב זחילה
הבעיה הנפוצה בישראל היא חנויות WooCommerce גדולות עם פילטרים. כל שילוב של צבע, מידה, מחיר ומיון יוצר כתובת חדשה, ופתאום לחנות עם 3,000 מוצרים יש מאות אלפי כתובות שאפשר לסרוק. עוד גורמים מוכרים:
- פרמטרים של מעקב ומיון (utm, orderby, add-to-cart) שנכנסים לקישורים פנימיים.
- שרשראות הפניות, כשכתובת מפנה לכתובת שמפנה לכתובת שלישית.
- עמודי שגיאה רכה (Soft 404) ועמודי חיפוש פנימי שנגישים לבוט.
- תוכן כפול: גרסאות עם ובלי www, עם ובלי סלאש, או אותו מוצר בכמה קטגוריות.
- כתובות בעברית שמקודדות בצורה לא עקבית, למשל פעם באותיות גדולות ופעם בקטנות בקידוד האחוזים, וכך נוצרות שתי כתובות לאותו עמוד.
איך בודקים ומשפרים
שלב 1: דוח נתוני הסריקה
ב-Search Console, תחת הגדרות, יש דוח "נתוני סריקה". הוא מציג כמה בקשות נשלחו ביום, מה זמן התגובה הממוצע של השרת ואיזה אחוז מהבקשות הסתיים בשגיאה או בהפניה. אם זמן התגובה עולה וכמות הבקשות יורדת, השרת הוא צוואר הבקבוק.
שלב 2: לסגור את מה שלא צריך להיסרק
כתובות שאין להן ערך בחיפוש אפשר לחסום בקובץ robots.txt. שימו לב שחסימה מונעת סריקה, אבל לא מוציאה מהאינדקס עמוד שכבר נמצא בו.
User-agent: *
Disallow: /*?orderby=
Disallow: /*?filter_
Disallow: /?s=
Disallow: /cart/שלב 3: לחזק את מה שכן חשוב
קשרו לעמודים החשובים מהתפריט ומעמודים חזקים, עדכנו את מפת האתר כך שתכלול רק כתובות קנוניות שמחזירות 200, ושפרו את זמן התגובה של השרת. גוגל הסירה ב-2024 את הכלי שאפשר להגביל ידנית את קצב הסריקה, כך שהדרך להשפיע היום היא דרך מהירות ומבנה, לא דרך הגדרה.
טעויות נפוצות
- להשתמש ב-noindex כדי לחסוך תקציב. הבוט עדיין צריך לסרוק את העמוד כדי לראות את התגית.
- לחסום ב-robots.txt קובצי CSS ו-JavaScript שהעמוד צריך כדי להיראות נכון.
- להשאיר אלפי תגיות וארכיוני תאריכים של וורדפרס פתוחים לסריקה בלי סיבה.
להגדרות של מונחים קרובים כמו סריקה, אינדוקס ומפת אתר, ראו במילון מונחי SEO.
שאלות נפוצות
האם אפשר לבקש מגוגל תקציב זחילה גדול יותר?
לא ישירות. מה שמעלה אותו בפועל הוא שרת מהיר ויציב, תוכן שמתעדכן ומעניין גולשים, וקישורים שמעידים שהעמודים חשובים.
האם קישורי nofollow חוסכים תקציב זחילה?
לא באופן אמין. גוגל רואה ב-nofollow רמז, והיא עשויה לגלות את הכתובת ממקום אחר. כדי למנוע סריקה השתמשו ב-robots.txt.
האם מהירות האתר משפיעה על תקציב הזחילה?
כן. שרת שמגיב מהר מאפשר לבוט לשלוח יותר בקשות בלי להעמיס, ולכן אותו פרק זמן מכסה יותר עמודים.
מנהלים חנות גדולה ורואים עמודים חשובים שלא נכנסים לאינדקס? קידום טכני מתחיל בדיוק במיפוי הכתובות שהבוט מבזבז עליהן זמן.
