שותף Google · 18 שנה של קידום אתריםבן גוריון 4, נס ציונה
079-5805620שיחת ייעוץ חינם

מה זה יכולת סריקה (Crawlability) ומה חוסם את גוגל מהאתר

יכולת סריקה (Crawlability), שנקראת לעתים "זחילות", קובעת אם גוגל בכלל מגיעה לעמודים שלכם. אלה הגורמים שחוסמים סריקה ואיך מאתרים ומתקנים אותם.
דרור אבטליון
דרור אבטליוןמייסד Seo-up, 18+ שנים בקידום
דקות קריאה
מה זה יכולת סריקה (Crawlability) ומה חוסם את גוגל מהאתר
תוכן עניינים

    בקצרה: יכולת סריקה (Crawlability), שמתורגמת לפעמים כ"זחילות", היא היכולת של מנוע חיפוש להגיע לעמוד באתר ולקרוא את התוכן שלו. עמוד שזחלן לא יכול לגשת אליו לא ייכנס לאינדקס, ולכן לא יופיע בתוצאות החיפוש. זו השכבה הבסיסית ביותר של SEO: כל מה שמעליה, תוכן וקישורים, לא משנה אם גוגל לא מגיעה לעמוד.

    סריקה, אינדוקס ודירוג: שלושה שלבים נפרדים

    שלב מה קורה מה יכול להשתבש
    גילוי וסריקה הזחלן מוצא את הכתובת ומוריד את העמוד חסימה ב-robots.txt, אין קישורים לעמוד, שגיאות שרת
    אינדוקס גוגל מעבדת את התוכן ומחליטה אם לשמור אותו noindex, canonical לעמוד אחר, תוכן דל או כפול
    דירוג העמוד מוצג בתשובה לחיפושים תחרות, רלוונטיות, איכות

    חשוב להבחין: עמוד יכול להיות ניתן לסריקה ובכל זאת לא להיכנס לאינדקס. יכולת סריקה היא תנאי הכרחי, לא מספיק.

    מה פוגע ביכולת הסריקה

    חסימות מכוונות או בטעות

    • robots.txt: שורת Disallow רחבה מדי, למשל חסימה של כל האתר שנשארה מתקופת הפיתוח. קראו עוד על robots.txt ומה הוא עושה.
    • הגנות שרת: חומת אש או הגנת בוטים שחוסמות את Googlebot או מציגות לו דף אתגר.
    • עמודים שדורשים התחברות: כל מה שמאחורי סיסמה לא נסרק.

    בעיות מבנה

    • עמודים יתומים: עמודים שאין אליהם אף קישור פנימי. גוגל יכולה למצוא אותם רק דרך מפת האתר, ולעתים קרובות מייחסת להם חשיבות נמוכה.
    • עומק רב: עמוד שנמצא שבע לחיצות מדף הבית נסרק בתדירות נמוכה יותר.
    • קישורים שאינם קישורים: ניווט שבנוי על JavaScript בלי תגית a עם href.
    • סינון שמייצר אינסוף כתובות: בחנויות, שילובים של צבע, מידה, מחיר ומיון יוצרים אלפי כתובות שגוזלות משאבי סריקה.

    בעיות טכניות

    • שגיאות שרת (5xx) וזמני תגובה ארוכים, שגורמים לגוגל להאט את הקצב.
    • שרשראות הפניה ארוכות ולולאות הפניה.
    • קישורים שבורים שמובילים לשגיאות 404.

    דוגמה מהשטח

    תרחיש נפוץ באתרים ישראליים: חנות אונליין עוברת לתבנית חדשה, ובסביבת הפיתוח מסמנים בוורדפרס את האפשרות "בקשו ממנועי החיפוש לא לאנדקס את האתר". האתר עולה לאוויר, וההגדרה נשארת. תוך שבועות התנועה האורגנית צונחת. מקרה אחר: אחרי מתקפת בוטים, ספק האחסון מפעיל חסימה לפי מדינות, וגוגל, שסורקת בעיקר מכתובות בארה"ב, נחסמת. בשני המקרים התוכן לא השתנה בכלל, רק הגישה אליו.

    איך בודקים יכולת סריקה

    1. בדיקת כתובת אתר ב-Search Console: מראה אם עמוד ספציפי נסרק, מתי, ואם יש חסימה. הבדיקה הפעילה מראה גם איך Googlebot רואה אותו עכשיו.
    2. דוח הדפים: סטטוסים כמו "נחסם על ידי robots.txt", "נמצא, כרגע לא באינדקס" ו"שגיאת שרת" מצביעים על בעיות סריקה.
    3. דוח נתוני הסריקה: בהגדרות של Search Console. מראה כמה בקשות גוגל שולחת ביום, זמני תגובה וחלוקה לפי קודי סטטוס.
    4. סריקה עצמית: כלי סריקה שמדמה זחלן ומראה אילו עמודים אפשר להגיע אליהם דרך קישורים.
    5. לוגים של השרת: הדרך המדויקת ביותר לראות מה Googlebot באמת מבקר.

    איך משפרים

    • ודאו שכל עמוד חשוב מקושר מעמוד אחר, באופן אידיאלי לא יותר משלוש או ארבע לחיצות מדף הבית. מבנה אתר טוב פותר את רוב הבעיות.
    • שלחו מפת אתר עדכנית שמכילה רק כתובות שמחזירות 200 ושאתם רוצים באינדקס.
    • טפלו בכתובות סינון: noindex, canonical או חסימה ב-robots.txt, לפי המקרה.
    • שפרו את זמן תגובת השרת.
    • אחרי כל שינוי בהגנות השרת או ב-CDN, בדקו ש-Googlebot עדיין מקבל את העמודים.

    בעיות סריקה הן לרוב הדבר הראשון שבודקים בקידום טכני, כי בלעדיהן שום מאמץ אחר לא מגיע לגוגל.

    שאלות נפוצות

    האם noindex פוגע ביכולת הסריקה?

    לא. עמוד עם noindex עדיין נסרק, וגוגל צריכה לסרוק אותו כדי לראות את ההוראה. אם חוסמים אותו ב-robots.txt, גוגל לא תראה את ה-noindex בכלל.

    האם אתר קטן צריך לדאוג לתקציב סריקה?

    ברוב המקרים לא. תקציב סריקה רלוונטי בעיקר לאתרים עם עשרות אלפי כתובות ומעלה. באתר קטן, הבעיות הנפוצות הן חסימות וקישורים חסרים.

    כמה זמן לוקח לגוגל לסרוק עמוד חדש?

    זה יכול לקחת משעות ועד שבועות, לפי האתר וכמה הוא מקושר. קישור מעמוד שנסרק הרבה ושליחה דרך בדיקת כתובת אתר מזרזים את התהליך.

    מונחים טכניים נוספים תמצאו במילון מונחים SEO. לבדיקה ראשונית של האתר, נסו את בדיקת ה-SEO החינמית שלנו.

    דרור אבטליון
    דרור אבטליוןהבעלים של SEO-UP, מקדם אתרים משנת 2008
    • קידום אורגני, ממומן ורשתות חברתיות לעסקים בינוניים וגדולים
    • יועץ עסקי מוסמך מטעם לשכת היועצים העסקיים בישראל
    • הכותב של המדריך הזה
    Google Google Ads Google Shopping Meta

    שנתקדם יחד?

    שיחת ייעוץ ראשונה בלי עלות. דרור חוזר אליכם בעצמו.

    עוד לקרוא

    מאמרים חדשים מהבלוג על קידום, שיווק ומה שמשתנה בגוגל.

    לכל המאמרים ←

    רוצים לגדול עם SEO-UP?

    עשרות עסקים כבר סומכים עלינו. השאירו פרטים ודרור יחזור אליכם עם תמונת מצב: איפה אתם בגוגל, מה ה-AI אומר עליכם, ומה הצעד הראשון.

    • שיחת ייעוץ ראשונה בלי עלות ובלי התחייבות
    • דרור חוזר אליכם בעצמו
    • 18 שנה של קידום אתרים, מאות עסקים
    שיחת ייעוץ חינםהשאירו פרטים ונחזור אליכם עוד היום.

    בלי עלות ובלי התחייבות. הפרטים שלכם לא מועברים לאף גורם אחר.