בקצרה: זחלן (Crawler), שנקרא גם עכביש (Spider) או בוט, הוא תוכנה שגולשת ברשת באופן אוטומטי ושיטתי: היא טוענת עמוד, אוספת ממנו את הקישורים, ועוברת אליהם אחד אחרי השני. מנועי חיפוש משתמשים בזחלנים כדי לגלות עמודים חדשים ומעודכנים ולבנות את האינדקס שלהם. Googlebot של גוגל ו-Bingbot של מיקרוסופט הם הזחלנים המוכרים ביותר.
איך זחלן עובד
- רשימת התחלה: הזחלן מתחיל מכתובות שהוא כבר מכיר, ממפות אתר ומכתובות שנשלחו אליו.
- בדיקת הרשאה: לפני שהוא טוען עמוד, זחלן מכובד קורא את קובץ robots.txt של האתר ובודק מה מותר לו.
- הורדת העמוד: הוא מבקש את הכתובת מהשרת ומקבל קוד סטטוס (200, 301, 404 וכו') ואת התוכן.
- חילוץ קישורים: כל קישור שנמצא בעמוד נוסף לתור הכתובות לסריקה.
- תעדוף: הזחלן מחליט מה לסרוק קודם ובאיזו תדירות לחזור, לפי חשיבות העמוד, קצב השינויים בו ויכולת השרת לעמוד בעומס.
אצל מנועי חיפוש, אחרי הסריקה מגיעים שלבי הרינדור והאינדוקס. הזחלן עצמו רק אוסף. הוא לא מחליט על דירוג.
סוגים של זחלנים שמבקרים באתר שלכם
| סוג | דוגמאות | למה הם באים |
|---|---|---|
| מנועי חיפוש | Googlebot, Bingbot, YandexBot | בניית אינדקס חיפוש |
| שירותי AI | GPTBot, ClaudeBot, Google-Extended (אסימון שליטה, לא זחלן נפרד) | אימון מודלים או שליפת מידע לתשובות |
| כלי SEO | זחלנים של כלי ניתוח קישורים ומילות מפתח | בניית מאגרי קישורים ונתונים |
| רשתות חברתיות | facebookexternalhit, LinkedInBot | יצירת תצוגה מקדימה לקישורים ששותפו |
| בוטים זדוניים | גורדי תוכן, סורקי פרצות | העתקת תוכן, חיפוש נקודות תורפה |
על הזחלן החשוב ביותר לרוב האתרים בישראל כתבנו מדריך נפרד: Googlebot, הבוט של גוגל.
איך שולטים במה שזחלנים רואים
robots.txt
קובץ טקסט בשורש האתר שמגדיר לכל זחלן מה מותר לסרוק. זחלנים לגיטימיים מכבדים אותו. בוטים זדוניים מתעלמים ממנו, ולכן הוא לא כלי אבטחה. דוגמה שמאפשרת למנועי חיפוש לסרוק הכל חוץ מאזור החשבון, וחוסמת זחלן AI מסוים:
User-agent: *
Disallow: /my-account/
User-agent: GPTBot
Disallow: /
Sitemap: https://www.example.co.il/sitemap.xml
לפני שחוסמים זחלני AI, כדאי לחשוב: חסימה יכולה להפחית את הסיכוי שהאתר יוזכר בתשובות של אותו שירות.
תגיות meta robots ו-X-Robots-Tag
שולטות באינדוקס ובהצגה, לא בסריקה. noindex אומר "אל תכניס לאינדקס", אבל הזחלן עדיין צריך לסרוק את העמוד כדי לראות את ההוראה.
מפת אתר וקישורים פנימיים
הדרך החיובית לכוון זחלנים: להראות להם מה חשוב. עמוד שמקושר מדף הבית ומופיע במפת האתר יסרק מהר ובתדירות גבוהה יותר.
איך יודעים אילו זחלנים מבקרים
- Search Console: דוח נתוני הסריקה מראה את פעילות Googlebot: כמות בקשות, זמני תגובה וסוגי קבצים.
- לוגים של השרת: כל בקשה נרשמת עם User Agent וכתובת IP. סינון לפי שם הבוט מראה מה הוא סורק בפועל.
- אימות: User Agent אפשר לזייף. גוגל ומיקרוסופט מאפשרות לאמת זחלנים אמיתיים דרך בדיקת DNS הפוכה, וגוגל מפרסמת גם רשימת טווחי IP.
אם יש עומס חריג על השרת, לוגים יראו לעתים קרובות שהמקור הוא בוטים לא חשובים. חסימה שלהם ברמת השרת או ב-CDN, תוך שמירה על הגישה של מנועי החיפוש, פותרת את הבעיה בלי לפגוע ב-SEO.
טעויות נפוצות
- חסימת קבצי CSS ו-JavaScript ב-robots.txt, שמונעת מגוגל לרנדר את העמוד כמו שגולש רואה אותו.
- הגנת בוטים שחוסמת גם את Googlebot. אחרי כל שינוי כזה כדאי להריץ בדיקת כתובת אתר ב-Search Console.
- הסתמכות על robots.txt כדי להסתיר מידע רגיש. הקובץ ציבורי, וכל אחד יכול לקרוא אותו.
ניהול נכון של זחלנים הוא חלק בסיסי בקידום טכני, וקריאה נוספת על הנושא תמצאו במאמר הכל מתחיל בסריקה.
שאלות נפוצות
מה ההבדל בין זחלן לבין אינדקס?
הזחלן אוסף עמודים. האינדקס הוא מאגר המידע שבו מנוע החיפוש שומר את מה שעיבד. עמוד יכול להיסרק ולא להיכנס לאינדקס.
כמה פעמים Googlebot מבקר באתר?
זה משתנה מאוד. דפי בית של אתרי חדשות נסרקים כמה פעמים בשעה, עמודים פנימיים באתר קטן לפעמים פעם בכמה שבועות.
האם כדאי לחסום זחלנים של כלי SEO?
זה לא משפיע על הדירוג בגוגל. חסימה חוסכת משאבי שרת ומקשה על מתחרים לנתח את האתר, אבל גם מונעת מכם לראות נתונים מדויקים באותם כלים.
מונחים נוספים תמצאו במילון מונחים SEO. רוצים לדעת אם זחלני ה-AI מגיעים לאתר שלכם ואיך הוא מוצג בתשובות שלהם? נסו את בדיקת הנראות ב-AI.

