בקצרה: Bingbot הוא הזחלן (Crawler) של מיקרוסופט, שסורק את הרשת ובונה את האינדקס של מנוע החיפוש Bing. הוא עושה עבור Bing את מה ש-Googlebot עושה עבור גוגל: מגלה עמודים, קורא אותם ומעביר אותם לאינדוקס. הוא פועל מאז 2010, ומכבד את ההוראות בקובץ robots.txt ובתגיות meta robots.
למה Bingbot רלוונטי גם בישראל
נתח השוק של Bing בחיפוש בישראל קטן בהרבה משל גוגל, ולכן בעלי אתרים רבים לא פותחים בכלל חשבון ב-Bing Webmaster Tools. ובכל זאת, יש כמה סיבות טובות לא להתעלם ממנו:
- שירותי AI: האינדקס של Bing משמש מקור מידע לשירותים כמו Microsoft Copilot, ושירותי AI נוספים נשענו עליו או נשענים עליו לחיפוש ברשת. אתר שלא נסרק היטב על ידי Bing עלול להיות פחות נוכח בתשובות כאלה.
- מחשבי עבודה: בארגונים רבים Edge הוא הדפדפן המוגדר כברירת מחדל, ו-Bing מנוע החיפוש המובנה. בתחומי B2B זה קהל משמעותי.
- מנועים נוספים: חלק ממנועי החיפוש הקטנים משתמשים בתוצאות של Bing.
מי שעובד על נראות בתשובות של מנועי AI צריך לחשוב גם על Bing, וזה חלק מהעבודה בקידום GEO.
איך מזהים את Bingbot בלוגים
Bingbot מזדהה ב-User Agent שמכיל את המחרוזת bingbot/2.0. יש לו כמה גרסאות, לדסקטופ ולמובייל, למשל:
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
מכיוון שכל אחד יכול לזייף User Agent, הדרך לוודא שבקשה הגיעה באמת מ-Bingbot היא בדיקת DNS הפוכה: כתובת ה-IP צריכה להתאים לשם מארח שמסתיים ב-search.msn.com, ושם המארח צריך להחזיר את אותה כתובת IP. ב-Bing Webmaster Tools יש גם כלי שבודק כתובת IP ישירות.
מעבר ל-Bingbot, מיקרוסופט מפעילה זחלנים נוספים, כמו AdIdxBot שבודק דפי נחיתה של מודעות Microsoft Advertising.
שליטה בסריקה: robots.txt, קצב ו-IndexNow
robots.txt
Bingbot מכבד את קובץ robots.txt. אפשר לתת לו הוראות נפרדות:
User-agent: bingbot
Disallow: /cart/
Disallow: /my-account/
Crawl-delay: 5
Sitemap: https://www.example.co.il/sitemap_index.xml
שימו לב: Bingbot מכבד את ההוראה Crawl-delay, שגוגל מתעלמת ממנה. ערך גבוה מדי יאט מאוד את הסריקה של אתר גדול, ולכן משתמשים בה רק כשהשרת באמת נפגע.
קצב סריקה ב-Bing Webmaster Tools
בממשק של Bing אפשר לקבוע באילו שעות ביום Bingbot יסרוק יותר ובאילו פחות. באתר ישראלי שהעומס בו גבוה בערב, אפשר להסיט את רוב הסריקה לשעות הלילה.
IndexNow
IndexNow הוא פרוטוקול שמאפשר לאתר לדווח ל-Bing ולמנועים נוספים על עמודים חדשים או מעודכנים מיד, במקום לחכות שהזחלן יגיע. בוורדפרס יש תוספים שעושים את זה אוטומטית. גוגל לא משתתפת בפרוטוקול.
איך בודקים ש-Bingbot סורק את האתר
- אמתו את האתר ב-כלי מנהל האתרים של Bing. אפשר לייבא את האימות ישירות מ-Search Console.
- שלחו מפת אתר ובדקו כמה כתובות נקלטו.
- השתמשו בכלי URL Inspection של Bing כדי לראות אם עמוד מסוים באינדקס.
- סננו את לוגי השרת לפי bingbot כדי לראות אילו עמודים הוא מבקר ובאיזו תדירות.
- ודאו ש-WAF או חומת אש לא חוסמים אותו. בשרתים עם הגנות אגרסיביות זה קורה יותר ממה שנדמה.
טעויות נפוצות
רוב הבעיות עם Bingbot לא נובעות מהזחלן עצמו אלא מהגדרות שנעשו בלי לחשוב עליו:
- חסימה גורפת של "בוטים לא מוכרים" ברמת השרת או ב-CDN, שתופסת גם את Bingbot. זה קורה במיוחד אחרי מתקפת בוטים, כשמישהו מוסיף חוק חסימה רחב בלחץ ושוכח להסיר אותו.
- מפת אתר שמכילה כתובות עם הפניות או שגיאות 404. Bing רגיש לזה ועלול להפחית את האמון שלו במפה כולה.
- Crawl-delay גבוה שהועתק מתבנית ישנה של robots.txt.
- הנחה ש"מה שעובד בגוגל עובד גם ב-Bing". Bing נוטה לתת משקל רב יותר לאותות ברורים כמו כותרות מדויקות ומפת אתר עדכנית.
שאלות נפוצות
האם כדאי לחסום את Bingbot כדי לחסוך משאבי שרת?
כמעט אף פעם. חסימה מוציאה את האתר מ-Bing ומהשירותים שנשענים עליו. אם יש עומס, עדיף להגביל קצב ב-Bing Webmaster Tools.
האם Bingbot מריץ JavaScript?
כן, Bing מרנדרת JavaScript, אבל כמו בגוגל, עדיף שהתוכן החשוב יופיע כבר ב-HTML שהשרת שולח.
כמה זמן לוקח ל-Bing לאנדקס עמוד חדש?
זה משתנה מאוד בין אתרים. שימוש ב-IndexNow ומפת אתר מעודכנת מקצרים משמעותית את הזמן.
הגדרות נוספות על זחלנים ואינדוקס תמצאו במילון מונחים SEO. רוצים לבדוק איך האתר שלכם נראה בתשובות של מנועי AI? נסו את בדיקת הנראות ב-AI.
