לחסום, לאפשר או לגבות: מדריך ההחלטה על קרולרים של AI באתר שלכם

ההמלצה הכי נפוצה שאני שומעת מאז 2024 היא "תחסמו את הבוטים של ה-AI". היא נאמרת בביטחון, בדרך כלל על ידי מישהו שקרא כותרת ולא קרא תיעוד. הבעיה היא לא בעצם ההחלטה לחסום. יש סיבות טובות לחסום, ואגיע אליהן. הבעיה היא שרוב מי שחוסם עושה את זה בגרזן, ואז מגלה חצי שנה אחר כך שהמותג נעלם מתשובות ה-AI ולא מבין למה.

אז בואו נעשה סדר לפי מה שהספקים עצמם כתבו בתיעוד שלהם.

קשור לכתבה זו ←

עמודי השוואה ב-2026: מה מנועי AI מצטטים ומה הופך לנטל מיותר ארכיטקטורת תוכן לשליפה ב-AI: מה עובד ומה סיפור שהשוק ממציא

ההפרדה שכל הספקים כבר עשו, ורוב האתרים עוד לא

זו הנקודה המרכזית של הכתבה הזו, וכל השאר נגזר ממנה. נכון ל-2026, כל ספק גדול מפעיל לפחות שני סוגי בוטים נפרדים לחלוטין: בוט שאוסף תוכן לאימון מודלים, ובוט ששולף תוכן כדי לענות למשתמש עכשיו. ההפרדה הזו מתועדת אצל כולם, במפורש, ולרוב עם משפט שמסביר בדיוק מה קורה כשחוסמים.

OpenAI כותבת בתיעוד הרשמי שלה במפורש: "כל הגדרה עצמאית מהאחרות", ונותנת בדיוק את הדוגמה הזו, לאפשר את OAI-SearchBot כדי להופיע בתוצאות ולחסום את GPTBot כדי לא לשמש לאימון. זה לא פרשנות שלי. זה התיעוד של OpenAI.

הטבלה הבאה היא בעצם כל ההחלטה שלכם, בפריסה אחת. עמודת "מה עולה לכם לחסום" מנוסחת לפי מה שכתוב אצל הספק, לא לפי מה שמעריכים בשוק.

שימו לב לפרט אחד שנעלם מרוב הדיונים: Anthropic היא היחידה מבין החמישה שמצהירה על ציות ל-robots.txt גם בשליפה יזומת-משתמש. בתיעוד שלה כתוב שהבוטים "מכבדים איתותי אל תסרוק על ידי כיבוד הוראות תקניות ב-robots.txt", בלי חריג לבוט המשתמש. אצל OpenAI, גוגל, Perplexity ו-Meta יש חריג מפורש. זו הבחנה שכדאי להכיר לפני שמבטיחים למנכ"ל שהאתר "חסום ל-AI".

הטעות היקרה ביותר: Google-Extended הוא לא הבקרה של AI Overviews

אם תיקחו מהכתבה הזו דבר אחד, שיהיה זה. אני רואה את הטעות הזו בכל אודיט שני, והיא עולה כסף אמיתי.

ההנחה הרווחת היא ש-Google-Extended הוא המתג שמוציא אתכם מ-AI Overviews. הוא לא. גוגל כותבת בתיעוד הרשמי, במילים שלה: "AI מובנה בתוך החיפוש ואינטגרלי לאופן שבו החיפוש פועל, ולכן הוראות robots.txt עבור Googlebot הן הבקרה של בעלי אתרים לניהול האופן שבו האתרים שלהם נסרקים עבור החיפוש". במילים אחרות, הבקרה על AI Overviews ועל AI Mode היא Googlebot, וחסימה שלו פירושה יציאה מהחיפוש כולו.

מה כן עושה Google-Extended? לפי תיעוד הקרולרים של גוגל, הוא שולט באימון דורות עתידיים של Gemini ובגראונדינג בתוך Gemini Apps ו-Vertex AI. זהו. חסימה שלו לא מורידה אתכם מ-AI Overviews ולא מ-AI Mode.

ויש כאן צד שני שכדאי לדעת: התנאי להופעה ביכולות ה-AI של גוגל הוא שהדף יהיה מאונדקס וזכאי להופיע בחיפוש עם snippet. כלומר nosnippet, data-nosnippet או noindex מוציאים אתכם משם באותה יעילות כמו חסימת Googlebot. אם מישהו בצוות הוסיף nosnippet לדפי מוצר כדי "להגן על התוכן", הוא הוציא אתכם מ-AI Overviews בלי לשים לב. שווה בדיקה, במיוחד אם אתם עוקבים אחרי דוח הביצועים של יכולות ה-AI בסרץ' קונסול ולא מבינים למה המספרים שטוחים.

15.09.2026: למה כדאי לפתוח את Cloudflare היום

זה החלק הדחוף. ב-01.07.2026 Cloudflare פרסמה שינוי בברירות המחדל שנכנס לתוקף ב-15.09.2026, ובתוכו סעיף אחד שעלול להפיל אתרים שלמים מהחיפוש האורגני.

קודם הנוסח המדויק, כי הניואנס חשוב. השינוי בברירת המחדל חל על דומיינים חדשים שמצטרפים ל-Cloudflare, והוא ממוקד: קטגוריות Training ו-Agent ייחסמו כברירת מחדל בדפים שמציגים מודעות, בעוד ש-Search יישאר מותר כברירת מחדל. אתר קיים לא משנה הגדרות מעצמו.

ועכשיו החלק שכן נוגע לכולם. באותה הודעה Cloudflare כותבת שקרולרים רב-תכליתיים ייחסמו לפי כל ההתנהגויות שלהם, ושברירות המחדל ייאכפו לפי הכלל המחמיר ביותר. התוצאה, בלשונה: קרולרים רב-תכליתיים כמו Googlebot, Applebot ו-BingBot ייחסמו אצל לקוחות שבחרו לחסום Training, בין דרך האפשרויות החדשות ובין דרך שירות "Block AI bots" הישן.

תעצרו רגע על זה. אם מישהו אצלכם לחץ ב-2025 על המתג "חסום בוטים של AI" ושכח ממנו, הוא עלול לחסום את Googlebot. לא את בוט האימון של גוגל. את הקרולר שמזין את החיפוש האורגני ואת AI Overviews. Cloudflare אמנם אפשרה לצאת מברירות המחדל דרך הגדרות ה-Security לפני ה-15 בספטמבר, אבל אם אף אחד לא נכנס לדשבורד, אף אחד לא לחץ על כלום.

ולמי שמתלבט לגבי Content Signals עצמם: המדיניות פורסמה ב-24.09.2025 והיא מגדירה שלושה איתותים ב-robots.txt, ‏search, ‏ai-input ו-ai-train. Cloudflare עצמה מנסחת אותם כהבעת העדפה, לא כחסימה. בהודעה של 2026 היא חוזרת על זה במפורש לגבי ההרחבה החדשה: הערכים "מאותתים על העדפה של בעל האתר, ולא מייצרים חסימה ישירה". זה כלי הצהרתי. שימושי, אבל אל תבלבלו בינו לבין מנעול.

robots.txt הוא הצהרת כוונות, לא מנעול

וזה מביא אותנו לנקודה שהכי הרבה אנשים מפספסים. robots.txt מעולם לא היה מנגנון אכיפה. הוא בקשה. ההבדל הוא שב-2026 הספקים כותבים את זה בעצמם, בתיעוד, בלי להתחבא.

גוגל: "מאחר שהשליפה התבקשה על ידי משתמש, השולפים האלה מתעלמים בדרך כלל מכללי robots.txt". OpenAI: "ייתכן שכללי robots.txt לא יחולו". Perplexity: "מתעלם בדרך כלל מכללי robots.txt". Meta: הקרולר עשוי לעקוף robots.txt. ארבעה מתוך חמישה ספקים גדולים, בתיעוד הרשמי שלהם.

ומעבר להצהרות, יש ראיה אמפירית אחת שראויה לציון כי היא ניסוי מבוקר ולא אנקדוטה. ב-04.08.2025 Cloudflare פרסמה שהקימה דומיינים חדשים לגמרי, לא מאונדקסים ולא נגישים בשום דרך, חסמה בהם הכל גם ב-robots.txt וגם בחוקי WAF, ואז שאלה את Perplexity עליהם. לפי הפרסום, Perplexity "עדיין סיפקה מידע מפורט לגבי התוכן המדויק שמאוחסן בכל אחד מהדומיינים המוגבלים". Cloudflare תיעדה user agent שמתחזה לכרום על macOS, כתבה שהוא מבצע 3 עד 6 מיליון בקשות יומיות לצד הבוט המוצהר, ושהוא מחליף כתובות IP ו-ASN בתגובה לחסימות. בעקבות זאת Cloudflare הסירה את Perplexity ממעמד בוט מאומת אצלה.

אני מדווחת כאן מה ש-Cloudflare תיעדה ופרסמה, ותו לא. המסקנה המעשית לא תלויה בפרשנות של הצדדים: אם החסימה שלכם קריטית, robots.txt לבדו לא מספיק. אכיפה אמיתית יושבת בשכבת ה-edge, ב-WAF או בשירות ניהול בוטים, ועל השכבות האלה כתבנו במדריך ה-SEO הטכני לאתרים ישראליים.

llms.txt: זול, לא מזיק, ואפס ראיות

בכל פעם שיוצא פורמט חדש, מישהו מוכר אותו כמנוף דירוג לפני שמישהו בדק אם הוא בכלל נקרא. llms.txt הוא הדוגמה הנוכחית.

הנה מה שיש בפועל. גוגל כותבת בתיעוד הרשמי שלה, בסעיף שבירת המיתוסים: "אינכם צריכים ליצור קבצים קריאי-מכונה חדשים, קובצי AI, סימון או Markdown כדי להופיע בחיפוש של גוגל (כולל יכולות ה-AI הגנרטיבי שלו), מכיוון שהחיפוש של גוגל עצמו אינו משתמש בהם".

ומה עם OpenAI ו-Anthropic? בדקתי את תיעוד הקרולרים ותיעוד המפרסמים של שתיהן. אף אחת מהן לא מזכירה llms.txt בכלל. שימו לב לניסוח: זו לא הכחשה, זו היעדרות. אף ספק לא אישר שהוא משתמש בקובץ, והספק היחיד שהתייחס אמר שהחיפוש שלו לא משתמש בו.

אז מה לעשות עם זה? אם יש לכם עשר דקות פנויות, תפרסמו קובץ. הוא לא מזיק. אבל אל תמכרו אותו פנימה כמהלך AEO, ואל תקצו לו תקציב. ההופעה בתשובות AI נקבעת על ידי דברים אחרים לגמרי, ועל אלה כתבנו בכללי ה-GEO שמביאים ציטוטים.

המספרים, ומה הם לא אומרים

עכשיו לצד השני של המשוואה, כי הכתבה הזו לא נועדה לשכנע אתכם לפתוח הכל.

יש סיבה אמיתית שמפרסמים חוסמים, והיא כלכלית. Cloudflare פרסמה ב-01.07.2025 יחסי סריקה מול הפניה: ביוני 2025 גוגל סרקה כ-14 פעמים על כל הפניה אחת, אצל OpenAI היחס עמד על 1,700 לאחת, ואצל Anthropic על 73,000 לאחת. בפרסום נפרד באותו יום, לשבוע 19 עד 26 ביוני 2025, היחסים נעו מ-70,900 לאחת אצל Anthropic ועד 0.1 לאחת אצל Mistral, שהפנתה פי עשרה יותר תעבורה ממה שסרקה.

ועכשיו ההסתייגות, שחייבת ללוות כל ציטוט של המספרים האלה. Cloudflare עצמה כותבת שתעבורה שמופנית מהאפליקציה הייעודית של Claude אינה נושאת כותרת Referer, ושלהערכתה זה נכון גם לאפליקציות אחרות, ולכן החישובים עלולים להגזים ביחסים, ולא ברור בכמה. אלה נתונים מיוני 2025. אל תציגו אותם כמצב היום.

מה שכן מסביר את הלחץ על מפרסמים הוא נתון אחר. בפרסום מ-01.07.2026 Cloudflare מצטטת מחקר של Pew משנת 2025, שלפיו כשגוגל מציגה סיכום AI, משתמשים הקליקו על תוצאת חיפוש רגילה ב-8% מהמקרים בלבד, כמחצית מהשיעור כשאין סיכום, והקליקו על קישור בתוך הסיכום ב-1% מהמקרים. מי שכל המודל העסקי שלו הוא תנועה מהחיפוש, מסתכל על המספרים האלה ומחליט לחסום. זו החלטה לגיטימית לחלוטין.

אבל שימו לב מה ההחלטה הזו לא אומרת עליכם. אם אתם מותג עם אתר שיווקי, התוכן שלכם הוא לא המוצר. הוא הדרך שבה מוצאים אתכם. מפרסם שחוסם מגן על הכנסות ממודעות. מותג שחוסם מוותר על נראות בלי לקבל שום דבר בתמורה. אלה שני מקרים שונים לגמרי, וההמלצות שמסתובבות בשוק מערבבות ביניהם. אם אתם כן בצד של מכירת תוכן, יש לנו כתבה נפרדת על מפרסמים שמוכרים תוכן לקרולרים של AI.

נתון אחרון להקשר: מתוך 10,000 הדומיינים המובילים, ב-06.06.2025 נמצא robots.txt ב-3,816, ומתוכם ל-546 בלבד, בערך 14%, היו הוראות שמכוונות לבוטי AI. הבוט החסום ביותר היה GPTBot, ב-312 דומיינים. כלומר גם בקרב האתרים הגדולים בעולם, רובם המכריע לא נגע בזה בכלל.

ישראל: אין חוק, יש מנופים

כאן אני צריכה להיות מדויקת, כי בתחום הזה מסתובב הרבה בלבול.

לא מצאתי חוק ישראלי, תקנה ישראלית או הנחיה של רשות ישראלית שעוסקים בסריקת אתרים, ב-robots.txt או בגישת קרולרים של AI. אין. זו התשובה המלאה.

המסמך הישראלי היחיד שרלוונטי לסביבה הזו הוא חוות הדעת של משרד המשפטים מ-18.12.2022, שקבעה שהשימוש ביצירות מוגנות לצורכי למידת מכונה מותר ברוב המקרים לפי דוקטרינות קיימות, ובראשן שימוש הוגן, שימוש אגבי והעתקה ארעית. היא סייגה מקרים של מאגר שמורכב כולו מיצירות של יוצר אחד במטרה להתחרות בו בשווקים הקיימים שלו, וחלה על תהליך האימון ולא על התפוקות. חוות הדעת אינה מזכירה סריקה, robots.txt או תנאי שימוש באתר כלל.

המשמעות המעשית למנהל שיווק ישראלי היא פשוטה: המנוף שלכם כאן הוא טכני ומסחרי, לא משפטי. חסימה בשכבת ה-edge עובדת. הסכם מסחרי עובד. ציפייה שהחוק הישראלי יגן עליכם מסריקה לא מבוססת על שום דבר קיים.

בצד האירופי יש התפתחות אחת ששווה משפט. פרק זכויות היוצרים ב-Code of Practice של ה-GPAI, שפורסם ב-10.07.2025, מחייב חותמים להפעיל קרולרים שקוראים ומצייתים להוראות לפי פרוטוקול היציאה לרובוטים, כלומר robots.txt, כפי שמוגדר ב-RFC 9309 של ה-IETF. זו הפעם הראשונה ש-robots.txt מוזכר במסמך מהסוג הזה. אבל שימו לב לגבולות: הקוד הוא וולונטרי, והוא מחייב ספקי מודלים שחתמו עליו. הוא לא מחייב את האתר שלכם ולא נותן לכם עילה. אם אתם פועלים מול לקוחות באירופה ומנהלים ממילא חשיפה רגולטורית, זה שייך לאותו דיון שבו נמצאת תיקון 13 לחוק הגנת הפרטיות, לא לדיון על סריקה.

שאלות נפוצות

אם אחסום את GPTBot, אעלם מ-ChatGPT?

לא. GPTBot אחראי על איסוף תוכן לאימון מודלים בלבד, ו-OpenAI כותבת בתיעוד שההגדרות עצמאיות זו מזו. הבוט שקובע אם תופיעו בתשובות החיפוש של ChatGPT הוא OAI-SearchBot, ולגביו OpenAI כותבת שאתרים שביצעו opt-out לא יוצגו בתשובות החיפוש, אם כי עשויים עדיין להופיע כקישורי ניווט. כלומר אפשר לחסום אימון ולשמור נראות, וזו בדיוק הדוגמה שהתיעוד של OpenAI נותן.

מה ההגדרה הנכונה לאתר שיווקי של מותג?

ברוב המקרים: לאפשר את בוטי השליפה, ולהחליט על בוטי האימון לפי עמדת החברה. אתר שיווקי מרוויח מנראות בתשובות, והתוכן שלו אינו מקור ההכנסה בעצמו. אם מנהלים בחברה מתעקשים לחסום אימון, זו החלטה סבירה שעולה מעט מאוד: חסימת GPTBot, ClaudeBot, Google-Extended ו-Applebot-Extended אינה מורידה אתכם מתוצאות חיפוש או מתשובות, לפי התיעוד של כל אחד מהספקים.

האם יש טעם להוסיף Content Signals ל-robots.txt?

יש טעם, בתנאי שמבינים מה זה. Cloudflare הציגה את המדיניות ב-24.09.2025 עם שלושה איתותים, והיא עצמה מנסחת אותם כהבעת העדפה של בעל האתר ולא כחסימה ישירה. זה מסמך עמדה קריא-מכונה, לא מנגנון אכיפה. הוא שימושי כדי להצהיר עמדה בבירור, במיוחד מול ספקים שמצייתים, אבל הוא לא יעצור מי שלא רוצה לציית.

איך אדע בכלל אילו בוטים סורקים אותי היום?

לוגים של השרת או של ה-CDN. זו התשובה הפשוטה והיחידה שנותנת נתונים אמיתיים ולא הערכות. חפשו את מחרוזות ה-user agent המדויקות מהטבלה למעלה, והצליבו מול טווחי ה-IP שכל ספק מפרסם. OpenAI, Anthropic ו-Perplexity מפרסמים רשימות IP ייעודיות בדיוק לצורך אימות, מפני שהתחזות ל-user agent היא זולה. אם אתם מודדים גם תנועה שמגיעה מה-AI, כדאי לחבר את זה למעקב תנועת AI ב-GA4.

מה עושים עכשיו

סדר פעולות, לפי סדר הנזק הפוטנציאלי. זה מה שהייתי עושה השבוע.

הקו התחתון: ההחלטה כאן היא לא "לחסום או לא לחסום". היא לחסום את מה שצריך, ברזולוציה שהספקים כבר נתנו לכם בחינם. בוטי אימון מול בוטי שליפה. ההפרדה מתועדת אצל כולם, במילים שלהם. מי שממשיך לעבוד בגרזן ב-2026 עושה את זה כי לא פתח את התיעוד, לא כי אין ברירה.