robots.txt ובוטים של AI: למי לתת גישה כדי להופיע ב-ChatGPT, Claude, Gemini ו-Perplexity

צוות Amber · עודכן ב-19 באוקטובר 2026 · 4 דקות קריאה

שער גן עם רובוט שומר שמחזיק רשימה ורובוטים שממתינים בתור — robots.txt קובע מי נכנס. התמונה להמחשה בלבד.

בקצרה

לכל חברת AI יש בדרך כלל בוט נפרד לחיפוש ובוט נפרד לאימון מודלים. אפשר לחסום אימון ועדיין להופיע בתשובות.
כדי להופיע בתשובות חשוב לא לחסום: OAI-SearchBot (ChatGPT), Claude-SearchBot ו-Claude-User (Claude), PerplexityBot (Perplexity), Googlebot ו-Bingbot.
Google-Extended לא משפיע על החיפוש בגוגל, אבל קובע אם Gemini יכול להשתמש בתוכן שלכם כדי לענות. חסימה שלו מוציאה אתכם מ-Gemini.
בדקו גם את Cloudflare ושירותי אבטחה אחרים: הם יכולים לחסום בוטים של AI בלי שזה מופיע בכלל ב-robots.txt.

robots.txt הוא קובץ טקסט קטן בכתובת yourdomain/robots.txt, שאומר לסורקים לאילו חלקים באתר מותר להם להיכנס. במנועי AI הוא חשוב במיוחד, כי לכל חברה יש כמה סורקים עם תפקידים שונים, וחסימה של הסורק הלא נכון מוציאה את האתר מהתשובות בלי שאף אחד שם לב.

בוט חיפוש מול בוט אימון

ההבחנה הכי חשובה: רוב החברות מפעילות בוט אחד שאוסף תוכן לאימון מודלים, ובוט אחר שקורא את האתר כדי לענות על שאלות ולצטט אותו בתשובות. אלה החלטות נפרדות:

חסימת בוט אימון אומרת "אל תאמנו מודלים עתידיים על התוכן שלי". לגיטימי לגמרי, ולא אמור להוציא אתכם מהתשובות.
חסימת בוט חיפוש אומרת "אל תציגו אותי בתשובות". רוב העסקים לא רוצים את זה.

שני רובוטים בצומת: אחד עם זכוכית מגדלת לדלת פתוחה ואחד עם שק לשביל אחר — אפשר לחסום אימון ולהשאיר את החיפוש פתוח. התמונה להמחשה בלבד.

הטבלה המלאה

חברה	בוט	בשביל מה	מה קורה אם חוסמים
OpenAI	`OAI-SearchBot`	חיפוש ב-ChatGPT	האתר לא יוצג בתשובות החיפוש של ChatGPT
OpenAI	`GPTBot`	אימון מודלים	התוכן לא ישמש לאימון. לא משפיע על החיפוש
OpenAI	`ChatGPT-User`	כניסה לדף כשמשתמש מבקש	לפי OpenAI, ייתכן שלא כפוף ל-robots.txt
Anthropic	`Claude-SearchBot`	אינדקס לחיפוש של Claude	עלול להפחית את הנראות בתשובות
Anthropic	`Claude-User`	כניסה לדף כשמשתמש שואל	Claude לא יוכל לשלוף את הדף לתשובה
Anthropic	`ClaudeBot`	אימון מודלים	התוכן לא ישמש לאימון
Perplexity	`PerplexityBot`	חיפוש ב-Perplexity (לא אימון)	האתר לא יוצג בתוצאות של Perplexity
Perplexity	`Perplexity-User`	כניסה לדף לבקשת משתמש	לפי Perplexity, בדרך כלל מתעלם מ-robots.txt
Google	`Googlebot`	חיפוש בגוגל, כולל סקירות ה-AI ומצב ה-AI	יוצאים מגוגל
Google	`Google-Extended`	אימון Gemini והתבססות (grounding) של אפליקציית Gemini	Gemini לא ישתמש בתוכן כדי לענות. לא משפיע על החיפוש
Microsoft	`bingbot`	חיפוש ב-Bing, וגם Copilot	יוצאים מ-Bing ומ-Copilot

המקורות: OpenAI, Anthropic, Perplexity, Google.

Google-Extended: הבוט שהכי הרבה טועים בו

הרבה אתרים חוסמים את Google-Extended מתוך הנחה שזה "רק אימון". זה נכון רק בחלקו. גוגל כותבת שהוא שולט בשני דברים: האם התוכן ישמש לאימון של דורות עתידיים של Gemini, והאם הוא ישמש להתבססות (grounding), כלומר אספקת תוכן מאינדקס החיפוש למודל בזמן אמת, באפליקציית Gemini וב-Vertex AI. באותו עמוד גוגל כותבת שהוא לא משפיע על ההופעה בחיפוש של גוגל ולא משמש כאות דירוג (Google).

המשמעות: חסימה של Google-Extended לא תפגע בכם בגוגל, אבל עלולה להוציא אתכם מהתשובות של אפליקציית Gemini. בישראל Gemini מביא כרבע מההפניות מצ'טבוטים לאתרים, לפי StatCounter (ספטמבר 2026). לרוב העסקים זה לא שווה את זה.

דוגמת robots.txt לעסק שרוצה להופיע בתשובות

אם אין לכם סיבה מיוחדת לחסום, הקובץ הפשוט ביותר הוא גם הנכון:

User-agent: * ואחריו Allow: /, ושורת Sitemap: עם הכתובת של מפת האתר.

אם אתם רוצים לחסום אימון בלבד, ולהמשיך להופיע בתשובות, מוסיפים בלוק לכל בוט אימון: User-agent: GPTBot ואחריו Disallow: /, ובאותו אופן ClaudeBot. את בוטי החיפוש (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot) לא חוסמים.

חסימה של אזורים פרטיים (כמו /admin, /cart או /api) בסדר גמור ולא קשורה לנראות.

שינוי ב-robots.txt לא נקלט מיד. OpenAI כותבת שלוקח בערך 24 שעות עד שהמערכות שלה מתעדכנות אחרי שינוי בקובץ (OpenAI). בגוגל סריקה מחדש יכולה לקחת מכמה ימים ועד כמה חודשים.

הבעיה שלא רואים ב-robots.txt: Cloudflare וחומות אבטחה

גם כש-robots.txt פתוח לגמרי, האתר יכול לחסום בוטים של AI ברמה אחרת: בחומת אש, בשירות הגנה מבוטים או ב-CDN. Cloudflare, למשל, הוסיפה אפשרויות לחסימה של בוטי AI בלחיצה אחת, והפכה חלק מהן לברירת מחדל באתרים חדשים (Cloudflare). מי שחוסם כך לא תמיד יודע שהוא חוסם.

איך בודקים:

ב-Cloudflare: בלוח הבקרה, תחת Security, בדקו את ההגדרות של AI Crawl Control ו-Bot Fight Mode, ואם יש חסימה של "AI bots" או "AI crawlers".
בבדיקה ישירה: כלי כמו curl יכול לבקש דף עם שם הבוט ולבדוק אם מתקבלת תשובה 200 או חסימה (403, דף אתגר). זו בדיקה גסה, כי חלק מהשירותים מאמתים גם לפי כתובת IP, אבל היא תופסת את רוב החסימות הגלויות.
ביומני השרת: חפשו את שמות הבוטים מהטבלה. אם OAI-SearchBot מגיע ומקבל 403, יש בעיה.

שער פתוח וקיר זכוכית שקוף מאחוריו שרובוט נתקל בו — חסימה ב-Cloudflare לא נראית ב-robots.txt. התמונה להמחשה בלבד.

תנאי שני: תוכן שנראה בלי JavaScript

גם בוט שנכנס לאתר לא תמיד רואה את התוכן. רוב הסורקים של מנועי ה-AI לא מריצים JavaScript, כך שאתר שבנוי כאפליקציה שנטענת בדפדפן (חלק מבוני האתרים, אתרים ב-React בלי רינדור בצד השרת) עלול להיראות להם כמעט ריק. בדיקה פשוטה: פתחו את הדף, לחצו "הצג מקור" (View Source), וחפשו את הטקסט המרכזי של הדף. אם הוא לא שם, גם הבוטים לא רואים אותו.

צ'קליסט

robots.txt לא חוסם את OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot ו-bingbot.
החלטתם במודע לגבי Google-Extended, GPTBot ו-ClaudeBot.
אין חסימה של בוטי AI ב-Cloudflare או בחומת האש.
הטקסט המרכזי מופיע ב"הצג מקור".
יש Sitemap ושורה שמפנה אליו מ-robots.txt.

אחרי שהגישה פתוחה, השלב הבא הוא תוכן שהמנועים רוצים לצטט: איך כותבים תוכן שמנועי AI מצטטים. ואם הציעו לכם קובץ llms.txt כפתרון, כדאי לקרוא קודם מה המחקר מצא עליו.

שאלות נפוצות

אם אחסום את GPTBot, אצא מ-ChatGPT?

לפי OpenAI, לא. GPTBot משמש לאימון מודלים. מה שקובע אם האתר יוצג בתשובות החיפוש של ChatGPT הוא OAI-SearchBot. אפשר לחסום את הראשון ולהשאיר את השני פתוח.

האם חסימה של Google-Extended פוגעת בדירוג בגוגל?

לא. גוגל כותבת במפורש שהוא לא משפיע על ההופעה בחיפוש ולא משמש כאות דירוג. אבל הוא כן קובע אם אפליקציית Gemini יכולה להשתמש בתוכן שלכם כדי לענות, ולכן חסימה שלו מוציאה אתכם מ-Gemini.

איך יודעים אם Cloudflare חוסם בוטים של AI באתר שלי?

בודקים בלוח הבקרה של Cloudflare את הגדרות האבטחה של בוטים (AI Crawl Control, Bot Fight Mode). אפשר גם לבקש דף עם שם הבוט ולבדוק אם חוזרת שגיאה 403 או דף אתגר.