20 בריפים בגיליון אחד: איך בודקים פלט של AI לפני שהוא יוצא
יש לכם תהליך שבו מישהו מקבל טיוטה מ-AI, קורא אותה, אומר "כן, נשמע בסדר", ושולח לפרסום? זו לא בקרת איכות אלא תחושת בטן, והיא נשברת בדיוק ברגע שבו שיניתם או שהמודל שמתחתיו התעדכן ואף אחד לא שם לב. הכתבה הזו היא על החלופה, ועל מה שצוות של שני אנשים יכול להקים ביום שני בבוקר בגיליון אחד.
הפער שמסביר למה זה דחוף
המחקר של Content Marketing Institute, שפורסם ב-8 באוקטובר 2025 ומבוסס על 1,015 משווקי B2B שנסקרו בין 24 ביוני ל-14 באוגוסט 2025, נותן שני מספרים שכדאי להצמיד. 87% מדווחים על שיפור בפרודוקטיביות. רק 39% מדווחים על שיפור בביצועי התוכן, ו-12% אומרים שהאיכות ירדה. זו כל התזה במשפט אחד: ה-AI הפך צוותים למהירים יותר, לא לטובים יותר.
הצד התפעולי מגיע מדוח ההזיות והדיוק של NP Digital מ-4 בפברואר 2026, שסקר 565 משווקים דיגיטליים בארצות הברית ובדק 600 פרומפטים על פני שישה מודלים. 47.1% נתקלים באי-דיוקים כמה פעמים בשבוע, 36.5% מדווחים שתוכן שגוי כבר פורסם החוצה, ויותר מ-70% שורפים בין שעה לחמש שעות בשבוע על בדיקת עובדות.
שימו לב למקור לפני שאתם מצטטים אותו בישיבה. NP Digital היא סוכנות ולא גוף מחקר ניטרלי, ההודעה לא מפרסמת תאריכי איסוף שדה ולא שיטת דגימה, והנתון על תוכן שפורסם הוא דיווח עצמי. עדיין, זה המספר הכי ישיר לנושא שקיים היום, אז מתייחסים אליו כאל האומדן התעשייתי הטוב ביותר ולא כראיה שעברה שיפוט עמיתים. וזה מה שיש בסקרים בינלאומיים, כי סקר ישראלי בנושא לא קיים.
מה זה eval, ומה זה לא
eval הוא לא vibe check. OpenAI מגדירה אותו כבדיקה שהפלט עומד בקריטריוני סגנון ותוכן שאתם מגדירים. Google ב-Vertex AI מחלקת את זה לדאטהסט הערכה, מטריקות וקריטריון הצלחה, וAnthropic בונה את זה באותו אופן. אין כאן מחלוקת להכריע בה, יש תבנית להעתיק.
סט מקרים אמיתיים
לא מקרים שהמצאתם בישיבה. בריפים אמיתיים עם הפלט שאישרתם. Anthropic ממליצה להמיר תקלות שדווחו למקרי בדיקה, כי ככה הסט משקף שימוש אמיתי.
שיטת ניקוד מוגדרת
ההיררכיה של Anthropic: קודם קוד, אחר כך מודל שופט, ורק בסוף אדם. על ניקוד אנושי הם כותבים שהוא הכי איכותי אבל איטי ויקר, ושכדאי להימנע ממנו.
רף שסוכם מראש
המספר שהפרומפט צריך לנצח לפני שהוא עולה לאוויר. בדוגמאות של Anthropic: ציון F1 של 0.85 לפחות. סוגרים אותו לפני הריצה, לא אחריה.
נקודה אחת של Anthropic נוגדת אינטואיציה שיווקית ושווה לאמץ: עדיף כמות על פני איכות, כלומר יותר שאלות עם ניקוד אוטומטי קצת פחות מדויק, על פני פחות שאלות עם ניקוד ידני מוקפד.
חמישה ממדים שאפשר למדוד, ומי מהם צריך מודל שופט
את הסקשן הזה תקראו לאט, כי הרעיון הכי שימושי כאן הוא שרוב מה שאתם צריכים לבדוק לא דורש שום מודל.
| הממד | מה בודקים בפועל | מי מנקד |
|---|---|---|
| עמידה בפורמט ובאילוצים | אורך כותרת ותיאור מטא, מילות הייפ אסורות, שורת גילוי נאות, קיים | קוד בלבד |
| אימות ציטוטים והפניות | כל קישור מחזיר 200, כל מספר מופיע מילה במילה במקור | קוד בלבד |
| במסמך שסופק | האם כל טענה נסמכת על הבריף, בלי תוספות מהזיכרון של המודל | מודל שופט |
| נאמנות לקול המותג | רובריקה מפורטת, ממד אחד בכל פעם, לא ציון כללי לכל הטקסט | מודל שופט |
| בדיקות רגולציה | האם התוכן דורש סימון, והאם תיעוד הביקורת האנושית קיים | קוד ואדם |
שתי השורות הראשונות הן הרווח המהיר. התקדים הוא IFEval, עבודה של צוות מ-Google מ-14 בנובמבר 2023 שמגדירה 25 סוגי הנחיה הניתנת לאימות אוטומטי על פני כ-500 פרומפטים, למשל "כתוב ביותר מ-400 מילים". הנימוק שלהם עובר אחד לאחד לצוות שיווק: הערכה אנושית יקרה, איטית ולא ניתנת לשחזור, ואילו הערכה על ידי מודל עלולה להיות מוטה או מוגבלת ביכולת של המודל המעריך.
עכשיו תסתכלו על הכללים שממילא יש לכם: כותרת עד 60 תווים, תיאור מטא באורך מסוים, מילים אסורות, שורת גילוי נאות. כל אחד מהם הוא הנחיה הניתנת לאימות, ואין שום סיבה לשלם על קריאת מודל כדי לבדוק אורך מחרוזת. אם אתם כבר עובדים עם ספריית פרומפטים עם אילוצים, חצי מהעבודה כתובה אצלכם, פשוט אף אחד לא הפך אותה לבדיקה שרצה.
הממד היחיד שבאמת מחייב רובריקה ושופט הוא קול המותג. אין מחקר ראשוני שמודד נאמנות לקול מותג כממד מנוקד, ולכן אל תאמינו למי שמצטט לכם אחוזים בנושא. מה שכן קיים: Vertex AI מציעה מטריקות מבוססות רובריקה, Ragas מציעה Aspect Critic וניקוד רובריקה לכל מקרה, וההנחיה של Anthropic ברורה: רובריקה מפורטת, בקשה מהמודל לנמק לפני שהוא מנקד, סולם 1 עד 5, ושופט נפרד לכל ממד ולא אחד שמנקד הכל ביחד. אם עוד לא הגדרתם את קול המותג בצורה שאפשר לנקד, זה התנאי המקדים ולא ה-eval.
LLM כשופט: מה המספרים באמת אומרים
הכותרת שחוזרת בכל פוסט בעברית היא ששופט מסכים עם בני אדם ביותר מ-80% מהמקרים. המספר קיים, אבל בלי ההגדרות שסביבו הוא מטעה. המקור הוא Zheng ואחרים, עבודה שהוצגה ב-NeurIPS 2023 ועודכנה ב-24 בדצמבר 2023. במערך שבו תיקו לא נספר, ההסכמה בין GPT-4 לבני אדם על MT-Bench עמדה על 85%, מול 81% בין בני אדם לעצמם. באותו מאמר בדיוק, כשמכניסים תיקו לספירה, ההסכמה יורדת ל-66%. ב-Chatbot Arena: 95% בלי תיקו, 72% איתו.
הפער בין 85% ל-66% הוא כל הסיפור. שופטים מסכימים יפה כששתי טיוטות שונות בבירור באיכות, והרבה פחות כשהן קרובות, וזה בדיוק המקרה שמעניין אתכם, כי אתם לא מבדילים בין טיוטה מצוינת לזבל אלא בין שתי גרסאות פרומפט סבירות. Shi ואחרים, בעבודה מ-12 ביוני 2024 שכיסתה 15 מודלים שופטים ויותר מ-150,000 מופעי הערכה, מצאו בדיוק את זה: הטיית המיקום מושפעת חזק מפער האיכות בין הפתרונות, וחלש מאורך הרכיבים בפרומפט.
הטיית מיקום
עקביות כשמחליפים את סדר התשובות: GPT-4 ב-65.0%, GPT-3.5 ב-46.2%, Claude-v1 ב-23.8%. Wang ואחרים ב-ACL 2024 הראו ש-Vicuna-13B ניצח את ChatGPT ב-66 מתוך 80 שאילתות רק בזכות שינוי הסדר. הפתרון הזול: כל השוואה רצה פעמיים, בשני הסדרים.
הטיית אורך
במתקפת הרשימה החוזרת, שבה תשובה מנופחת בלי להוסיף מידע, שיעור הכישלון היה 91.3% אצל Claude-v1 ואצל GPT-3.5, ו-8.7% אצל GPT-4. אם השופט מעדיף שיטתית את הטיוטה הארוכה, זה לא כי היא טובה יותר.
העדפה עצמית
GPT-4 נותן לתשובות של עצמו שיעור ניצחון גבוה בכ-10% ממה שבני אדם נותנים להן, Claude-v1 בכ-25%. עבודה מ-NeurIPS 2024 מצאה ש-GPT-4 מזהה את הטקסט שלו בדיוק 73.5%, ושעוצמת ההעדפה מתואמת ליניארית ליכולת הזיהוי.
אחוז הסכמה מטעה
Thakur ואחרים מדדו ב-Scott's Pi: בסיס אנושי 96.2, השופטים הטובים ביותר סביב 88. Llama-3 8B הראה אחוז הסכמה מעל 80% אבל Scott's Pi של 59. שופטים עם אחוז הסכמה גבוה עדיין נותנים ציונים שונים מאוד, ונוטים שיטתית לוותרנות.
המיטיגציה שבנצ'מרק אמיתי משתמש בה: FACTS Grounding של Google DeepMind, מ-17 בדצמבר 2024, מריץ אנסמבל של שלושה שופטים ומנמק זאת במפורש: כדי למתן הטיה של שופט שנותן ציון גבוה יותר לתשובות שהופקו על ידי מודל מאותה משפחה. אם אתם כותבים ב-Claude, אל תשפטו ב-Claude לבד.
כמה מקרים צריך בסט
כאן אני נזהר, כי זה המקום שבו הכי הרבה אנשים ממציאים מספרים. אין ספק מודלים ואין מאמר שמפרסם מינימום אוניברסלי. מי שאומר לכם "צריך לפחות 100 דוגמאות בשביל תוקף סטטיסטי" המציא את זה.
המספר הראשוני היחיד ממקור ראשון מגיע מפוסט ההנדסה של Anthropic מ-9 בינואר 2026: 20 עד 50 משימות פשוטות שנשלפו מכשלים אמיתיים הן התחלה מצוינת. שימו לב לניסוח. התחלה, לא רף תוקף. הנימוק שלהם הוא שבשלבים מוקדמים לכל שינוי יש אפקט גדול וברור ולכן מדגם קטן מספיק, ושמערכות בשלות יזדקקו לסטים גדולים כדי לזהות אפקטים קטנים.
מה שכדאי לקחת במקום מספר קסם הוא חשבון. במדד של עבר או נכשל, שגיאת התקן של פרופורציה היא שורש של p כפול אחד פחות p, חלקי n. בפועל: ב-50 מקרים רווח הסמך של 95% הוא בערך פלוס מינוס 14 נקודות, ב-100 מקרים פלוס מינוס 10, וב-400 מקרים פלוס מינוס 5. כלומר סט של 50 מקרים יכול להגיד לכם ש-70% טוב יותר מ-40%, אבל לא ש-78% טוב יותר מ-74%. גודל הסט קובע מה ההבדל הקטן ביותר שמותר להאמין בו.
מי שרוצה לדייק ימצא אצל Evan Miller מ-Anthropic, בעבודה מ-1 בנובמבר 2024, המלצה להשתמש במבחני הפרש מזווג כשמשווים שני פרומפטים. ועוד קריטריון שאני משתמש בו: אם שני אנשים בצוות לא היו מגיעים באופן עצמאי לאותה החלטה של עבר או נכשל, המקרה עדיין לא מוכן.
מבחני רגרסיה: הסקשן שיציל למישהו את החודש
עכשיו לחלק שאני הכי ממליץ עליו למי שכבר מריץ פרומפטים בפרודקשן. הפרומפט שלכם יושב על מודל, והמודל הזה זז מתחתיו. הדוגמה הכי טובה שיש היא אירוע ה-sycophancy של GPT-4o, שעליו OpenAI פרסמה הסבר ב-2 במאי 2025. העדכון יצא ב-24 וב-25 באפריל 2025, הביטול התחיל ב-28 באפריל והושלם ב-29 בו. המשפט שכדאי לתלות על הקיר הוא ההודאה שלהם: ההערכות האופליין שלהם לא היו רחבות או עמוקות מספיק כדי לתפוס את ההתנהגות הזו, ומבחני ה-A/B לא כללו את האותות הנכונים.
המדדים עברו והמוצר עדיין היה שגוי. זה מה שקורה כשה-eval בודק את מה שקל לבדוק ולא את מה שחשוב. אם אתם מריצים אוטומציות שיווקיות בלי שכבת ניטור, שווה לקרוא גם על כשלים שקטים באוטומציות AI. ומעבר לתקלות נקודתיות, יש לוח זמנים מפורסם שאפשר לתכנן לפיו.
| ספק | התחייבות ההתראה | חלון אמיתי מהטבלאות שלהם |
|---|---|---|
| Anthropic | לפחות 60 יום לפני פרישת מודל שפורסם לציבור. מחזור חיים: פעיל, מדור קודם, מוצא משימוש, פרוש | claude-opus-4-1-20250805 הוצא ב-5.6.2026 ופרש ב-5.8.2026, כלומר 60 יום בדיוק |
| OpenAI | לפחות 6 חודשים למודלים בזמינות כללית, לפחות 3 חודשים לגרסאות ייעודיות, ולעיתים כשבועיים למודלי preview | gpt-5-2025-08-07 ו-o3-2025-04-16 הוכרזו ב-11.6.2026 עם כיבוי ב-11.12.2026 |
שתי נקודות מעשיות. ראשית, זה לא רק מודלים שזזים: Anthropic הוציאה משימוש גם פרמטרים של ה-, ו-temperature, top_p ו-top_k מחזירים שגיאת 400 ב-Claude Opus 4.7 ומעלה אם הוגדרו לערך שאינו ברירת המחדל. שנית, ההמלצה שלי, וזו המלצה שלי ולא מהספקים, היא לנעול את הקריאות לגרסה מתוארכת ולא לכינוי כללי. שני הספקים לא כותבים את המשפט הזה, אבל שניהם כן אומרים לבדוק את היישום מול מודלים חדשים לפני הפרישה.
שלושה מדדי הזיות שמודדים שלושה דברים שונים
הטעות הכי נפוצה בסיקור בעברית היא לערבב ביניהם ואז לצטט מספר אחד כאילו הוא תכונה של המודל.
Vectara: נצמד למסמך שנתתי?
לוח ההזיות של Vectara, עודכן ב-11.5.2026, מריץ סיכום על יותר מ-7,700 מאמרים שנשמרים לא פומביים כדי למנוע התאמת יתר, בטמפרטורה 0. הם מדגישים שזו עקביות עובדתית בסיכום, לא דיוק עובדתי כללי.
FACTS: כמה הוא עובדתי בכלל?
חבילת FACTS של Google מ-9.12.2025 מכילה ארבעה בנצ'מרקים ו-3,513 פריטים. Gemini 3 Pro הוביל עם 68.8%, וכל המודלים שנבדקו הגיעו לדיוק כולל מתחת ל-70%. זה המשפט שהייתי מציג בישיבת הנהלה.
AA-Omniscience: הוא מודה שלא ידע?
העבודה של Artificial Analysis מ-17.11.2025 מריצה 6,000 שאלות בשישה תחומים, ומדד ה-Omniscience מתגמל הימנעות כשהמודל לא בטוח. רק שלושה מודלים קיבלו ציון מעל אפס, בראשם Claude 4.1 Opus עם 4.8. מודל שנמנע הרבה מקבל שיעור הזיות נמוך, אז אל תקראו את העמודה הזו כ"הכי מדויק".
צוות שכותב מבריף שסיפקתם מסתכל בעיקר על הראשון, וצוות שנותן ל-AI לענות מהזיכרון שלו צריך את השלישי. וכשמצטטים מספר הזיות, תמיד אומרים איזה בנצ'מרק ואיזו משימה.
שני דפוסים מלוח Vectara מנוגדים לאינטואיציה. ראשית, המודל הדגל אינו העקבי ביותר עובדתית: נכון ל-11 במאי 2026, gpt-5.4-nano עמד על 3.1% ו-gemini-2.5-flash-lite על 3.3%, בעוד gpt-5.5 עמד על 9.3%, claude-sonnet-4-6 על 10.6% ו-gemini-3-pro-preview על 13.6%. שנית, הגדרות חשיבה גבוהות הניבו תוצאה גרועה יותר על אותו מודל: gpt-5.2 בנמוכה 8.4% מול 10.8% בגבוהה. סיכומים ארוכים מתרחקים מהמקור.
מה מקימים בפועל, ובכמה כסף
| כלי | למה הוא טוב | שכבה חינמית לפי עמוד התמחור שלהם |
|---|---|---|
| Promptfoo | מקרי בדיקה ב-YAML, פרומפט אחד על כמה מודלים בהשוואה. רץ מקומית | Community, "חינם לתמיד", כולל את כל יכולות ההערכה וכל ספקי המודלים |
| Langfuse | מעקב, דאטהסטים וריצות הערכה. קוד פתוח וניתן לאירוח עצמי | Hobby חינם, 50 אלף יחידות בחודש, שני משתמשים, 30 יום גישה לנתונים |
| LangSmith | דאטהסטים, מעריכים כולל מודל שופט, השוואת ניסויים לאיתור רגרסיה | Developer ב-0 דולר למושב, מושב אחד, עד 5,000 traces בחודש ואז לפי שימוש |
| Braintrust | דאטהסטים, scorers והשוואת ניסויים | Starter חינם, 10 דולר קרדיט חודשי, 10,000 ציונים בחודש, שמירה ל-14 יום |
| Ragas | ספריית Python בקוד פתוח, חזקה כשהתוכן נוצר ממקורות שאוחזרו | ספריית קוד פתוח. לא מצאתי עמוד תמחור עם תנאי שכבות, אז אני לא מציג שכבה חינמית |
הערה אחת לפני שבונים על Promptfoo לטווח ארוך: החברה הודיעה שהיא מצטרפת ל-OpenAI. זה לא פוסל אותה, במיוחד כשהיא רצה מקומית, אבל זה שיקול יציבות. ואת OpenAI Evals אני לא מתאר כחינמית, כי היא חלק מפלטפורמת ה-API ועולה כמו קריאות המודל שמתחתיה. אם אתם ממילא בונים תקציב לסטאק ה-AI, שורת ה-eval היא ההוצאה הכי זולה בו.
הזווית המשפטית שהופכת תיעוד לנכס
אם אתם מפרסמים תוכן שמכוון גם לקהל באירופה, יש כאן משהו ששווה כסף. סעיף 50 לחוק ה-AI האירופי חל מ-2 באוגוסט 2026, עם תקופת חסד מוגבלת עד 2 בדצמבר 2026 לחובות סימון על מערכות שכבר בשוק. החובה לסמן טקסט שנוצר על ידי AI מוגבלת לטקסט שמתפרסם במטרה ליידע את הציבור בעניינים בעלי עניין ציבורי, למשל פוליטיקה, זכויות יסוד, בריאות ובטיחות צרכנים. זו לא חובה גורפת על כל קופי שיווקי, ואל תיתנו לאף אחד למכור לכם את זה ככה.
החלק שנושא את המשקל הוא החריג: החובה לא חלה כשהתוכן עבר ביקורת אנושית או בקרה עריכתית. הנציבות מגדירה ביקורת אנושית כבחינה מכוונת של מהות התוכן על ידי אדם בעל ידע רלוונטי, ובקרה עריכתית כסמכות לאשר, לשנות או לדחות את מהות הטקסט מטעמים מהותיים. בדיקת איות לא נחשבת. כלומר תהליך ביקורת מתועד הופך לעמדה משפטית. אם אתם ממילא בונים מסגרת ממשל לסוכני AI שיווקיים, זה הסעיף שנותן לה החזר מיידי.
שאלות נפוצות
אני צוות של שני אנשים בלי מפתח. אפשר בכלל להריץ eval?
כן, ובלי לכתוב שורת קוד ביום הראשון. הגרסה המינימלית היא גיליון עם עמודה לבריף, עמודה לפלט המאושר, ועמודה לכל בדיקה מכנית שאתם ממילא עושים בעיניים: אורך כותרת, אורך תיאור מטא, מילת הייפ אסורה, שורת גילוי נאות. ברגע שהבדיקות כתובות כשאלות של כן או לא, אפשר להפוך אותן לנוסחאות תוך שעה, ורק אחר כך, אם בכלל, להעביר אותן ל-Promptfoo או ל-Langfuse. הקושי כאן לא היה טכני, אלא להסכים מראש מה נחשב פלט תקין.
מותר להשתמש ב-ChatGPT כדי לשפוט טיוטות שנכתבו ב-ChatGPT?
עדיף שלא, וזה לא עניין של טעם. Zheng ואחרים מצאו ש-GPT-4 נותן לתשובות של עצמו שיעור ניצחון גבוה בכ-10% ממה שבני אדם נותנים להן ו-Claude-v1 בכ-25%, והעבודה של Panickssery ואחרים מ-NeurIPS 2024 מראה שעוצמת ההעדפה העצמית מתואמת ליניארית ליכולת של המודל לזהות את הכתיבה שלו. הפתרון הזול: משפחת מודלים אחת לכתיבה ואחרת לשיפוט, ואם התקציב מאפשר, שלושה שופטים ורוב, בדיוק כמו ב-FACTS Grounding.
מה ההבדל בין eval יכולת ל-eval רגרסיה?
eval יכולת שואל האם המערכת מסוגלת לבצע משהו בכלל, ולכן טבעי שייכשל הרבה בהתחלה ויעלה בהדרגה. eval רגרסיה שואל האם היא עדיין מבצעת את מה שכבר ידעה, ולכן לפי Anthropic הוא צריך לשבת בשיעור מעבר קרוב ל-100%. משימה שעוברת בעקביות ב-eval היכולת עוברת הסבה לסט הרגרסיה ורצה שם לפני כל שינוי פרומפט ולפני כל שדרוג מודל. זה הסט שיתפוס אתכם כשהמודל שמתחתיכם משתנה.
אם אני מריץ eval, אפשר להפסיק לבדוק עובדות ידנית?
לא, ובמיוחד לא לפי הנתונים. ב-FACTS Benchmark Suite של Google מדצמבר 2025 כל המודלים שנבדקו הגיעו לדיוק כולל מתחת ל-70%, וב-AA-Omniscience רק שלושה מודלים קיבלו ציון חיובי במדד שמתגמל הודאה באי-ידיעה. מה שה-eval עושה זה להעביר את הבדיקה האנושית מקריאת כל טיוטה, לבדיקת המקרים שהמערכת סימנה. וכפי שראינו בסעיף 50, ברגע שהביקורת הזו מתועדת ומהותית, היא גם מייצרת עמדה רגולטורית.
הצעד הבא
אל תבנו מערכת. תבנו גיליון אחד, היום, ותקציבו לו שעה.
20 בריפים אמיתיים בגיליון
בריפים שכבר רצו אצלכם, עם הפלט שאישרתם. אל תמציאו מקרים. ואם יש לכם רשימת תקלות מהחודשים האחרונים, שם בדיוק הפרומפט נשבר.
בדיקות מכניות כשאלות כן או לא
אורך כותרת ותיאור מטא, מילים אסורות, שורת גילוי נאות, קישורים שמחזירים 200. ניקוד בקוד, לא מודל שופט. זה החלק הזול, וגם זה שיתפוס הכי הרבה תקלות בשבוע הראשון.
שופט אחד לקול המותג, וסט רגרסיה קטן
רובריקה אחת, ממד אחד בכל פעם, והשופט מנמק לפני שהוא מנקד. במקביל תסמנו חמישה עד עשרה מקרים שחייבים לעבור תמיד, ותריצו אותם לפני כל שינוי. אני לא מעלה שינוי לאוויר בלי שהסט הזה נקי.
וכשתסגרו את הרף, תזכרו את החשבון: 20 עד 50 מקרים יגידו לכם אם השתפרתם בהרבה, לא אם השתפרתם בשתי נקודות. זה מספיק בהתחלה, וזה הרבה יותר טוב מ"נשמע בסדר".
5 עדכונים שחשוב לדעת + ניתוח אחד. אימייל אחד בשבוע, בלי ספאם.