נשאלים סינתטיים: מה המחקר באמת מראה על פרסונות AI בשיווק
קיבלתי בחודשיים האחרונים ארבע פניות כמעט זהות. מנהל שיווק שמע על כלי שמריץ קבוצת מיקוד תוך שעה במקום שלושה שבועות, בעשירית מהמחיר, ורוצה לדעת אם זה עובד. התשובה הקצרה היא שזה תלוי לגמרי במה אתם מתכננים לעשות עם התוצאה, והתשובה הארוכה שווה את עשר הדקות הבאות.
אז בואו נתחיל מהמספר שהייתי רוצה שתיקחו מכאן גם אם תפסיקו לקרוא בפסקה הבאה. בבנצ'מרק בין-תחומי שפורסם ב-28 ביולי 2026, חוקרים מ-Stevens Institute of Technology ומאוניברסיטת מסצ'וסטס בוסטון בדקו ארבעה מודלים על שני מאגרי סקרים ענקיים. כשהשתמשו בנשאלים סינתטיים כדי להחליט על איזה סגמנט למקד, ההמלצה הצביעה על הסגמנט השגוי ב-50% עד 72% מהמקרים. הפערים בין הסגמנטים נופחו פי שניים עד פי ארבעה, ובעד 41% מהתרחישים המודל המציא פילוח דמוגרפי שפשוט לא קיים בנתונים האמיתיים.
זה לא מספר על איכות תיאורטית. זו החלטת תקציב.
קודם כול, שני דברים שונים לגמרי שקוראים להם אותו דבר
השוק מערבב בין שתי טכנולוגיות שאין ביניהן כמעט קשר, וזה הבלבול שגורם לרוב הטעויות. שווה לכם להפריד ביניהן לפני כל שיחת מכירה.
נתונים סינתטיים הם הגברה סטטיסטית. לוקחים מדגם אנושי אמיתי, ומייצרים ממנו תצפיות נוספות שמרחיבות סגמנט קטן. נשאלים סינתטיים הם משהו אחר לגמרי: מודל שפה שמתבקש לגלם לקוח ולענות כאילו הוא הוא. הראשון נשען על אנשים אמיתיים שענו על שאלון. השני נשען על מה שהמודל קרא באינטרנט.
ההבדל הזה מתורגם ישירות לראיות. חברת Fairgen הישראלית הציגה בכנס ESOMAR בספטמבר 2024, יחד עם מכון IFOP הצרפתי, למעלה מ-7,000 בדיקות מקבילות על 40 מערכי נתונים של Pew. הם הגיעו לגודל מדגם אפקטיבי ממוצע של 2.855, כלומר שווה ערך לפי 2.5 עד 3.5 נתונים אמיתיים נוספים. אבל שימו לב לתנאים שהם עצמם מציבים: מינימום 300 נשאלים אנושיים אמיתיים בבסיס, והסגמנט שמגבירים חייב להיות פחות מ-15% מהשדה. הם כותבים במפורש שהשיטה אינה יכולה להכפיל שדות שלמים יש מאין.
זו גישה שמרנית ומוגבלת, והיא עובדת. רוב מה שמוכרים לכם תחת הכותרת "קבוצת מיקוד AI" הוא הדבר השני.
ה-85% שכולם מצטטים, ומה הוא באמת אומר
המחקר שמופיע כמעט בכל מצגת מכירות בתחום הוא עבודה של צוות מסטנפורד מנובמבר 2024. החוקרים ראיינו 1,052 אמריקאים אמיתיים, כשעתיים כל אחד, ובנו מכל ריאיון שאמור לחשוב כמו אותו אדם. אחר כך בדקו כמה טוב הסוכן מנבא את תשובות האדם שהוא מייצג.
הכותרת שמצטטים היא 85%. הנה מה שהמספר הזה באמת אומר, ואני מבקש שתקראו את זה פעמיים.
הדיוק הגולמי של הסוכנים בשאלון החברתי היה 65.67%. שני שלישים. הסיבה שזה הופך ל-85% היא שהחוקרים חילקו את התוצאה בעקביות של בני האדם עם עצמם: כשחזרו לאותם משתתפים כעבור שבועיים ושאלו אותם שוב, הם ענו אותו דבר רק ב-79.53% מהמקרים. היחס בין שני המספרים הוא 0.83, ובניסוח התקציר 85%. זה יחס, לא דיוק. הסוכן צודק בשני שלישים מהמקרים, וזה נחשב הישג רק משום שגם בני אדם לא עקביים במיוחד.
שני דברים נוספים שלא מגיעים למצגות. ראשית, המאמר עדיין preprint שלא עבר שיפוט עמיתים, כמעט שנתיים אחרי ההעלאה. שנית, סוכן שקיבל רק תיאור דמוגרפי יבש, בלי שום ריאיון, הגיע ל-0.74 באותה מדידה. כל הרווח מריאיון בן שעתיים הוא כתשע נקודות מנורמלות מעל טבלת דמוגרפיה פשוטה.
ובמשחקים הכלכליים, כלומר במצבים שבהם יש כסף אמיתי על הכף, ניתוח השונות לא מצא שום הבדל מובהק בין כל סוגי הסוכנים לקו הבסיס. הריאיון לא עזר בכלל.
איפה המערכת נשברת
אם הייתי צריך לסכם את כל ספרות הכשל במשפט אחד, הייתי אומר שהמודלים טובים בממוצע וגרועים בשונות. וכמעט כל הערך של מחקר קהל נמצא בשונות.
| מה נבדק | הממצא | המקור |
|---|---|---|
| יציבות מקדמי רגרסיה | 48% מהמקדמים שונים מובהקית מהנתון האמיתי, ומתוכם הסימן מתהפך ב-32% | Political Analysis, 05.2024 |
| דיוק ברמת הפרט | כל המודלים היו 11 עד 22 נקודות אחוז מתחת לטבלת חיפוש דמוגרפית פשוטה | arXiv, 07.2026 |
| משקל הדמוגרפיה | נטייה פוליטית הסבירה כ-1.5% מהשונות האמיתית, המודל ייחס לה עד כ-67% | arXiv, 07.2026 |
| הטיית מיקום | נטייה שיטתית לתשובה המסומנת A. בערבוב סדר התשובות המודלים מתכנסים לאקראיות | NeurIPS 2024 |
| שכפול מחקרים קלאסיים | 3 הצלחות מתוך 14 ניסיונות, 21% | סקירת MeasuringU, 04.2026 |
| יציבות לאורך זמן | אותו prompt בדיוק הניב תוצאות שונות מהותית בהפרש שלושה חודשים | Political Analysis, 05.2024 |
שתי נקודות שכדאי להתעכב עליהן. מחקר שהוצג כהרצאה נבחרת ב-NeurIPS 2024 בדק 43 מודלים שונים ומצא שכשמערבבים את סדר התשובות בשאלון, המודלים מתכנסים לתשובות אקראיות ללא תלות בגודלם. כלומר חלק ניכר ממה שנראה כמו "דעה" הוא ארטיפקט של סדר התשובות בשאלון שלכם.
והשנייה קשה יותר. מחקר CoMPosT שהוצג ב-EMNLP 2023 מדד "קריקטורה", כלומר עד כמה הסימולציה מנפחת את המאפיינים המזהים של הפרסונה. הקבוצות הרגישות ביותר לקריקטורה היו דווקא קבוצות מיעוט. במקביל, עבודה שהוצגה בסדנת CHI 2024 מצאה שבכל ארבעת המודלים שנבדקו, בכל השאלות, ובארבעה מדדי גיוון שונים, התשובות שנוצרו לכל קבוצת זהות היו שטוחות יותר מאלו של בני אדם אמיתיים. המודל לא נותן לכם קהל. הוא נותן לכם את הממוצע של הקהל, לבוש כאדם.
בדיקת קונספטים ופרסום, מה הראיות באמת מכסות
כאן יש חדשות טובות יותר, בתנאי שקוראים את האותיות הקטנות. מחקר של PyMC Labs יחד עם Colgate-Palmolive בדק 57 סקרי קונספט של מוצרי טיפוח מול 9,300 נשאלים אנושיים, ודיווח על 90% עד 92% השגת מתאם מול תקרת המהימנות האנושית.
הסייג הוא כל הסיפור. המתאם הזה הוא בין הממוצעים של 57 קונספטים, ברמה המצרפית, ולא ברמת הנשאל. כלומר המודל מדרג בסבירות טובה איזה קונספט יקבל ציון גבוה יותר בממוצע, והוא לא יודע לומר לכם מי בקהל יאהב מה. זה גם preprint של ספק עם הלקוח שלו, והמחברים עצמם מציינים שמגדר, אזור ומוצא אתני לא שוחזרו באופן עקבי, ושהעוגנים כווננו ידנית בדיוק עבור 57 הסקרים האלה.
מה שלא מצאתי, אחרי חיפוש רציני, הוא ולו מחקר שפיט בלתי תלוי אחד שמראה שמודל שפה מנבא אפקטיביות של קריאייטיב פרסומי מול פאנל אנושי. לא זכירות, לא שינוי עמדה, לא מכירות. אם ספק מציג לכם טענה כזו, בקשו את המחקר.
מה התעשייה עצמה אומרת
ה-Market Research Society הבריטי פרסם ב-2024 דוח Delphi ייעודי בנושא, בראשות קולין סטרונג מ-Ipsos. המשפט שהכי נתקע לי ממנו: מודלי שפה טובים במיצוע, ולכן מספקים מעט הפתעות ומשטחים תוצאות למידע גנרי. הדוח מסמן במפורש הקשרים שבהם סינתטי לא מתאים, וביניהם כל מצב שבו ייצוג של זהויות אנושיות הוא קריטי.
מעניין עוד יותר מה שאומרים הספקים בעצמם. כשחברת YouGov השיקה ביולי 2026 מוצר שמשלב תאומי AI עם תיקוף מול צרכנים אמיתיים, המנכ"ל אמר שפלטים סינתטיים אינם יכולים לעקוב באופן אמין אחר שינויים בדעת הקהל, ולא ניתן לייחס להם טווח טעות. זו הודאה משמעותית מצד גורם שמוכר את הטכנולוגיה.
בצד השני של הסקאלה, Qualtrics מפרסמת שהמודל שלה מדויק פי 12 ממודלי שפה כלליים. זו טענה של הספק על עצמו, בלי מתודולוגיה פומבית, בלי גדלי מדגם, וביחס לבסיס שלא פורסם. פי 12 ממה, בדיוק, היא שאלה שאין לה תשובה ציבורית.
ובאשר לתיקוף מול העולם האמיתי: המקרה הציבורי הגדול היחיד שאיתרתי הוא כישלון. חברת Aaru ניבאה בבחירות 2024 בארה"ב ניצחון של קמלה האריס ביחס 53 מול 47. טראמפ ניצח. אם אתם שוקלים לבנות תחזית ביקוש על אותה משפחת שיטות, שווה לזכור את זה.
השימוש הצר שכן מחזיק מים
עכשיו החלק המעשי, כי לא באתי לכאן רק להגיד לא. יש שימושים שהראיות כן תומכות בהם, והם כולם חולקים תכונה אחת: המודל עובד על מחקר, לא במקום מחקר.
ניסוח מדריך ראיון ושאלון
זה השימוש הכי בטוח שיש, ואני עושה אותו בעצמי לפני כל שדה. תנו למודל את מטרת המחקר ובקשו ממנו לנסח עשרים שאלות פתוחות, ואז לסמן אילו מהן מובילות או דו משמעיות. הוא טוב בזה כי זו משימת שפה, לא משימת ניבוי.
בדיקה מקדימה של ניסוח
לפני ששולחים שאלון ל-800 איש, הריצו אותו על המודל בחמישה ניסוחים שונים. אם התשובות קופצות בין ניסוחים, יש לכם בעיית שאלון, לא תובנה. זה בדיוק אותו כשל שהמחקר מתעד, רק שהפעם הוא עובד לטובתכם.
סינתזה של איכותני שכבר אספתם
יש לכם ארבעים תמלילי שיחות מכירה או שירות? זה מאגר של בני אדם אמיתיים, והמודל מצוין בלמצוא בו תבניות. הוא לא ממציא כאן כלום, הוא קורא. אם עוד לא עשיתם את זה, זה הפרויקט הכי משתלם בכל הרשימה.
ייצור השערות לפני השדה
בקשו עשרים השערות על למה נטישת העגלה עלתה, ואז צאו לבדוק אותן על אנשים. זו בדיוק העמדה של מחברי מחקר הדגימה הסינתטית המקורי: כלי לשימוש לפני נתוני אדם, לא במקומם.
הגברת סגמנט קטן מזרע אמיתי
זה כבר תחום של ספק מקצועי, לא של . Ipsos דיווחה שמערך של 50 נשאלים אנושיים ועוד 150 מוגברים הוביל לאותה החלטה עסקית כמו 200 אנושיים. שימו לב שגם שם התנאי היה הפרשים משמעותיים בין המוצרים.
מה שמשותף לכל החמישה: בשום שלב לא הצגתם פלט של מודל כאילו הוא דעה של בן אדם. זה הקו, והוא גם קו רגולטורי. ה-FTC האמריקאי אסר באוגוסט 2024 על ביקורות שמציגות מצג שווא כאילו נכתבו על ידי מישהו שאינו קיים, וקוד האתיקה של Insights Association מחייב מאפריל 2025 לגלות את השימוש ב-AI, את סוג המודל ואת מדדי הדיוק. אם אתם בונים מסגרת ממשל לסוכני AI בארגון, זה סעיף שחייב להיכנס אליה.
הזווית הישראלית, ולמה היא גרועה במיוחד
כל מה שכתבתי עד כאן נמדד על קהל אמריקאי. בישראל המצב פחות טוב, משלוש סיבות שמצטברות.
הראשונה היא כמות. בגרסה האחרונה של Common Crawl, מאגר הטקסט שעליו מאומנים המודלים הגדולים, אנגלית מהווה 40.4526% מהתוכן והעברית מהווה 0.2666%, במקום ה-58. על כל מילה בעברית שהמודל ראה, הוא ראה בערך 152 מילים באנגלית.
השנייה היא תרבות. מחקר שבדק חמישה מודלי GPT מול סקרי הערכים העולמיים ב-107 מדינות מצא שכל המודלים מפגינים ערכים הדומים למדינות דוברות אנגלית ופרוטסטנטיות אירופיות. GPT-4o היה קרוב ביותר לפינלנד, אנדורה והולנד, ורחוק ביותר מירדן, לוב וגאנה. ישראל לא יושבת באשכול הצפון מערבי הזה. אפשר לבקש מהמודל "תענה כמו ישראלי", וזה עוזר בחלק מהמקרים, אבל באותו מחקר ההנחיה התרבותית נכשלה או אפילו החמירה את היישור ב-19% עד 29% מהמדינות. אין לכם דרך לדעת מראש לאיזה צד נפלתם.
השלישית היא הקשה מכולן. תמהיל הקהל בישראל בנוי כמעט כולו מקבוצות שהמודלים מטפלים בהן הכי גרוע: חרדים, ערבים ישראלים, עולי בריה"מ לשעבר, קהל פריפריה. אלו בדיוק הסגמנטים שמחקר הקריקטורה סימן כרגישים ביותר לעיוות, וזו בדיוק הנקודה שבה הבנצ'מרק מצא מיקוד שגוי ב-50% עד 72%. קבוצה קטנה, לא מערבית, דוברת שפה דלת משאבים, היא התרחיש הגרוע ביותר שהספרות מתארת, ובישראל זה לא מקרה קצה אלא ברירת המחדל.
נקודה רביעית שקשורה לפרטיות ולא לדיוק. אנשים אומרים לי שנשאלים סינתטיים פותרים את בעיית הפרטיות. זה נכון רק אם המודל לא ראה את הלקוחות שלכם. ברגע שאתם בונים תאום דיגיטלי מתוך ה-CRM, אתם מעבדים מידע אישי לכל דבר, על כל מה שנגזר מכך תחת תיקון 13 לחוק הגנת הפרטיות.
ויש כאן פרדוקס קטן שאני אוהב. דווקא Fairgen הישראלית היא זו שמציבה את הגבול הכי ברור בשוק, כשהיא דורשת מינימום 300 נשאלים אנושיים אמיתיים ומגבילה את עצמה לסגמנטים קטנים. הספק המקומי הוא זה שאומר מה הכלי לא יודע לעשות.
שאלות נפוצות
אפשר להשתמש בזה כדי לחסוך תקציב מחקר?
אפשר לחסוך בשלבים שלפני השדה ואחריו, לא בשדה עצמו. ניסוח שאלון, סינון השערות וסינתזה של חומר איכותני שכבר אספתם הם חיסכון אמיתי בשעות עבודה. החלפה של פאנל אנושי בפרסונות היא לא חיסכון אלא העברת סיכון לשלב ההחלטה, שם הוא יקר בהרבה. בבנצ'מרק של 2026 עלות הטעות התבטאה בהפניית מיקוד לסגמנט הלא נכון ברוב המקרים, וסגמנט שגוי בקמפיין עולה הרבה יותר ממה שחסכתם.
מה ההבדל בין זה לבין ניתוח נתוני לקוחות קיימים ב-AI?
זה ההבדל בין לקרוא לבין להמציא. כשאתם מעלים תמלילי שיחות או תוצאות סקר ומבקשים מהמודל למצוא תבניות, הוא עובד על נתונים של בני אדם אמיתיים והתפקיד שלו הוא לסכם. כשאתם מבקשים ממנו לגלם לקוח, הוא מייצר תשובה מתוך מה שנראה סביר סטטיסטית. הראשון הוא ניתוח נתונים ואפשר לסמוך עליו בזהירות סבירה, השני הוא ניחוש מנוסח היטב.
איך בודקים ספק שמוכר קבוצות מיקוד סינתטיות?
שלוש שאלות מספיקות. תבקשו מחקר תיקוף בלתי תלוי, לא מסמך שהם הפיקו בעצמם. תשאלו האם המוצר נשען על זרע אנושי אמיתי וכמה גדול הוא. ותבקשו לראות ביצועים בעברית ועל קהל ישראלי, לא ברמת הדגמה אלא ברמת נתון. עד היום לא נתקלתי במחקר בלתי תלוי אחד על ביצועי נשאלים סינתטיים בעברית, כך שסביר שתקבלו שתיקה. זה בעצמו מידע. אם אתם בונים תהליך בחירה מסודר לכלי AI, השאלות האלה נכנסות לשלב הסינון ולא לשלב ההטמעה.
יש מצב שבו ההמלצה שלי תהיה לא להשתמש בזה בכלל?
כן, ויש שלושה. מחקר על קהל מיעוט או קהל רגיש, כי שם עיוות הקריקטורה הכי חמור. בדיקה של מוצר או קטגוריה חדשים לגמרי, כי המודל לא יכול לדעת מה שלא נמצא בנתוני האימון שלו. וכל מצב שבו התוצאה תוצג ללקוח או לציבור כ"מה שהצרכנים אמרו". האחרון הוא לא שאלה מקצועית אלא שאלה של חשיפה משפטית.
איפה מתחילים
אם אתם שוקלים את הכלים האלה עכשיו, אל תתחילו מלהריץ פרסונה. תתחילו מהצד שכבר יש לכם ראיות שהוא עובד.
הצעד הראשון, היום, לוקח כשעה: קחו את עשרים שיחות המכירה או פניות השירות האחרונות שלכם, העלו את התמלילים למודל שאתם עובדים איתו, ובקשו שלושה דברים. אילו התנגדויות חוזרות על עצמן, באילו מילים בדיוק הלקוחות מתארים את הבעיה שהם באו לפתור, ומה נאמר בשיחות שלא מופיע באף מקום בעמוד הנחיתה שלכם. זה לא נשאל סינתטי. אלה בני אדם אמיתיים שכבר דיברו אתכם, והמודל רק קורא אותם מהר יותר ממה שאתם יכולים.
אחרי שתראו כמה זה חזק, תבינו גם למה הגרסה המומצאת חלשה כל כך בהשוואה. הפער בין השתיים הוא כל ההבדל בין תשתית נתונים אמיתית לבין ממוצע מנוסח יפה. ואם בסוף תבחרו בכל זאת להריץ פרסונות, לפחות תעשו את זה כשאתם יודעים בדיוק מה קניתם: כלי שמייצר השערות, ולא מקור שמייצר תשובות.
5 עדכונים שחשוב לדעת + ניתוח אחד. אימייל אחד בשבוע, בלי ספאם.