X
  • שנהיה בקשר?
    כל שאלה או בקשה תתקבל בברכה

    שדות המסומנים ב * הינם שדות חובה

  • This field is for validation purposes and should be left unchanged.

Always be Testing – איך עושים את זה נכון?

התראות ישירות לתיבת המייל שלך
על כל מה שחדש בעולם הדיגיטל?
  • This field is for validation purposes and should be left unchanged.

ברוב מערכות המדיה הפרוגרמטיות אפשר לכאורה “להשאיר את זה למכונה” בכל הנוגע לאופטימיזציה של מסרים וה – Best Practice של גוגל/פייסבוק/אאוטבריין/אחרים מדגיש שיש להעלות מספר מסרים שונים לכל קהל ולאפשר למערכת להגיש יותר את מה שעובד יותר טוב. בהקשר הזה אין ספק שתפקידו של מנהל קמפיינים השתנה מאוד בעשור האחרון.

אם פעם, היה זה מנהל הקמפיינים שמקצה את היקף החשיפה הרצוי לכל מסר ומבלה את עיקר זמנו בהפעלה, כיבוי והקצאת תקציב בין כלים/מסרים שונים… הרי שהיום הוא יותר מכל האדריכל של הקמפיין ועליו להבין היטב את יכולות האוטומציה של מערכות המדיה וכיצד לספק להן תנאים אופטימאליים ללמידה ואופטימיזציה במדדים שנבחרו.

אבל זה רק חלק מהסיפור. אנחנו לא נתיימר להחליף את יכולות האוטומציה של מערכות הפרסום (בבסיסן גם יכולות זיהוי של מיקרו סיגנלים שאינם נגישים לנו, שינויים ותגובה אליהם בזמן אמת ועוד…), אבל בהחלט נרצה ללמוד מהתהליכים לטובת קמפיינים עתידיים באותם כלים ואפילו בפנייה לאותם קהלים בערוצים רחבים יותר. אז כיצד נוודא שאנחנו לומדים, מחכימים ומשתפרים (ולא רק מאפשרים אופטימיזציה בזמן אמת)?

לפניכם 4 שלבים שיבטיחו A/B Testing מוצלח

1.הגדרת מטרות

לפני הכל, נסו לענות בצורה המדויקת והחדה ביותר על השאלה “מה המדד העיקרי שנרצה לשפר והאם הוא במעגלי ההשפעה הישירים של הרכיב בו מבצעים ניסוי? לפניכם כמה דוגמאות למטריקות חשובות שניתן לבחון:

>> טסטינג על קריאייטיב בפלטפורמות PUSH (סושיאל, דיספלי וכו’)

  • מטרה עיקרית: שיפור אחוז ההקלקה וההמרה, להוציא את המקסימום מקהל המטרה וכל חשיפה שקונים.
  • מדד עיקרי לשיפור: I2C: היחס בין החשיפה להמרה הוא המדד האופטימאלי, כי מגלם גם את אחוז ההקלקה (מחשיפה לקליק) וגם את אחוז ההמרה (מקליק לליד)
  • טעויות נפוצות:
    • בדיקת אחוז ההקלקה בלבד – מסר מטעה עלול להשמע יותר אטרקטיבי מהמציאות ולהביא הרבה הקלקות לא רלוונטיות
    • בדיקת עלות לליד – כביכול מדד שמגלם את כל המשפך עד שלב הליד, אבל לקריאייטיב אין בשפעה ישירה על העלות לחשיפה ועלולה להיווצר של הטיה
    • איכות הלידים – המשך הפאנל, אחרי השארת ליד, אינו במעגלי ההשפעה הישירים של הקריאייטיב

>> טסטינג על הפנייה לפורמט Lead Generation בפלטפורמות הפרסום – לעומת עמוד נחיתה עם מידע עשיר וטופס לידים

  • מטרה עיקרית: שיפור אחוזי ההמרה לליד איכותי ורלוונטי
  • מדד עיקרי לשיפור: אחוז ההמרה מקליק לליד איכותי (לפי הגדרתו של ליד איכותי בכל מותג)
  • טעויות נפוצות: הסתכלות על אחוזי המרה לליד (לעומת ליד איכותי) לעיתים תייצר הטיה, שכן בפורמט Lead Generation של פלטפורמות הפרסום יהיה כמעט תמיד אחוז המרה גבוה יותר. חשוב לבחון גם את האיכות, אלו לרוב לידים ברמת בשלות נמוכה יותר (מאלו שהגיעו לעמוד נחיתה, צרכו תוכן ורק אח”כ פנו למפרסם)טסטינג על

>> קריאייטיב להורדת אפליקציה שמוגש ב – Push בערוצי המדיה השונים

  • מטרה עיקרית: שיפור אחוז ההקלקה, ההורדה וההרשמה הראשונית לתחילת תהליך
  • מדד עיקרי לשיפור: I2C: כאשר מתוכנן ווליום גבוה – כדאי להסתכל על הפעולה הראשונית בתוך האפליקציה (אחרי הורדה) ולהגדירה כהמרה. בווליום נמוך ניתן להתייחס להורדת אפליקציה כהמרה.
  • טעויות נפוצות:
    •   הסתכלות על מדדים עמוקים מידי שלא יהיו זמינים מספיק ולא תהיה בהם הכמות הדרושה לניסוי מייצג סטטיסטית.
    • שימוש במדדים כמו אחוז המרה מקליק להורדה/פעולה, כאשר אחוז ההקלקה (היחס בין חשיפה לקליק) אינו חלק מהמשפך למרות שהוא הכי מושפע מהקריאייטיב.

2.תכנון

נסו לייצר היררכיה של הנושאים שאתם רוצים לבדוק במסגרת תהליך טסטינג ותכננו בהתאם, כך לדוגמא אפשר להתחיל מבדיקה של מסרים שונים (עם מחיר VS בלי מחיר, דגש הצעת ערך א’ VS דגש הצעת ערך ב’, דגש על הצורך/הבעיה VS דגש על הפיתרון/מענה שמציעים, מבצע 50% VS מבצע 1+1 וכיו”ב) ולהמשיך בבדיקת גרסאות קופי / קראפט שונות על המסר המנצח

3.למידה

בשביל לייצר למידה רחבה חשוב שהשוני בין הכלים השונים בכל טסט יהיה שוני שניתן לבודד ולענות לא רק על שאלת ה“מה עבד הכי טוב” אלא גם על שאלת ה“למה”. כך תוכלו להפיק מכל טסט גם מסקנות שישרתו אתכם בקמפיינים עתידיים ולחסוך מראש בזמן, אנרגיה ומשאבים להפקת תוצרים שאינם אופטימאליים

4.ביצוע הניסוי

וודאו שמבנה הקמפיינים (היררכיה) מאפשרים ניסוי אפקטיבי, בו נבדקות גרסאות שונות מול אותו קהל, באותו פרק זמן וניתן לנתח את הביצועים במלואם. בהקשר הזה כדאי גם לשים לב לכל הפאנל השיווקי, כלומר שגולשים שפוגשים מודעה עם מסר א’ ומופנים לעמוד נחיתה, פוגשים גם בהמשך המסע מסרים רלוונטיים לגרסה שראו.

מובהקות סטטיסטית

הטעות הנפוצה ביותר נובעת מתכנון שגוי במסגרתו לא נלקח בחשבון הצורך לייצר מובהקות סטטיסטית ובהמשך קבלת החלטות והישענות על נתונים שאינם מובהקים. מהותי לתת את הדעת על הנושא כבר בשלבי התכנון כי אם ברור לנו שאנחנו רוצים לקבל תוצאות תוך 10 ימים, נוכל לגזור מכאן גם מה נפח התנועה וההמרות הדרושים בשביל ניסוי שתוצאותיו מובהקות. מהי מובהקות? כתבה מעולה עם הסבר פשוט (גם) למי שלא הצטיין בקורסי סטטיסטיקה – תוכלו למצוא כאן.

מה שחשוב לקחת בחשבון בשלב התכנון הוא כמות ההמרות הצפויה, אבל לא רק – מובהקות ואמינות הניסוי יושפעו משני גורמים חשובים נוספים:

  1. ציר הזמן – כאשר יש יותר טראפיק בזמן קצר = פחות גורמים משפיעים עלולים להטות את התוצאות
  2. הבדלים בין הגרסאות – עד כמה הם מהותיים ומייצרים שוני בתוצאות? ככל שהתוצאות דומות יותר וההבדל בין הגרסאות מינורי – כך קשה יותר יהיה להגיע למובהקות

יישום המסקנות

זה כנראה החלק הכי מורכב בכל הסיפור. אבל רגע לפני יישום המסקנות, סיפור קצר על הסקתן…

ניסינו להבין, בקמפיין חיפוש של מפרסם גדול, מה יעבוד טוב יותר, מודעה שמדגישה את המחיר האטרקטיבי או עושה שימוש בסופרלטיבים כלליים סביב סוגיית המחיר (“במחיר משתלם”, “במחיר מנצח”, “מחירים שלא הכרתם”…). במסגרת הניסוי הגשנו מספר מודעות משני הסוגים בקמפייני החיפוש ובשלב הראשון המסקנה הייתה ש – I2C (יחס חשיפה/המרה) במודעות ללא מחיר מוצלח יותר. חשדנו, כי המחיר היה באמת תחרותי, מה שגרם לנו להעמיק את הבדיקה ולבחון האם יש שוני בביצועים בקהלים השונים. זיהינו שבקהל חוזר (לקוחות קיימים / בקרו באתר לאחרונה) המודעות שציינו מחיר היו בנחיתות, אך בקהל החדש להיפך.

אם לא היינו ביקורתיים כלפי התוצאות – היינו מסיקים שיש לשנות את כל המודעות למודעות שמציינות מחיר. אז הנקודה החשובה ביותר בהסקת מסקנות היא חשיבה ביקורתית והנה כמה היבטים שכדאי שינחו אתכם:

  1. קהל – האם אותו קהל בדיוק, ללא שוני בתמהיל חדש/חוזר, זכר/נקבה, צעיר/מבוגר (וכדומה) קיבל את הגרסאות השונות?
  2. עיתוי – האם כל הכלים עלו ורצו באותו עיתוי, כך שמשתנים חיצוניים לא יוכלו להשפיע על התוצאות?
  3. צפי – האם המציאות כפי שהתקיימה במהלך הניסוי, תואמת את המציאות הצפויה בעתיד הנראה לעין והגיוני להסיק מתוצאות הניסוי לגבי פעילות עתידית?
  4. גורמים משפיעים – אילו גורמים השפיעו על ההבדלים בתוצאות? נסו לבודד את האלמנט השונה בין הגרסאות ולהסיק לפיו לגבי המוטיבציות/חסמים של קהל המטרה

אחרי כל אלו, נסו לחשוב מהו האופן הנרחב ביותר בו ניתן ליישם את מסקנות הניסוי, אם נחזור לדוגמת המודעות בחיפוש עם/בלי מחיר: הסקנו שקהל חדש מעדיף מחיר ברור ואילו בקהלים החוזרים יש יותר זיקה למותג ולסופרלטיבים “עמומים”, כיצד ניתן ליישם את החשיבה הזו בפלטפורמות פרסום או נכסים נוספים? ניתן לשפר באותו האופן את עבודת המסרים גם בפעילות בערוצי המדיה האחרים, רק רצוי לבצע בדיקה נוספת אם מדובר בערוצים שההתנהגות בהם שונה במהותה, כמו במקרה של פייסבוק לעומת חיפוש וכו’.

לגבי נכסי המותג, כמו האתר הראשי שהוא גם ערוץ המכר העיקרי, בהקשרים אחרים ניתן היה ליישם גם כאן התאמת מסרים לפי קהלים או שינוי גורף בהתאם למסקנות. במקרה הזה ברור שציפייתו של לקוח שכבר הגיע לאתר היא לראות את מחיר המוצרים המלא והסופי (בשונה ממה שאולי הניע אותו ללחוץ על מודעה).

כלי מחקר נוספים

עד כאן לגבי השוואה בין שתיים או יותר גרסאות שיצרנו, במטרה לחשוף אותן לתנועת גולשים אמיתית ולהסיק מסקנות לפי התנהגותם בפועל. אבל מה עושים כשזה לא אפשרי? מה עושים כשהסקת המסקנות מהותית לפני עליה לאויר של קמפיין גדול ולא ניתן לבצע ניסוי מקדים בקהל אמיתי?

Eye tracking לתוצרים פרסומיים – את התוצר/ים ניתן להציג לקבוצת ביקורת לפני עליה לאויר, תוך שימוש במכשיר Eye tracking ולבחון את התנהגותם. האם העימוד של הטקסט תואם את היררכיית המסרים ותשומת הלב שלהם במקום הנכון? האם יש ויזואליזציה ברורה שמבליטה את החלקים הרצויים? האם מרכיב הקריאה ארך זמן שונה בתוצרים שונים וניתן להסיק שאת מה שהצליחו לקלוט בתוצר א’ בשלוש שניות, הלך לאיבוד בתוצר ב’?

Eye tracking לנכס שאליו מפנים גולשים – רצוי לבחון את עמוד הנחיתה עם מסרים מובילים שונים ולבדוק גם האם התהליך בו ידידותי ומספק חוויה אופטימאלית לגולש.

לסיכום – עבודת Testing שונה במהותה מעבודת אופטימיזציה שוטפת, בעוד שאופטימיזציה היא לרוב פעולה של להרחיב/לצמצם/להסיט/להחליף, לניסוי אמור להיות תכנון שמבוסס על היפותזות שנרצה לבדוק, מטרות ברורות, מדד עיקרי לאורו נסיק מסקנות וערך ברור ליישום נרחב בפעילות השיווקית. עשיתם? ניסיתם? מרוצים? כעת הדבר החשוב ביותר שכדאי שינחה כל תכנון עתידי הוא גישת ה – Always be testing.