GenAI проти людської креативності в персоналізації: аналіз на основі А/Б-тестування в email-маркетингу

У заплутаному танці email-маркетингу, де персоналізація є ключем до захоплення уваги аудиторії, впровадження генеративного штучного інтелекту (GenAI) дало поштовх новій ері досліджень. Наш аналіз конкретного випадку глибоко проникає у зміст цієї еволюції, протиставляючи ШІ та людську креативність у сфері персоналізації листів. Наша головна мета — з'ясувати, чи може ШІ замінити людину, а також оцінити його корисність і ефективність у цій галузі.

Таке дослідження спрямоване не тільки на вимірювання ефективності, а й на розуміння нюансів взаємодії ШІ та людини при створенні персоналізованих email-кампаній. Приєднуйтесь до нас, щоб розібратися в цій захопливій взаємодії технологій і людської винахідливості, намагаючись зрозуміти, яку роль ШІ може зіграти в стратегіях персоналізованого email-маркетингу завтрашнього дня.

Ідея: персоналізація листів за допомогою GenAI

Концепція інтригує: дати цьому ШІ можливість автономно створювати персоналізовані листи. Спочатку ми зосередилися на сегментації, адаптуючи контент на основі демографічних характеристик, як-от вік, стать, місце розташування та досвід, але тепер ми вийшли за ці рамки. GenAI просунувся до комплексного створення текстів для цілих модулів листів, що стало значним кроком вперед на нашому шляху. У зв'язку з цим прогресом постає цікаве питання: чи зможе GenAI не тільки зрівнятися, а й перевершити зусилля людини у створенні ідеально сегментованих листів, пропонуючи комплексне рішення для персоналізації листів?

А/Б-тест: людина та GenAI

Ми провели п'ять тестів, порівнюючи ШІ-контент з текстами, написаними людиною, без внесення змін до текстів, створених штучним інтелектом. Ці тести охоплювали розсилки для реактивації неактивних користувачів з варіаціями, що ґрунтуються на OR розсилки, використанні продукту і геопозиції в США. Дуже важливо було побачити, наскільки добре GenAI адаптується до різних сегментів за допомогою плагіна для читання посилань у ChatGPT 4.

Результати: більш детальна статистика

Наші тести показали, що результати роботи GenAI і людини практично рівні. Давайте розберемо статистику наших тестів.

А/Б-тест:

Людський контент трохи перевершив ШІ за загальним показником CTOR і мав незначно нижчий відсоток відписок.

Як приклад можна порівняти різницю в надісланих листах, створених людиною і GenAI.

Новий акаунт — 9.11.2023

• людина і GenAI;
• загальна кількість контактів (доставлено): 41523 проти 41453;
• відкриваність (OR, open rate): трохи вище у ШІ — 10481 (25,24%) проти 10522 (25,38%);
• CTOR: вище у людини. 728 (6,95%) проти 579 (5,5%);
• показник відписок: незначно вищий у ШІ — 265 (2,53%) проти 297 (2,82%).

ШІ показав схожі результати за відкриваністю, але відставав за залученістю і мав дещо вищий відсоток відписок.

Щотижневий дайджест — 9.11.2023

• людина і GenAI;
• загальна кількість контактів (доставлено): 30620 проти 30202;
• OR: майже рівна, з невеликим відривом у ШІ — 7918 (25,86%) проти 7880 (26,09%);
• CTOR: вище у ШІ — 210 (2,65%) проти 313 (3,97%).

ШІ показав помітне поліпшення в залученні користувачів до кліків по контенту.

eBook з гейміфікації — 2.11.2023

• людина і GenAI;
• сегмент: неактивні юзери за 3 місяці;
• загальна кількість контактів (доставлено): 126710 проти 126813;
• OR: співставна — 16002 (12,63%) проти 16114 (12,71%);
• CTOR: практично однакова — 730 (4,56%) проти 722 (4,48%).

Під час повторного залучення неактивних користувачів показники ШІ та людини практично не відрізнялися.

Однак, оскільки остаточний результат все одно визначає людина, ми вивчили, як працюватиме зв'язка людини і ШІ, коли ШІ визначає напрямок, а людина вносить корективи.

А/Б/В-тест:

Найвищий показник CTOR був у ШІ окремо, за ним слідував комбінований підхід, потім людина проти ШІ, а потім людина окремо.

eBook’и і whitepaper’и — 30.11.2023

• людина і GenAI і людина+GenAI;
• сегмент: ніколи не відкривали наші листи;
• загальна кількість контактів (доставлено): 55641 проти 57372 проти 55659;
• OR: 1967 (3,54%) проти 1063 (1,85%) проти 954 (1,71%);
• CTOR: 23 (1,16%) проти 50 (4,97%) проти 48 (5,03%).

Детальний людський підхід був дуже важливий для тих, хто вперше відкриває сайт, хоча ШІ продемонстрував потенціал у приверненні уваги до контенту.

Щотижневий дайджест — 30.11.2023

• людина і GenAI і людина+GenAI;
• сегмент: ніколи не відкривали наші листи;
• загальна кількість контактів (доставлено): 22072 / 21567 / 21715;
• OR: 4591 (20,8%) проти 4458 (20,67%) проти 4542 (20,91%);
• CTOR: 182 (3,96%) проти 147 (3,3%) проти 139 (3,06%).

Під час залучення тих, хто вперше відкриває сайт, людська участь, як і раніше, має першорядне значення.

Бажаєте дізнатися, наскільки значущі ці результати? Ознайомтеся з калькулятором, який ми використовували.

На завершення

У цьому тесті GenAI показав обнадійливі результати. Але незважаючи на свою перемогу, при генерації контенту, GenAI неодноразово надавав неправильну або застарілу інформацію, плутав ідеї та основне послання листа. Відверто кажучи, нам доводилося просіювати 20-30 варіантів, щоб знайти ті кілька, які нам підходили. З цього можна зробити висновок, що на сьогодні участь людини у створенні контенту за допомогою GenAI є надзвичайно важливою.

Наш наступний крок — зрозуміти, як ми можемо покращити генерацію контенту за допомогою GenAI, щоб він одразу видавав нам актуальні тексти. Перше, що ми для цього зробимо — це збагатимо GenAI детальною інформацією про наш продукт та стиль нашого бренду (все це додається до custom instructions), щоб тексти були узгоджені з сайтом. Ми хочемо дослідити, чи можуть вони покращити результати GenAI?