GenAI против человеческой креативности в персонализации: анализ на основе А/Б-тестирования в email-маркетинге

В запутанном танце email-маркетинга, где персонализация является ключом к завоеванию внимания аудитории, внедрение генеративного искусственного интеллекта (GenAI) дало толчок новой эре исследований. Наш анализ конкретного случая глубоко проникает в суть этой эволюции, противопоставляя ИИ и человеческую креативность в области персонализации писем. Наша главная цель — выяснить, может ли ИИ заменить человека, а также оценить его полезность и эффективность в этой области.

Это исследование направлено не только на измерение эффективности, но и на понимание нюансов взаимодействия ИИ и человека при создании персонализированных email-кампаний. Присоединяйтесь к нам, чтобы разобраться в этом увлекательном взаимодействии технологий и человеческой изобретательности, пытаясь понять, какую роль ИИ может сыграть в стратегиях персонализированного email-маркетинга завтрашнего дня.

Идея: персонализация писем с помощью GenAI

Концепция интригует: дать этому ИИ возможность автономно создавать персонализированные письма. Изначально мы сосредоточились на сегментации, адаптируя контент на основе демографических характеристик, таких как возраст, пол, местоположение и опыт, но теперь мы вышли за эти рамки. GenAI продвинулся до комплексного создания текстов для целых модулей писем, что стало значительным шагом вперед на нашем пути. В связи с этим прогрессом возникает интересный вопрос: сможет ли GenAI не только сравниться, но и превзойти усилия человека в создании идеально сегментированных писем, предлагая комплексное решение для персонализации писем?

А/Б-тест: человек и GenAI

Мы провели пять тестов, сравнивая ИИ-контент с текстами, написанными человеком, без внесения изменений в тексты, созданные искусственным интеллектом. Эти тесты включали в себя рассылки для реактивации неактивных пользователей с вариациями, основанными на OR рассылки, использовании продукта и геопозиции в США. Очень важно было увидеть, насколько хорошо GenAI адаптируется к различным сегментам с помощью плагина для чтения ссылок в ChatGPT 4.

Результаты: более подробная статистика

Наши тесты показали, что результаты работы GenAI и человека практически равны. Давайте разберем статистику наших тестов.

А/Б-тест:

Человеческий контент немного превзошел ИИ по общему показателю CTOR и имел незначительно более низкий процент отписок.

В качестве примера можно сравнить разницу в отправленных письмах, созданных человеком и GenAI.

Новый аккаунт — 9.11.2023

• человек и GenAI;
• общее количество контактов (доставлено): 41523 против 41453;
• открываемость (OR, open rate): немного выше у ИИ — 10481 (25,24%) против 10522 (25,38%);
• CTOR: выше у человека. 728 (6,95%) против 579 (5,5%);
• показатель отписок: незначительно выше у ИИ — 265 (2,53%) против 297 (2,82%).

ИИ показал сопоставимые результаты по открываемости, но отставал по вовлеченности и имел несколько более высокий процент отписок.

Еженедельный дайджест — 9.11.2023

• человек и GenAI;
• общее количество контактов (доставлено): 30620 против 30202;
• OR: почти равная, с небольшим отрывом у ИИ — 7918 (25,86%) против 7880 (26,09%);
• CTOR: выше у ИИ — 210 (2,65%) против 313 (3,97%).

ИИ показал заметное улучшение в привлечении пользователей к кликам по контенту.

eBook по геймификации — 2.11.2023

• человек и GenAI;
• сегмент: неактивные юзеры за 3 месяца;
• общее количество контактов (доставлено): 126710 против 126813;
• OR: сопоставимая — 16002 (12,63%) против 16114 (12,71%);
• CTOR: практически одинаковая — 730 (4,56%) против 722 (4,48%).

При повторном привлечении неактивных пользователей показатели ИИ и человека были практически неразличимы.

Однако, поскольку окончательный результат все равно определяет человек, мы изучили, как будет работать связка человека и ИИ, когда ИИ задает направление, а человек вносит коррективы.

А/Б/В-тест:

Самый высокий показатель CTOR был у ИИ в отдельности, за ним следовал комбинированный подход, затем человек против ИИ, а затем человек в отдельности.

eBook’и и whitepaper’ы — 30.11.2023

• человек и GenAI и человек+GenAI;
• сегмент: никогда не открывали наши письма;
• общее количество контактов (доставлено): 55641 против 57372 против 55659;
• OR: 1967 (3,54%) против 1063 (1,85%) против 954 (1,71%);
• CTOR: 23 (1,16%) против 50 (4,97%) против 48 (5,03%).

Детальный человеческий подход был очень важен для тех, кто впервые открывает сайт, хотя ИИ продемонстрировал потенциал в привлечении внимания к контенту.

Еженедельный дайджест — 30.11.2023

• человек и GenAI и человек+GenAI;
• сегмент: никогда не открывали наши письма;
• общее количество контактов (доставлено): 22072 / 21567 / 21715;
• OR: 4591 (20,8%) против 4458 (20,67%) против 4542 (20,91%);
• CTOR: 182 (3,96%) против 147 (3,3%) против 139 (3,06%).

При привлечении тех, кто впервые открывает сайт, человеческое участие по-прежнему имеет первостепенное значение.

Хотите узнать, насколько значимы эти результаты? Ознакомьтесь с калькулятором, который мы использовали.

В завершение

В данном тесте GenAI показал обнадеживающие результаты. Но несмотря на свою победу, при генерации контента, GenAI многократно предоставлял неверную или устаревшую информацию, путал идеи и основной посыл письма. Откровенно говоря, нам приходилось просеивать 20-30 вариантов, чтобы найти те несколько, которые нам подходили. Из этого можно сделать вывод, что по состоянию на сегодня участие человека в создании контента с помощью GenAI крайне важно.

Наш следующий шаг — понять, как мы можем улучшить генерацию контента с помощью GenAI, чтобы он сразу выдавал нам актуальные тексты. Первое, что мы для этого сделаем — это обогатим GenAI подробной информацией о нашем продукте и стиле нашего бренда (все это добавляется к custom instructions), чтобы тексты были согласованы с сайтом. Мы хотим исследовать, могут ли они улучшить результаты GenAI?