Кейс: как мы восстановили репутацию своего домена после падения доставляемости до 80%

Проблемы с доставляемостью писем редко начинаются с одной неудачной email-кампании, и именно это и произошло в данном случае. Наша доставляемость упала со стабильных 99,8-99,9% до примерно 80%, после чего снизилась и открываемость, а почтовые сервисы начали отклонять наши письма.

В этом кейсе наш маркетолог объясняет, что пошло не так, как проблема была обнаружена на ранней стадии и какие шаги помогли нам восстановить репутацию домена, вернуть попадание писем в папку «Входящие» и нормализовать эффективность рассылок. Мы делимся этим опытом, чтобы другие команды могли быстрее обнаруживать подобные риски и не повторять тех же ошибок.

Что изменилось и как была обнаружена проблема

Проблема возникла не спонтанно. Сначала она выглядела как обычное колебание показателей, но после анализа сигналов о доставке и репутации картина стала ясной. Благодаря тому, что у нас уже была налажена процедура проверки ключевых показателей, мы своевременно заметили изменения, прежде чем доставка полностью прекратилась.

Как выглядел наш обычный график

До инцидента работа наших писем была стабильной и предсказуемой:

• доставляемость на уровне 99,8-99,9%;
• открываемость около 25%;
• отказы в пределах 1-2%.

Эти цифры оставались неизменными в течение длительного времени, поэтому любое отклонение сразу бросалось в глаза.

Первые тревожные сигналы

Первым признаком проблемы стало внезапное снижение скорости доставки, и это не было единичным явлением: скорость продолжала падать несколько раз подряд. 

Вскоре после этого добавились другие показатели:

• доставляемость резко снизилась и продолжала падать;
• открываемость снизилась, поскольку меньшее количество писем доходило до почтовиков или даже попадало в спам;
• количество отказов возросло, и почтовые провайдеры начали возвращать ошибки, в том числе 550 5.7.1.

На этом этапе проблема явно не была связана с контентом писем. Сообщения блокировались или фильтровались еще до того, как получатели могли их увидеть.

Почему Postmasters играл важную роль

Postmasters сыграл ключевую роль в подтверждении происходящего. Мы проверяем его два раза в неделю, в начале и в конце каждой недели, и всегда учитываем задержку в отчетах до трех дней.

Когда мы проанализировали данные, ситуация стала очевидной:

• как репутация IP-адреса, так и репутация домена упали до уровня «Bad»;
• «Bad» — это самый низкий возможный статус, ниже которого уже некуда падать.

В этот момент одновременное появление обоих красных сигналов объяснило, почему доставляемость быстро ухудшалась. Это также подтвердило, что мы имели дело с вопросом репутации, а не со временной аномалией показателей.

Что вызвало коллапс

Как только мы подтвердили, что это была проблема репутации, следующим шагом стал поиск причины, вызвавшей ее. Мы обнаружили, что основная причина не была скрыта в технических настройках или качестве контента — на самом деле все сводилось к тому, как и когда мы отправляли письма.

Поведение отправителя, послужившее причиной

Когда мы проанализировали активность рассылки примерно в то же время, показатели начали падать, и сразу же привлекли внимание две кампании:

• две кампании были отправлены гораздо более широкой (в 4 раза) аудитории, чем обычно;
• домен не был готов к такому увеличению объема;
• активность отправки резко возросла в течение короткого промежутка времени.

Почему последствия были столь серьезными

Одно и то же действие не всегда приводило к таким драматическим последствиям. Однако в данном случае причиной этого стало состояние нашей инфраструктуры на тот момент:

• проблемы с репутацией IP-адреса существовали уже несколько месяцев;
• письма отправлялись с IP-адресов, совместно используемых с другими отправителями;
• некоторые из этих соседей нарушали правила отправки писем.

Исходя из вышеперечисленных причин, ухудшение репутации домена не произошло самостоятельно. Падение доверия к домену усугубило и без того ослабленную репутацию IP-адреса. В совокупности эти факторы почти полностью разрушили нашу репутацию как отправителя в глазах почтовых провайдеров.

Как отреагировали почтовые сервисы

Как только показатели репутации перешли в критическую зону, почтовики быстро отреагировали. На этом этапе проблема уже не касалась отдельных кампаний. Она превратилась в проблему доверия между отправителем и почтовиками.

Что произошло на уровне провайдера

Как только уровень доверия упал, почтовики изменили способ обработки нашего трафика:

• доверие к нам как отправителю снизилось;
• фильтрация стала гораздо строже, и часть трафика была заблокирована;
• некоторые провайдеры возвращали серьезные ошибки, в том числе 550 5.7.1, что сделало доставку для этих получателей невозможной.

Эти реакции были одинаковыми у всех почтовиков и соответствовали тому, что мы наблюдали в Postmasters.

Как это повлияло на показатели писем

Ограничения со стороны провайдера быстро привели к заметным изменениям в показателях:

• доставляемость зависла на уровне около 80% и показала признаки дальнейшего падения;
• открываемость упала с 25% до 11% просто потому, что письма перестали попадать в почту;
• отказы и количество жалоб быстро выросли и достигли пика на уровне примерно 20%.

На этом этапе качество контента уже не имело значения. Даже убедительные письма не могли достичь хороших результатов, поскольку почтовики активно ограничивали или отклоняли их доставку.

Первые меры по локализации ущерба

Как только стало ясно, что основной проблемой является репутация, приоритетом стало предотвращение дальнейшего ущерба. Цель состояла в том, чтобы немедленно уменьшить количество рискованных сигналов, сохранив при этом необходимый поток писем.

Приостановка активностей с высоким риском

Первым делом нужно было остановить все, что могло ухудшить ситуацию:

• все ручные промокампании были приостановлены;
• кампании по реактивации были полностью отключены.

Решение было обусловлено тем, что такие рассылки обычно отправляются более широкой или менее заинтересованной аудитории. Продолжение рассылок в тот момент привело бы к появлению большего количества негативных сигналов для почтовиков и значительно затруднило бы восстановление.

Защита важных писем

В то же время мы не могли позволить себе приостановить сервисную коммуникацию. Некоторые письма являются частью основных продуктовых процессов и должны продолжаться работать.

Для их защиты было предпринято несколько шагов:

• сервисные и транзакционные триггеры были перенесены на разогретый субдомен;
• были приняты пониженные лимиты отправки в 10 раз, чтобы сохранить ключевые потоки.

Реализация этих шагов дала нам время для работы над восстановлением системы без нарушения процесса продления подписок, подтверждения аккаунтов и других системных писем.

Почему переключение субдомена сработало

Субдомен сыграл ключевую роль в минимизации ущерба:

• его репутация снизилась лишь незначительно и осталась в допустимых пределах;
• проблемы на основном домене не перенеслись на него в полной мере;
• важные письма продолжали отправляться без перебоев.

Решение проблемы инфраструктуры

Однако одной только изоляции было недостаточно. Следующим шагом было решение инфраструктурных проблем, которые и стали причиной столь серьезного коллапса.

Почему пришлось отказаться от общих IP-адресов

Мы уже знали, что репутация IP была нестабильной в течение нескольких месяцев до этого инцидента. Основные причины были структурными:

• репутация частично зависела от других отправителей;
• ранее уже возникали проблемы с IP, которые были решены лишь частично;
• восстановление на общих IP всегда оставалось неустойчивым.

Даже при аккуратной рассылке мы знали, что не сможем полностью контролировать то, что происходит в одном и том же диапазоне IP-адресов.

Переход на выделенные IP-адреса

Единственным надежным вариантом было перейти на выделенные IP-адреса, чтобы достичь следующего:

• полного контроля над репутацией IP;
• репутации, связанной только с нашими письмами;
• более четкой диагностики, когда что-то идет не так.

Не было предпринято никаких попыток спасти пострадавшие IP-адреса. В данном случае выполнение полного сброса с использованием выделенных IP-адресов было быстрее и безопаснее, чем попытка исправить настройки, которые мы не могли полностью контролировать.

Восстановление репутации домена шаг за шагом

После прекращения рискованных рассылок и исправления настроек IP началась самая сложная часть: восстановление доверия к основному домену. Мы поняли, что этот процесс нельзя ускорить, и каждый шаг должен снижать риски и посылать четкие позитивные сигналы почтовикам.

Создание безопасного сегмента восстановления

Чтобы не рисковать, мы не возобновили рассылку по всей базе данных. 

Вместо этого мы создали очень узкий сегмент, который давал наилучшие шансы на успех:

• только очень вовлеченные получатели;
• без недавних отказов;
• четкая история просмотров и взаимодействий.

Мы знали, что наши письма все еще могли доходить до тех контактов, которые также были склонны к взаимодействию. Все остальные на этом этапе были исключены.

Перезапуск рассылки с нуля

Восстановление домена выполнялось по той же логике, что и разогрев нового домена:

• первоначальные рассылки были ограничены примерно 1000 контактами;
• объем увеличивался медленно и небольшими шагами;
• без резких скачков и экспериментов.

Несмотря на то, что домен имел долгую историю рассылок, мы отнеслись к нему как к ненадежному и начали все сначала.

Что нужно было увидеть почтовикам

На этом этапе контент был менее важен, чем поведение. Почтовикам требовалось несколько четких повторяющихся сигналов:

• стабильная вовлеченность получателей;
• низкий уровень жалоб и отказов;
• предсказуемые паттерны отправки без скачков.

Только после того, как эти сигналы стабилизировались, репутация начала улучшаться.

Когда и как мы обращались к почтовикам

После вышеупомянутых действий мы не сразу связались с почтовиками. Сначала необходимо было получить подтверждение того, что восстановление уже началось.

Почему эскалация происходит позже, а не сразу

Мы ждали, пока не были выполнены следующие условия:

• в показателях стали заметны первые признаки восстановления;
• репутация домена в Postmasters улучшилась на один уровень;
• доставляемость и отказы начали стабилизироваться.

Это свидетельствовало о том, что наши действия приносили результаты и проблема больше не актуальна.

Что мы сообщили почтовикам

Когда мы обратились в Gmail и Microsoft, то четко объяснили ситуацию, указав:

• что стало причиной падения репутации;
• какие шаги уже были предприняты;
• что мы планировали делать дальше.

Цель заключалась не в том, чтобы попросить о быстром решении проблемы, а в том, чтобы продемонстрировать ответственность и прозрачность.

Что изменилось после эскалации

После проведения проверки почтовиками:

• показатели отказов снизились еще больше;
• провайдеры стали более стабильно принимать трафик;
• скорость восстановления улучшилась, хотя прогресс по-прежнему был постепенным.

Хотя прямой контакт не заменил процедуру разогрева, он помог устранить дополнительные препятствия.

Возвращение к нормальной отправке

Как только уровень доверия улучшился, мы начали осторожно восстанавливать email-кампании; ничего не возвращалось сразу.

Какие ограничения остались

Некоторые виды деятельности долгое время оставались запрещенными:

• реактивация и другие кампании с низким уровнем вовлеченности оставались отключенными;
• рискованные сегменты аудитории были исключены из рассылки.

Это решение было принято, поскольку эти рассылки могли бы свести на нет недели восстановления, если бы они были возобновлены слишком рано.

Что было восстановлено постепенно

Другие части программы возвращались шаг за шагом:

• триггерные письма были перенесены обратно на основной домен;
• объем отправки увеличивался контролируемыми порциями.

Каждое изменение тщательно контролировалось перед следующим шагом.

Сколько времени прошло до полного восстановления

От первых мер по изоляции до полного восстановления процесс занял до трех месяцев. Параллельно происходила подготовка нового IP-адреса и восстановление домена, что помогло сократить общие сроки.

До и после: ключевые показатели

Примечательно, что восстановление стало заметным в показателях еще до того, как инструменты оценки репутации показали полностью зеленый статус.

Показатели эффективности писем

• открываемость: 25% → 11% → 36%;
• показатели отказов и жалоб: 1%-2% → около 20% → возврат к нормальному уровню.

Как только доставляемость стабилизировалась, открываемость не только восстановилась, но и превысила предыдущий базовый уровень.

Сигналы репутации

• полное восстановление было подтверждено, когда Postmasters показал самый высокий уровень репутации;
• показатели кампании улучшились раньше и послужили первым положительным сигналом.

Оба подхода были необходимы для подтверждения того, что реальное восстановление было полностью достигнуто и было стабильным.

Влияние на бизнес в период восстановления

Исправление ситуации с доставляемостью обошлось дорого, так как в период восстановления некоторые убытки были неизбежны.

Что пострадало

• ручные промокампании были недоступны в течение нескольких месяцев;
• триггерные письма были сильно ограничены;
• трафик, регистрации и платные конверсии, полученные благодаря письмам, снизились.

Пока восстанавливалось доверие, электронная почта не могла работать на полную мощность.

Почему был необходим компромисс

Готовность принять краткосрочные убытки позволила избежать гораздо более серьезных проблем в будущем. Приоритетной задачей было восстановление доверия отправителя и защита долгосрочной доставляемости, а не увеличение объемов, пока домен еще находился в уязвимом состоянии.

Что мы сейчас контролируем для предотвращения повторения ситуации

После восстановления мы перестроили нашу процедуру мониторинга, чтобы подобные проблемы становились заметны гораздо раньше. Теперь основное внимание уделяется сигналам, которые указывают на потерю доверия до сбоя в доставке.

Ежедневные сигналы

Каждый день мы анализируем небольшой набор ключевых метрик:

• доставляемость;
• открываемость;
• уровень отказов.

Эти три показателя реагируют первыми, когда что-то идет не так. Мы не ждем резких падений; даже небольшие, но постоянные изменения имеют значение.

Еженедельные проверки

Одних ежедневных метрик недостаточно. Данные о репутации меняются не так быстро и требуют отдельного цикла проверки. Поэтому мы предпринимаем следующие шаги:

• Postmasters проверяется два раза в неделю;
• мониторинг предупреждений от ESP, уведомляющих нас о необычных скачках объема рассылок.

Мы всегда учитываем задержки в отчетах Postmaster, которые могут достигать 3 дней. Этот контекст имеет решающее значение при сравнении показателей с репутационным статусом.

Пороговые значения, рассматриваемые как предупреждения

Некоторые сигналы теперь вызывают особое внимание:

• любое снижение репутации IP-адреса или домена, даже на один уровень;
• раннее отклонение показателей от нормальных диапазонов.

Мы больше не ждем подтверждения из нескольких источников. Одного явного предупреждения достаточно, чтобы мы остановились и начали изучать ситуацию.

Что мы сделали бы по-другому в следующий раз

Оглядываясь назад, можно сказать, что самые важные уроки были связаны не с восстановлением, а с подготовкой. Еще задолго до инцидента можно было принять ряд решений, чтобы снизить риск.

Подготовка инфраструктуры

Если бы мы запускали проект снова, то изменили бы настройки на более раннем этапе, а именно:

• переход на выделенные IP-адреса в более короткие сроки;
• подготовка нескольких «разогретых» субдоменов;
• поддержание резервных доменов для экстренного переключения.

Эти меры снижают зависимость от внешних факторов и обеспечивают больший контроль во время инцидентов.

Стратегия отправки

Поскольку соблюдение дисциплины отправки так же важно, как и инфраструктура, всегда:

• по умолчанию сохраняйте важные триггеры на субдоменах;
• избегайте резкого увеличения объема рассылок;
• рассматривайте любое падение репутации как чрезвычайную ситуацию и действуйте немедленно.

Небольшие задержки в реагировании могут превратить управляемые проблемы в длительные циклы восстановления.

Ключевые выводы

1. Доставляемость была нарушена из-за поведения отправителя, а не из-за контента писем.
2. Раннее обнаружение с помощью Postmasters предотвратило полное отключение.
3. Приостановка промоакций и изоляция важных триггеров ограничили ущерб для бизнеса.
4. Выделенные IP-адреса устранили зависимость от общей репутации.
5. Доверие к домену было восстановлено благодаря медленной отправке писем, ориентированной исключительно на вовлеченность.
6. Эскалация провайдера помогла, как только стали видны признаки восстановления.
7. Полное восстановление потребовало терпения, дисциплины и строгого контроля объемов.

В завершение

Проблемы с доставляемостью писем редко имеют одну причину или быстрое решение. В нашем случае восстановление означало прекращение рискованных рассылок, изменение инфраструктуры и восстановление доверия с нуля. Процесс был медленным и дорогостоящим, но он защитил долгосрочную репутацию отправителя и восстановил стабильную доставку писем в папку «Входящие».

Главный урок здесь прост: легче предупредить ущерб репутации, чем исправлять ситуацию. Регулярный мониторинг, тщательный контроль объемов и заранее подготовленные фолбэки решают все, когда что-то идет не так.