Как читать статистику спама до появления проблемы

На спам-фильтрацию никто не обращает внимания, пока она работает. Почта приходит, нежелательные сообщения в основном нет, и весь процесс остается незаметным до того дня, когда что-то важное попадает в папку со спамом или клиент говорит, что так и не получил ваш ответ. К этому моменту вы уже устраняете происшествие, а не наблюдаете за тенденцией.

Статистика спама меняет ситуацию. Она ведется отдельно для каждого домена, охватывает последние тридцать дней и отвечает на вопрос, который большинство провайдеров даже не позволяет задать: что именно фильтруется в моем домене и правильно ли работает фильтр?

Что именно показывает статистика спама

По каждому домену вы получаете сводку за период и ежедневный ряд данных, поэтому видны и общая форма, и динамика.

Именно последние три показателя заслуживают внимания, но почти никто их не публикует. Статистика спама, которая сообщает лишь объем заблокированного мусора, служит маркетингу. Статистика, показывающая, как часто фильтр ошибался, служит диагностике.

Показатели, которые сигнализируют о проблеме

Большую часть времени эти значения не меняются, и их можно игнорировать. Реагировать стоит на три вида динамики.

Рост ложных срабатываний. Если пользователи регулярно извлекают легитимные письма из папки со спамом, фильтр неправильно настроен для вашего потока. Часто причина в том, что поставщик или нужная вам рассылка имеет общие признаки с нежелательной почтой. Это самая дорогостоящая ошибка в электронной почте и при этом самая редко сообщаемая, потому что человек, который не получил ваше предложение, не знает, что нужно пожаловаться.

Резкий рост входящего объема на одном домене. Внезапный рост на домене, где обычно мало трафика, чаще всего означает, что адрес собрали и добавили в список. Срочности нет, но обычно после этого начинается период информационного шума, а на адресе catch-all его может стать особенно много.

Рост жалоб пользователей при неизменном уровне обнаружения. Это значит, что нежелательная почта проходит, а ваши пользователи убирают ее вручную. Фильтр отказывает не заметно, а тихо, и цена выражается в потраченном внимании каждого, а не в сообщении об ошибке.

Почему важна статистика по каждому домену

Общая статистика спама по всей учетной записи скрывает именно то, что нужно увидеть.

У доменов разный трафик. Публичный адрес info@ на сайте компании получает совершенно иной набор сообщений, чем внутренний домен для шести человек, а среднее значение не описывает ни один из них. Доля спама 40% тревожна для одного и совершенно нормальна для другого.

Если вы обслуживаете домены клиентов, это определяет разницу между полезным ответом и пожиманием плечами. Когда клиент спрашивает, почему сообщение не пришло, статистика спама по доменам позволяет изучить именно его домен за нужный период, а не рассуждать на основе среднего по всей платформе, которое к нему не относится.

Как читать символы

Список частых символов показывает ход работы фильтра. Каждый символ обозначает сработавшее правило, например результат аутентификации, проверку репутации или эвристику содержимого, а число показывает частоту срабатывания. Названия взяты из Rspamd, лежащего в основе механизма фильтрации.

Запоминать их все не нужно. Полезно замечать, когда преобладает символ аутентификации: обычно это указывает на проблему отправителя, а не на спам. Почта с неудачной проверкой SPF или выравнивания DMARC получает дополнительные баллы как нежелательная, даже если она легитимна. Исправлять нужно не фильтр, а записи домена отправителя. Эту сторону объясняют наши руководства по настройке SPF и настройке DMARC.

Это самая распространенная причина ложных срабатываний, о которой полезно знать: собственная аутентификация поставщика не работает. В статистике спама это выглядит как срабатывание правил, не связанных с содержимым, на знакомого вам отправителя.

Как действовать

Доступных действий намеренно немного, потому что большинство проблем со спамом решается обучением, а не настройкой.

И жалобы на спам, и освобождение ложных срабатываний дают фильтру обучающие сигналы. Если делать это последовательно две недели, показатели изменятся сильнее, чем от любой настройки. Когда источником проблемы является конкретный отправитель и ждать не хочется, его можно заблокировать. Для легитимной, но ненужной почты лучше создать правило, которое убирает ее в отдельную папку, чем помечать ее как спам. Такая пометка учит систему не доверять отправителю, сообщения которого могут быть нужны другим. Серверные правила описаны в материале как работают почтовые фильтры и доступны начиная с тарифа Pro.

Обычно ошибочно ничего этого не делать, а затем заключать, что фильтр плох. Статистика спама нужна для того, чтобы решение основывалось на данных, а не на инстинкте.

Как выглядит нормальная доля спама

Универсального значения нет. Любой провайдер, называющий такое значение, описывает собственное среднее, а не ваш домен. Полезно достаточно долго читать собственную статистику спама, чтобы понять нормальную для вас картину и распознавать отклонения.

Домен с публичными адресами, напечатанными на сайте, визитной карточке или автомобиле компании, обычно получает преимущественно входящий трафик, классифицированный как нежелательный. Доля выше половины там не вызывает удивления. На домене, который служит только для внутренней переписки между знакомыми сторонами, спама должно быть очень мало. Внезапное появление спама на таком домене заслуживает внимания, а не пожимания плечами.

На каждом домене близким к нулю должно оставаться число освобожденных ложных срабатываний. Прошедший спам раздражает, а легитимная почта в папке со спамом дорого обходится, и эти ситуации не равноценны. Фильтр, настроенный перехватывать абсолютно все, всегда обойдется дороже того, который пропускает несколько нежелательных сообщений.

Важнее всего направление движения. Если показатель был стабильным шесть месяцев, а затем изменился, значит, что-то произошло. Статистика спама обычно позволяет определить дату с точностью до одного дня.

Как использовать статистику при жалобе клиента

Если вы обслуживаете чужие домены, именно здесь функция оправдывает себя, потому что в разговоре о неполученном письме иначе совсем нет доказательств.

Последовательность короткая, и статистика спама дает все необходимое. Изучите домен клиента за описанный им период. Если входящий объем был нормальным и ничего не отклонялось, сообщение, вероятно, вообще не дошло. Тогда расследование переходит с вашей стороны на сторону отправителя. Если оно было обнаружено как спам, вы можете подтвердить это, освободить сообщение и с помощью символов объяснить, почему фильтр принял такое решение.

За пару минут это превращает напряженный разговор в предметный. Кроме того, вы избегаете противоположной ошибки: предположить, что виноват фильтр, и потратить вторую половину дня на изменение того, что работало правильно.

Все это возможно именно благодаря статистике спама по доменам. Среднее значение по учетной записи ничего не говорит клиенту о его собственном домене, и он это понимает.

Отклонено или помещено в папку

Два показателя выглядят похоже, но означают совершенно разные вещи. Если их перепутать, вывод будет неверным.

Обнаруженный спам означает почту, которую приняли, а затем классифицировали как нежелательную. Она существует, находится в папке и может быть извлечена. Отклоненный спам означает почту, от которой отказались во время диалога SMTP и которую вообще не приняли. На вашей стороне ее нигде нет, и освободить ее невозможно, потому что освобождать нечего.

Отклонение происходит в наиболее очевидных случаях: для заведомо плохих источников, неправильно сформированных сообщений и отправителей, аутентификация которых настолько серьезно нарушена, что принимать почту было бы безрассудно. Преимущество в том, что отклоненное сообщение вызывает ошибку на стороне отправки, поэтому попавший под нее легитимный отправитель узнает сразу, а не думает, что письмо пришло.

Именно это стоит объяснить всем, кого беспокоят ошибочные отклонения. При ошибочном отклонении отправитель узнает о неудаче. При ошибочном помещении в папку никто ни о чем не узнает. Поэтому следить следует за количеством освобожденных ложных срабатываний, а не за числом отклонений.

Границы сведений в статистике

Статистика спама описывает только входящую почту на ваших доменах. Поэтому она не может ответить на два вопроса.

Оба стоит назвать прямо, поскольку предположение, что статистика их охватывает, обычно приводит людей не туда.

Она не сообщает, как вашу исходящую почту обрабатывают в других местах. Попадают ли ваши сообщения во входящие других людей, это отдельный вопрос, ответ на который дают отчеты DMARC и данные об отказах, описанные в материале как читать отчеты DMARC.

Она также не объясняет отдельные сообщения. Сводка агрегирована: в ней есть количества, доли и правила, которые чаще всего срабатывали за период. Для конкретного пропавшего сообщения ответ находится в его заголовках, а не в статистике. Статистика лишь показывает, наблюдался ли на домене трафик такого характера вообще.

При использовании по назначению, чтобы заметить изменения и иметь доказательства при вопросах, статистика дает быстрый ответ. Попытка диагностировать с ее помощью одно письмо принесет разочарование.

Разумный порядок действий

Никто не станет проверять это еженедельно, да это и не должно требоваться.

Проверяйте раз в месяц и сначала смотрите на ложные срабатывания, а не на крупную цифру заблокированных сообщений. Домены с клиентским трафиком проверяйте раньше внутренних. Если ложных срабатываний нет, а объем спама по жалобам пользователей стабилен, закройте вкладку. Система работает.

Еще один повод заглянуть возникает сразу, когда кто-то сообщает о пропавшем письме, прежде чем решать, что его не отправляли. Статистика спама за минуту покажет, видел ли домен такой трафик вообще, и превратит спор в факт.