Собственный антифрод: более чем в 20 раз меньше проблемного рекламного трафика

Почему готовый антифрод не устранял жалобы рекламодателей

Агентство закупало трафик для рекламодателей из разных источников. На пути к рекламодателю переходы проходили через лендинги, трекеры и готовый антифрод. Фильтрация работала, но показатели поведения посетителей и доля покупок ухудшались. Несколько партнеров пожаловались на большое количество ботов среди реальных клиентов и ухудшили условия выплат.

Подключенный популярный сервис защиты не справлялся с проблемой. Агентство обратилось ко мне, чтобы разобраться, какие переходы он пропускает, и исправить ситуацию, пока она не привела к потере партнеров.

Как я проверял альтернативные сервисы на трафике агентства

Сначала нужно было собрать собственные данные. Я доработал бэкенд на подконтрольных агентству этапах, включая лендинги и трекеры, и наладил подробный сбор технических данных о каждом переходе. Их анализ показал, что действующий фильтр пропускает заметную часть нецелевого трафика.

После этого я испытал еще несколько известных сервисов. На трафике агентства ни один из них не обеспечил нужного качества фильтрации. Простая замена готового решения не помогала, поэтому я приступил к разработке собственного антифрода.

Какие признаки помогли выявить проблемные переходы

Готового объяснения происходящему не было. Собрав данные по нескольким десяткам миллионов переходов, я последовательно проверял гипотезы: от явных признаков автоматических запросов до особенностей поведения посетителей на разных этапах пути.

• Признаки автоматизации. Некоторые запросы содержали в заголовках параметры, которые сразу выдавали бота.
• Противоречия в данных. В отдельных переходах характеристики браузера и устройства не соответствовали друг другу. Эти несостыковки позволяли распознавать неаккуратно написанных ботов.
• Нарушения последовательности. Я исследовал прохождение всей цепочки: пропущенные этапы и изменения характеристик посетителя между переходами.
• Запросы вне рекламной цепочки. Часть запросов приходила прямо на лендинги или к рекламодателю, в обход закупленных рекламных источников. У некоторых была браузерная природа. Другие удавалось связать с определенными подсетями и повторяющимися последовательностями обращений, следовавшими за определенными посетителями. Прямой визит сам по себе не считался фродом: проблемные переходы выделялись по результатам анализа IP-адресов и других характеристик. Это позволило отсечь еще часть нежелательного потока.

На основе найденных закономерностей я создал скоринг. Он оценивает переход по совокупности признаков и определяет, пропустить его или отфильтровать. Наборы признаков различаются в зависимости от источника трафика.

Как выбрать порог с учетом затрат и риска ошибочного отсева

Заказчик ожидал простого и полного решения: подключить фильтр и избавиться от проблемного трафика. На практике после первых успехов каждое следующее улучшение требовало все больше работы.

Когда очевидные нежелательные переходы уже отфильтрованы, остаются редкие случаи. Данных по ним мало, поэтому надежные закономерности установить сложнее. Ужесточение правил может привести к ошибочному отсеву реальных переходов, в том числе покупателей. Дальнейшее сокращение остаточного фрода приходится сопоставлять с затратами на исследование и риском потерять качественный трафик.

Для агентства ошибочная блокировка означает потерю переходов, за которые оно получает оплату. По каждой крупной рекламной кампании я сравнивал ущерб от проблемного трафика с доходом от качественного и на основе этих расчетов выбирал экономически целесообразный порог фильтрации. Важно было сбалансировать затраты на дальнейшую очистку, объем оставшегося проблемного трафика и риск отсеять реальных посетителей.

Что изменилось после запуска собственного антифрода

Первое заметное снижение проблемного трафика удалось получить за 3-⁠4 месяца. Затем исследование продолжилось: новые данные помогали уточнять систему оценки. После запуска собственного антифрода проблемного рекламного трафика стало более чем в 20 раз меньше.

Через систему проходит весь трафик того сегмента, в котором возникали проблемы. Деловой результат не ограничился улучшением фильтрации: агентство сохранило и выровняло отношения с крупными рекламодателями, которые могли уйти, и удержало важные контракты.

Система продолжает работать. О том, как искать проблемные переходы и выбирать порог фильтрации, я рассказал в статье о проверке качества рекламного трафика.