От идеи мониторинга рекламы конкурентов до сервиса с платным доступом

Проверка спроса на собственный сервис мониторинга

Руководитель департамента рекламного агентства, с которым я сотрудничал, предложил создать spy-сервис: инструмент мониторинга рекламы конкурентов с просмотром объявлений и аналитикой по ним. Он хотел проверить, сможет ли агентство продавать доступ к собственному продукту.

На рынке уже было много подобных решений. Предстояло выяснить, какие данные мы способны собирать самостоятельно и найдется ли спрос на такой сервис. Руководитель взял на себя продажи, опираясь на свои связи и знакомства. Я отвечал за создание продукта, с которым можно выйти к покупателям.

Источники данных и разделение разработки

Работу я начал с карты доступных данных. Вместе с руководителем определили, какую рекламу будем отслеживать и какие специалисты понадобятся для сбора.

Мобильные разработчики создавали программы для устройств: они собирали рекламу и отправляли ее на мой бэкенд. Я писал парсеры веб-креативов и интеграции с API площадок, в том числе для сбора рекламы из социальных сетей по API и путём парсинга реальных страниц, и бэкенд приема данных с фермы мобильных устройств.

Все источники поступали в общий процесс обработки. Бэкенд удалял дубли, классифицировал рекламу и сжимал данные. Пользователи получали уже подготовленные материалы, распределенные по категориям.

Физические устройства и ограничения стартового бюджета

Первое ограничение касалось охвата. Чтобы собирать рекламу в большом масштабе, требовались фермы мобильных устройств и существенные расходы на их работу. Для проверки идеи заказчик не планировал таких вложений.

Мы экспериментировали с эмуляторами, но SDK крупных площадок распознавали их. Реклама либо не показывалась, либо отличалась от той, которую получали реальные устройства. Поэтому понадобились физические устройства; бюджет позволил начать с небольшой фермы из нескольких устройств.

Я выстраивал сбор с учетом этих ограничений. Вместо попытки охватить всю доступную рекламу мы сосредоточились на нескольких нишах и источниках. Именно с таким объемом данных продукт вышел к первым покупателям.

Пользовательский сервис и платный доступ

Я разработал веб-сервис с административной панелью, несколькими тарифами и разными способами оплаты. Пользователь мог зарегистрироваться, попробовать сервис бесплатно или сразу оплатить подходящий тариф. Внутри были доступны реклама и аналитика по тем источникам, категориям и вертикалям, которые охватывал сбор.

Сначала сервис использовали сотрудники агентства. Затем руководитель начал продавать доступ внешним клиентам. Так мы получили ответ на вопрос о готовности покупать продукт: у него появились реальные платящие пользователи. Это еще не отвечало на вопрос об экономике дальнейшего масштабирования.

Как архитектура менялась вслед за объемом данных

Следующая сложность возникла по мере накопления рекламы. Объем данных рос нелинейно, и раз в несколько месяцев система выходила на новый уровень нагрузки. Архитектура, рассчитанная на прежний масштаб, начинала давать слишком большие задержки.

Речь шла не о простой фильтрации списка. Пользователи задавали нестандартные условия отбора, многоуровневую группировку и запрашивали статистику показов по дням для выбранных групп. Системе нужно было выполнять эти операции совместно на постоянно растущем массиве.

Я несколько раз существенно перерабатывал хранение и выдачу результатов. Для разных задач использовал несколько движков баз данных, а для основных и популярных запросов реализовал автоматически прогреваемое кеширование.

Каждая такая переработка значительно увеличивала емкость системы. К изменению архитектуры приходилось возвращаться уже на следующем уровне объема данных, а не из-за одной и той же неустраненной проблемы. Задача состояла в том, чтобы сохранять приемлемое время ответа при усложнении выборок и росте базы.

Решение о дальнейшем использовании

Когда компания оценила экономику масштабирования, она решила оставить сервис для внутренних задач. Я передал систему сотрудникам компании, которые должны были поддерживать ее дальше.

К этому моменту продукт уже использовали в агентстве, а внешние клиенты покупали доступ. Решение о дальнейшем развитии принимали на основе работающего сервиса и опыта продаж, ограничившись на старте небольшой фермой устройств вместо крупных вложений в инфраструктуру сбора.

С этим же руководителем я работал над другой проверкой продуктовой идеи: новостным приложением с собственной рекламной платформой. Другие направления моей работы представлены на странице разработки для рекламы и performance-маркетинга.