Abstract: The paper continues the study of early filtering of unprofitable traffic sources in programmatic (RTB) advertising and presents the second iteration of a probabilistic model that accounts for how a source changes over time. Instead of evaluating a source by aggregated statistics over the whole period, the model scores it from weekly slices with priority given to recent data. The base metric is the conversion rate – the share of clicks that turn into leads – which, unlike spend or ROI, lies in the [0, 1] range and is therefore correctly smoothed in a Bayesian way toward the campaign-wide average conversion. On top of the smoothed conversion, the model adds penalties for spending without leads and for a streak of bad weeks, accounts for the lead-cost trend and the share of profitable days, and assigns each source to one of five managerial categories. The model is implemented on a React/PHP/ClickHouse stack and validated on real data from Inspiritum LLC using a plan-versus-fact scheme. On the reference campaign it reaches an Accuracy of 98.5 % with an F1-score of 0.65; it preserves profit while increasing ROI by cutting redundant spend. The approach is delivered as a decision support system that issues a ready recommendation for every source.
Keywords: Bayesian method, conversion rate, temporal dynamics, real-time bidding, programmatic advertising, decision support system, source scoring.
Введение
В программатик-рекламе показы продаются на мгновенных аукционах (RTB) за 150–200 мс [9, 12]. Это даёт гибкий таргетинг [13], но требует от менеджера анализа огромного числа источников: на одного сотрудника приходятся сотни кампаний с десятками тысяч связок «страна & рекламная сеть & приложение & место размещения». Большинство источников убыточны, а решение выкупать на них трафик или отключать нужно принимать рано, желательно до того, как источник тратит выделенный на него бюджет [2, 4].
В предыдущей работе была предложена байесовская модель, которая классифицирует источник по накопленной за период статистике. Она хорошо закрывает проблему холодного старта, но оценивает источник одним агрегированным баллом за весь период и потому не различает стабильно прибыльный источник и источник, давший один удачный всплеск, а малые источники систематически занижает. На практике это приводит к потере пласта недорогих, но прибыльных связок. Настоящая работа развивает подход во вторую итерацию, в которой источник оценивается с учётом временной динамики.
Цель работы – разработка метода оценки источников трафика, который учитывает изменение источника во времени и выдаёт готовую управленческую рекомендацию.
Задачи:
- перейти от агрегата за период к недельным срезам с приоритетом свежих данных;
- построить байесовскую оценку конверсии источника, устойчивую при малом числе кликов;
- ввести штрафы за расход без конверсий и за серию неудачных недель, учесть тренд стоимости конверсии и долю прибыльных дней;
- распределить источники по управленческим категориям и апробировать модель на реальных кампаниях по схеме план-факт.
Метод исследования
Идея байесовского подхода в том, что у исследователя есть исходное ожидание относительно неизвестной величины до получения данных конкретного объекта, и это ожидание уточняется по мере поступления наблюдений. Исходное ожидание называют априорной оценкой, уточнённое – апостериорной. Чем меньше собственных данных у объекта, тем сильнее апостериорная оценка опирается на априорную; чем больше данных, тем больше она доверяет тому, что объект реально показал [1, 3]. Это свойство особенно ценно в RTB, где у нового источника наблюдений почти нет.
- Базовая метрика и байесовское сглаживание конверсии
За базовую метрику взят коэффициент конверсии CR = leads / clicks – доля кликов, которые приводят к целевым действиям (в данном контексте лиды = конверсии). В отличие от опоры на метрики чистой прибыли, расходов и ROI в первой модели, CR лежит в диапазоне от нуля до единицы и является естественным кандидатом на байесовское сглаживание. Проблема в том, что у нового источника кликов почти нет и один клик без конверсии даёт CR=0 %, один клик с одной конверсией – CR=100 %, и ни одна из этих цифр ничего не говорит об источнике.
Сглаживание решает это через взвешенное среднее между средней конверсией по кампании и собственной конверсией источника (1):
posterior_cr = (leads + C · global_prior_cr) / (clicks + C) (1)
Здесь global_prior_cr = Σleads / Σclicks – средняя конверсия по всем источникам кампании, играющая роль априорного ожидания. Параметр C задаёт, сколько собственных кликов нужно источнику, чтобы перевесить это ожидание, и берётся равным 95-му перцентилю распределения кликов, то есть уровню «богатого» источника. Пока кликов меньше C, оценка держится у средней по кампании; когда кликов больше C, она сдвигается к собственной конверсии leads / clicks. Слишком малое C заставило бы модель верить шуму бедных источников, слишком большое стянуло бы всех к среднему и лишило бы оценку различающей силы. Это единственный байесовский элемент модели, остальные шаги представляют собой эвристическую постобработку, каждый из которых закрывает конкретную слабость голой оценки конверсии.
- Временная динамика и штрафы
История источника разбивается на 6 недель обучения и 1 неделю проверки. Шесть недель взяты как эмпирический горизонт, на котором менеджер реально оценивает источник. Каждой неделе присваивается вес давности (w1…w6 = 0,40; 0,25; 0,15; 0,09; 0,06; 0,05), самая свежая неделя весит больше всего, потому что поведение источника дрейфует и свежие данные точнее отражают его текущее состояние. Все дальнейшие суммы считаются с этими весами.
Сглаженная конверсия корректируется штрафом за сжигание бюджета без конверсий (2):
penalized_cr = posterior_cr · penalty_factor (2)
Множитель penalty_factor:
- Штрафует вероятность posterior_cr в 10 раз (умножение на 0,1), если на источник потрачено больше 2х выплат за конверсию, а лидов так и не принёс;
- Штрафует вероятность posterior_cr на 20%, если на источник потрачено больше 1й выплаты за конверсию, а лидов так и не принёс. Здесь источнику ещё даётся шанс «докрутить» конверсии;
- Не штрафует вероятность posterior_cr, если у источника есть свои конверсии.
Параллельно считаются доля прибыльных дней среди активных с теми же весами давности (rw_pdr), отделяющая стабильную прибыльность от разового всплеска. Ещё источнику присваивается бонус trend_bonus = 0,10, если стоимость лида от недели к неделе падает; и, наоборот, штраф streak_penalty = 0,6^N за N неблагоприятных недель среди трёх последних.
- Итоговый балл и категории решения
Итоговый балл собирает сглаженную конверсию, долю прибыльных дней и бонус за тренд, после чего умножается на штраф за серию (3):
final_score = (α · penalized_cr + β · rw_pdr + trend_bonus) · streak_penalty (3)
Коэффициенты α и β задают баланс между двумя сигналами в итоговом балле. Коэффициент α взвешивает сглаженную конверсию penalized_cr, а коэффициент β взвешивает долю прибыльных дней rw_pdr. Меняя их соотношение, можно регулировать, на что модель опирается сильнее, на точечную оценку конверсии или на стабильность прибыли по дням. Для источников с хронически отрицательной общей прибылью итоговый балл дополнительно ограничивается сверху, чтобы заведомо убыточный источник не мог подняться в верх списка из-за случайно высокой конверсии. Решение принимается сравнением итогового балла с порогом threshold. Источник считается успешным, если final_score ≥ threshold. Порог тоже является настраиваемым параметром и задаёт строгость модели: чем он выше, тем меньше источников проходит отбор, но тем выше уверенность в каждом; чем он ниже, тем больше объёмов выкупаем, но ROI будет падать.
Далее, по итоговому баллу и дополнительным условиям источнику назначается одна из пяти управленческих категорий, которые описаны в таблице 1.
Таблица 1
Управленческие категории источников
| Категория | Условие попадания | Управленческое действие |
| scale («масштабировать») | Уверенный успех с запасом по объёму: final_score ≥ 0,75, активных недель ≥ 5, лидов ≥ 10, стоимость лида не растёт | Повысить дневные лимиты, масштабировать заработок |
| white («оставить») | Прибыльный источник, не дотянувший до scale (threshold ≤ final_score < 0,75) | Оставить работать в текущих лимитах |
| black («исключить») | Стабильный слив: жёсткий штраф penalty_factor = 0,1, final_score ≤ 0,15, активных недель ≥ 3 | Отключить, чтобы не тратить бюджет |
| grey («наблюдать») | Все остальные оценённые источники: почти без статистики, либо со «средними» метриками | Наблюдать, ничего не менять |
| new («новый») | Источники без истории обучения (cold-start) | Не оценивать, пока не накопит данные |
Описание экспериментов и их результатов
Модель реализована на стеке React/PHP/ClickHouse и протестирована на реальных данных ООО «Инспиритум» за март-май 2026 года. Качество классификации оценивалось экономике по стандартным метрикам Accuracy, Precision, Recall и F1, а экономика – по схеме план-факт, где предсказанная экономика источника сравнивается с фактической на отложенной тестовой неделе. Сводные результаты по 5 рекламным кампаниям приведены на рисунке 1.
Рисунок 1 – Сравнение метрик рекламных кампаний по предсказанию
с фактическими
Анализ экономической целесообразности
Согласно тестам по топ-5 прибыльным рекламным кампаниям, модель удерживает почти весь объём прибыли и даже поднимает рентабельность за счёт отказа от части расхода. Ошибки модели смещены в сторону безопасного отказа от слабого объёма, а не потери крупной прибыли, что и требуется для инструмента превентивной фильтрации бюджета. Команда одобрила модель для дальнейших исследований и доработок.
Обсуждение и анализ результатов
Переход от анализа более обобщённых данных к еженедельным срезам позволил отделить устойчивую прибыльность от случайной, что было слабым местом первой итерации. Выбор конверсии в качестве базовой метрики оказалось лучшим решением, ввиду её ограниченности диапазоном [0, 1], который корректно сглаживается к глобальному приору, тогда как неограниченные величины (стоимость лида, ROI) сглаживанию поддаются плохо.
На опорной кампании достигнута точность (Accuracy) 98,5 % при F1-мере 0,65. Высокий Recall при умеренном Precision означает, что модель почти не теряет прибыльные источники, расплачиваясь за это допуском части слабых, что для задачи экономии бюджета приемлемо. Опять же, ориентироваться на теоретическую точность в данном исследовании – вторично. В первую очередь следует оценивать именно экономику предсказаний.
Также, стоит уточнить, что «новые» и «серые» источники (по сути, у которых статистики почти или совсем нет) здесь не отмечались как положительные, оттуда и просадка в объёмах чистой прибыли по РК 46210 и 46081 с новыми и «средними» связками в общей оценке. Такое поведение допустимо в рамках рекомендательной системы, так как, фактически, по результирующим предлагаемым действиям блокировки производиться не будет ни в автоматическом/ни в ручном режиме (по решению специалиста, разумеется).
Ограничения исследования
На источниках с числом кликов, близким к нулю, оценка конверсии вырождается в глобальный приор и теряет различающую силу; здесь преимущество сохраняет первая итерация за счёт сигналов расхода и прибыли. Калибровка гиперпараметров выполнена эмпирически и при смене тематики кампаний требует переоценки. Волатильность ROI между неделями учитывается только при присвоении категории, но не в самом балле. Для холодного старта разумен ансамбль двух моделей с переносом веса на вторую по мере накопления конверсий.
Заключение
Предложенная вторая итерация байесовской модели подтвердила применимость для ранней фильтрации трафика с учётом временной динамики источника. Эксперименты на реальных данных показали Accuracy 98,5 % при F1-мере 0,65 на опорной кампании; модель удерживает прибыль на исходном уровне и повышает рентабельность за счёт сокращения избыточного расхода. Распределение источников по пяти управленческим категориям делает результат пригодным для ежедневной работы менеджера, а реализация в виде системы поддержки принятия решений на стеке React/PHP/ClickHouse обеспечивает пересчёт по запросу и кэширование результатов.
Перспективные направления развития:
- объединение двух итераций в ансамбль с переключением по объёму накопленных данных для закрытия холодного старта;
- автоматизация управленческих действий прямо из интерфейса (отключение источника, изменение лимитов и бидфлоров);
- расширение глубины анализа таргетинга до уровня города или устройства и окна истории с 6 до 12 недель.
- отказ от учёта рекламного места в связке источника, позволит уменьшить выборку, упростить и ускорить расчёты.
References
1. Ветров Д. П., Кропотов Д. А. Байесовские методы машинного обучения: курс лекций. – М.: ВМиК МГУ, 2007. – 240 с.2. Звягин Л. С. Применение байесовского подхода в измерениях аналитических данных как фактор формирования процессов системного экономического развития // Молодой учёный. – 2017. – № 22 (156). – С. 256–261.
3. Елкин Д. А., Минаков И. А., Вольман С. И. Автоматическая оптимизация интернет-рекламы // Вестник Самарского государственного технического университета. Серия: Технические науки. – 2011. – С. 228–232.
4. Индустриев М. А., Игнатьев М. А. Автоматизация управленческих решений как новый фактор повышения эффективности менеджмента организации // Гуманитарный научный журнал. – 2020. – № 1. – С. 68–76. – DOI: 10.24411/2078-9661-2020-10010.
5. Михайленко Н. Н. Оценка эффективности рекламной кампании в условиях информационно-технологического прогресса // Научный результат. Технологии бизнеса и сервиса. – 2023. – Т. 9, № 4. – С. 153–162. – DOI: 10.18413/2408-9346-2023-9-4-1-3.
6. Чуб В. С. Сравнительный анализ методов машинного обучения в оценке кредитных рисков // Образовательные ресурсы и технологии. – 2023. – С. 81–92. – DOI: 10.21777/2500-2112-2023-3-81-92.
7. Пилипенко А. Ю. Прогнозирование спроса на товары средствами машинного обучения // StudNet. – 2022. – № 2. – С. 1278–1291.
8. Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных / пер. с англ. А. А. Слинкина. – 2-е изд., эл. – М.: ДМК Пресс, 2023. – 401 с. – ISBN 978-5-89818-300-4.
9. Graepel T., Quiñonero Candela J., Borchert T., Herbrich R. Web-Scale Bayesian Click-Through Rate Prediction for Sponsored Search Advertising in Microsoft’s Bing Search Engine // Proceedings of the 27th International Conference on Machine Learning (ICML-2010). – 2010. – P. 13–20.
10. He X., Pan J., Jin O. et al. Practical Lessons from Predicting Clicks on Ads at Facebook // Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. – 2014. – P. 1–9.
11. McMahan H. B. et al. Ad Click Prediction: a View from the Trenches // Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. – 2013. – P. 1222–1230.
12. Richardson M., Dominowska E., Ragno R. Predicting Clicks: Estimating the Click-Through Rate for New Ads // Proceedings of the 16th International World Wide Web Conference. – 2007. – P. 521–530.
13. Wang J., Zhang W., Yuan S. Display Advertising with Real-Time Bidding (RTB) and Behavioural Targeting // Foundations and Trends in Information Retrieval. – 2017. – Vol. 11, No. 4–5. – P. 297–435. – DOI: 10.1561/1500000049.