Рекламная кампания может получить в отчёте много заказов и всё же не добавить достаточно бизнеса, чтобы покрыть собственные расходы. Самое трудное число здесь — не покупки, зарегистрированные после контакта с объявлением. Нужно оценить разницу между покупками при проведении кампании и покупками при определённом альтернативном сценарии. Случайное распределение участников помогает построить такое сравнение, но не позволяет пометить каждую отдельную покупку как несомненный результат рекламы.
25 февраля 2026 года «Коммерсантъ» привёл оценку «Кокос Перформанс» (Kokoc Performance): рынок маркетинга, ориентированного на результат, в России за 2025 год достиг 450 млрд рублей. Крупнейшими категориями были контекстная реклама, таргетированная реклама и ритейл-медиа. Это оценка участника рынка, а не измерение дополнительных продаж, вызванных рекламой.
Масштаб расходов делает важным более узкий вопрос со стороны заказчика: какие данные связывают затраты на конкретную кампанию с дополнительным вкладом в результат бизнеса? Ниже рассматривается условный эксперимент с заранее оговорёнными предпосылками. Он не описывает компании из публикации, не воспроизводит клиентов какого-либо маркетплейса и не устанавливает типичную эффективность рекламного канала. Все количества заказов и денежные величины в примере придуманы для объяснения одного механизма.
Сначала определить, что именно сравнивается
Представим неназванного продавца и две тысячи людей, соответствующих условиям участия. До начала кампании случайная процедура распределяет тысячу человек в экспериментальную группу и тысячу в контрольную. Первой группе показывают кампанию, второй её не показывают. Остальные коммерческие условия в этой упрощённой модели одинаковы: тот же товар, та же цена и один период, в течение которого учитываются покупки. Граница сравнения известна до получения результата.
Здесь сравниваются результаты назначения в группы, а не люди, которые решили нажать на объявление, с людьми, которые этого не сделали. Нажатие уже является поведением и может указывать на повышенную готовность купить. Если после запуска выбрать только кликнувших пользователей, первоначальный механизм сравнения будет утрачен. Человек, который не проявил интереса к объявлению, всё равно остаётся в той группе, куда его определила исходная процедура.
Альтернативный сценарий тоже должен быть назван. Контрольная группа продолжает сталкиваться с обычной деятельностью продавца, но не получает конкретную проверяемую кампанию. Это не мир без рекламы, рекомендаций, знакомства с маркой и других поводов для покупки. Поэтому оценивается добавление одного вмешательства к заданному фону. Полученную разницу нельзя автоматически назвать ценностью всего маркетинга продавца или всей истории отношений с его клиентами.
Документация сервиса оценки прироста конверсий (Conversion Lift) компании «Гугл» (Google) описывает сравнение группы, получающей рекламу, с группой без её показа. Это методологическая опора, а не данные об условном продавце. Ссылка не означает доступность сервиса в конкретной стране и не является рекомендацией определённой платформы.
Не менять состав групп вслед за поведением покупателей
Случайное назначение полезно потому, что группы формируются до наблюдаемой реакции. Аналитик не может намеренно собрать самых заинтересованных покупателей в одной части эксперимента, а наименее заинтересованных — в другой. Однако процедура не обещает точного совпадения всех характеристик в двух получившихся группах. Случайные различия сохраняются, особенно при небольшом эксперименте или сильно меняющемся числе заказов. Эту неопределённость нельзя отменить удачным названием метода.
В модели принимается, что распределение выполнено правильно, покупки наблюдаются одинаково полно, а участники не передают рекламное воздействие через границу групп. Нет одновременной смены цены, особого распределения товара или другого действия, которое затрагивает только одну сторону сравнения. Это упрощающие условия примера. Они не являются утверждением, будто реальные коммерческие эксперименты автоматически свободны от таких затруднений и не требуют отдельной проверки исполнения.
Важно также различать единицу назначения и единицу результата. Распределяем мы людей, а считаем их заказы в общем временном окне. Один человек способен оформить несколько покупок, поэтому число покупателей не обязано совпадать с числом транзакций. Для нашей задачи существенно другое: правило подсчёта одинаково для обеих групп, а участники не исключаются из анализа только потому, что их поведение мешает получить желаемый итог.
Отсутствующая запись о покупке не равна отсутствию покупки. Если заказы экспериментальной группы технически видны лучше, разница может частично отражать качество наблюдения. Сравнение завершённой недели для одной стороны с неполной неделей для другой тоже создаёт искусственное преимущество. Прежде чем обсуждать финансовый вклад, нужно убедиться, что две суммы заказов имеют одинаковую границу наблюдения и одинаковый смысл. Иначе дальнейшая аккуратная арифметика лишь закрепит исходную ошибку.
Разница между двумя итогами является оценкой
К концу условного периода экспериментальная группа оформила 150 заказов, контрольная — 100. Поскольку исходная численность групп одинакова, простая разность равна пятидесяти. Это точечная оценка дополнительных заказов в экспериментальной группе, связанная с проверяемой кампанией при принятых условиях. Она не представляет собой перечень пятидесяти конкретных транзакций, для каждой из которых доказано, что без объявления покупки не произошло бы.
Отдельно работает система рекламной атрибуции. По её установленному правилу кампания получает зачёт за 120 заказов экспериментальной группы. Оставшиеся тридцать заказов такого зачёта не получают. Эти величины классифицируют наблюдавшиеся покупки, но не показывают ненаблюдаемый альтернативный поступок каждого покупателя. Они не меняют и общий итог экспериментальной группы: в ней по-прежнему зарегистрировано 150 заказов, независимо от того, какие рекламные метки стоят в отчёте.
Различие между 120 зачтёнными заказами и оценкой прироста в пятьдесят не доказывает, что система посчитала семьдесят несуществующих покупок. Все зачтённые транзакции могут быть реальными. Расчёты отвечают на разные вопросы: один распределяет рекламный зачёт между событиями, другой оценивает разницу относительно группы без проверяемого вмешательства. Обвинение в фиктивных продажах потребовало бы иных доказательств, которых в этом примере нет и которые из разности не следуют.
Нельзя и объявить тридцать незачтённых заказов полной величиной обычного спроса. Контрольная группа даёт основание оценивать этот спрос иначе, хотя сама оценка остаётся неопределённой. Рекламная метка не раскрывает, какой именно клиент всё равно купил бы товар. Эксперимент позволяет работать с совокупным эффектом, не восстанавливая отсутствующую альтернативную историю каждого человека. Это ограничение не мешает расчёту, но существенно ограничивает язык, которым результат описывается руководителю.
Перевести прирост заказов в дополнительный вклад
Теперь зададим условным заказам простую экономику. Каждый приносит десять денежных единиц выручки и оставляет четыре единицы после учтённых в модели избегаемых затрат на выполнение заказа. Сама кампания стоит 300 единиц. Цена, размер заказа и четырёхединичный вклад одинаковы для всех покупок. Такое упрощение сделано намеренно: оно не позволяет спрятать за результатом изменение ассортимента, различие скидок или более дорогую комплектацию части заказов.
Отчёт атрибуции связывает 120 заказов с 1200 единицами выручки. Деление этой суммы на рекламные расходы 300 даёт отношение выручки к расходам, равное четырём. Это показатель выручки, а не прибыли. Даже до экспериментального сравнения было бы ошибкой считать каждую полученную от покупателя денежную единицу свободной для покрытия рекламы. Заказ требует исполнения, и модель заранее оставляет после соответствующих затрат только четыре единицы из десяти.
Расчёт по точечной оценке эксперимента даёт пятьдесят дополнительных заказов и 500 единиц дополнительной выручки. Отношение этой выручки к расходам составляет 500, делённые на 300, то есть пять третьих. Для рассматриваемого решения важнее следующий шаг: пятьдесят заказов приносят 200 единиц дополнительного вклада до рекламы. После вычитания 300 единиц расходов на кампанию оценённый дополнительный вклад составляет минус 100. Положительная дополнительная выручка не устраняет этот результат.
Полученная величина не является чистой прибылью продавца. За границей сравнения остаются остальной бизнес, постоянные общие расходы, налоги, финансирование и другие не включённые в модель статьи. Она также не доказывает отрицательный истинный эффект кампании: исходная разность заказов остаётся оценкой. Расчёт показывает, какой экономический вывод следует именно из этой точечной оценки при заданных расходах и заданном вкладе каждой дополнительной покупки.
Проверить арифметику без рекламного коэффициента
Тот же итог можно получить прямым сравнением двух сторон. Сто пятьдесят заказов экспериментальной группы дают 600 единиц вклада до рекламы. После рекламных расходов остаётся 300. Сто заказов контрольной группы дают 400 единиц без этих расходов. Разность между 300 и 400 снова равна минус 100. Такая проверка полезна тем, что возвращает внимание от привлекательного отношения выручки к расходам к самим сопоставляемым денежным итогам.
В расчёт дополнительного вклада должны входить только расходы, вызванные определённым вмешательством. В нашем примере прямо предполагается, что все 300 единиц относятся именно к нему. Если реальный договор одновременно оплачивал другие действия или выполнение заказов обходилось группам по-разному, понадобилось бы иное описание экономики. Добавлять подобные обстоятельства задним числом ради удобного результата означало бы менять задачу, а не уточнять уже рассчитанный ответ.
Порог окупаемости не заменяет статистическую проверку
При вкладе четыре единицы с каждого дополнительного заказа кампания должна добавить семьдесят пять заказов, чтобы покрыть расходы 300. Это экономический порог внутри условной модели. Он не означает, что достаточно семидесяти пяти атрибутированных заказов, и не задаёт статистический критерий. Нынешняя точечная оценка в пятьдесят дополнительных покупок находится на двадцать пять заказов ниже этого порога. Такая дистанция имеет денежный смысл, но сама по себе ничего не говорит о точности оценки.
Для проверки чувствительности представим три разных значения прироста при неизменных прочих условиях: тридцать, пятьдесят и девяносто заказов. Они дают соответственно 120, 200 и 360 единиц вклада до рекламных расходов. После вычитания 300 остаются минус 180, минус 100 и плюс шестьдесят. Эти варианты показывают, насколько экономический результат зависит от величины дополнительного спроса, даже если цена заказа и рекламный бюджет уже известны.
Три варианта являются сценариями, а не доверительным интервалом. Для них не заданы вероятности, и они не получены из распределения результатов эксперимента. Представить такой набор как статистический диапазон означало бы придать простой арифметике необоснованную доказательную силу. Для надлежащей оценки неопределённости нужны данные о дизайне и наблюдавшихся исходах реального эксперимента. Одних удобных круглых чисел для этого недостаточно, как недостаточно и уверенного тона пояснения.
Поэтому экономический порог и статистическая неопределённость должны занимать разные строки в записи о решении. Первая величина отвечает на вопрос, сколько дополнительного бизнеса требуется при данной экономике. Вторая характеризует, что позволяют утверждать данные о неизвестном эффекте. Оценка выше порога может быть неточной; очень точная оценка может оказаться ниже требуемого уровня. Смешение этих вопросов делает вывод убедительнее на вид, но слабее по существу.
Сохранить смысл сравнения при исполнении кампании
Контрольная группа может получить часть воздействия через другой маршрут или через передачу предложения участниками. Это не просто неудобство для отчёта. Меняется само различие, которое создаёт эксперимент. Если обе стороны фактически получают значительную часть кампании, исходное описание «показ кампании против отсутствия её показа» уже неточно передаёт происходящее. Аналитику важно назвать реализованное различие, а не продолжать использовать удобное первоначальное название после изменения условий.
Сходная трудность возникает при изменении предложения. Если только одной группе не хватает рекламируемого товара, итог включает разницу в доступности. Если вместе с кампанией появляется дополнительная скидка, проверяется совместный пакет, а не реклама сама по себе. Такие вопросы могут быть совершенно законными коммерческими задачами. Однако заключение должно относиться к тому пакету, который действительно распределили, без незаметного переноса результата на отдельную его составляющую.
Период наблюдения тоже является содержательной границей. Покупки до распределения не могут быть результатом назначенного вмешательства. Покупки после заранее выбранного завершения находятся за пределами нашей модели. Долгосрочный эффект может оказаться важным, но его нельзя просто добавить положительной величиной без данных. В этом примере намеренно не оцениваются пожизненная ценность клиента, будущая узнаваемость марки или предполагаемая экономия на последующих кампаниях. Они требуют другого доказательного материала.
Наконец, эксперимент ограничен выбранной аудиторией. Две группы представляют людей, соответствующих условию участия, а не всех когда-либо обслуженных покупателей. Умножение найденной разности на всю клиентскую базу потребовало бы дополнительной предпосылки о переносимости эффекта. Другой круг людей, другая интенсивность кампании и другая коммерческая обстановка могут требовать собственных данных. Число пятьдесят нельзя механически превратить в универсальную норму дополнительного спроса для любого масштаба расходов.
Записать решение в порядке, который поддерживают данные
Следует различать и обучение на завершённом тесте с обещанием такого же результата от следующей кампании. Даже безупречно выполненное сравнение описывает вмешательство определённого масштаба. Увеличенный бюджет может привести других людей или повысить частоту контактов с прежними участниками. Ни одно из этих изменений не представлено фиксированными группами и фиксированными расходами нашего примера. Решение о расширении поэтому ставит новый вопрос, а не просто повторяет уже знакомое вычитание двух итогов.
Такая граница не делает анализ бесполезно осторожным. Команда может точно записать, что завершённое сравнение дало оценку в пятьдесят дополнительных заказов и минус 100 единиц дополнительного вклада при заданной экономике. Одновременно она может не выносить заключения о ещё не проверенном изменённом вмешательстве. Это содержательнее, чем объявить всю рекламу неудачной или считать высокий коэффициент атрибутированной выручки окончательным доказательством успеха. Эксперимент приносит полезный ответ именно потому, что вопрос сформулирован достаточно узко и не меняется после получения цифр.
Полезная запись начинается с назначения участников и заканчивается экономикой. Обратный порядок подталкивает команду искать удобную метрику после того, как стало понятно, какой результат хотелось бы показать. Следующий перечень сохраняет логику условного эксперимента, не превращаясь в инструкцию по настройке конкретного рекламного продукта. Он помогает увидеть, на каком именно переходе между наблюдением и выводом требуется дополнительное основание.
- Что именно распределялось между участниками и какая обычная деятельность оставалась доступной контрольной группе?
- Сохранены ли все назначенные участники при одинаковом определении заказа и общем периоде наблюдения?
- Какое число является рекламным зачётом, а какое — экспериментальной точечной оценкой?
- Какая неопределённость сопровождает оценку отдельно от иллюстративных сценариев чувствительности?
- Какой вклад с дополнительного заказа и какие расходы вмешательства относятся к денежному сравнению?
- Ограничивается ли заключение проверенными аудиторией, пакетом действий и периодом?
Модель не доказывает неэффективность рекламы, ориентированной на результат. Она показывает, почему кампания со 120 реальными зачтёнными заказами и четырёхкратным отношением выручки к расходам может одновременно иметь отрицательный оценённый дополнительный вклад. Недостающий шаг — не новое название показателя и не ещё одна коллекция кликов. Нужны обоснованное сравнение с определённой альтернативой и денежный расчёт, который сохраняет границы и неопределённость этого сравнения вместо того, чтобы скрывать их за одним красивым коэффициентом.