Почему измерить ROI рекламы почти невозможно
Одна из самых неудобных истин для индустрии: у большинства компаний нет и не может быть точного ответа на вопрос, окупается ли их реклама. Это не мнение и не критика отдельных инструментов — это вывод из 25 крупных полевых экспериментов, которые провели Рэндалл Льюис и Джастин Рао с ведущими американскими ритейлерами и финансовыми компаниями. Совокупный бюджет этих кампаний превысил 2,8 миллиона долларов, а охват достигал миллионов пользователей. Результат: даже в идеальных условиях RCT точное измерение возврата на рекламу остаётся экономически невыгодным, а часто и технически невозможным.
Первый и самый отрезвляющий факт — ширина доверительных интервалов. Медианный 95-процентный интервал для ROI в экспериментах составил более 100 процентных пунктов. Это значит, что исследование не позволяет отличить кампанию с доходностью плюс 50 процентов от кампании с минус 50 процентов: обе версии укладываются в интервал. Чтобы сузить его до приемлемых для инвестиционных решений 10 процентных пунктов, медианную кампанию пришлось бы увеличить примерно в 62 раза. Для финансовых услуг медианный множитель оказался ещё выше — 1241 раз. Для большинства фирм это заведомо запретительный масштаб.
Причина — в структуре данных, а не в качестве экспериментов. Продажи на уровне отдельного потребителя крайне волатильны относительно эффекта рекламы. Типичный коэффициент вариации продаж для ритейлеров составляет 10–15, для финансовых компаний — около 30. При этом эффект прибыльной кампании может составлять лишь несколько десятков центов на человека при стандартном отклонении продаж в десятки долларов. Доля дисперсии, объяснённая рекламой, в таких условиях измеряется миллионными долями. Чтобы надёжно выделить сигнал из шума, требуются миллионы человеко-недель наблюдений. Для многих рекламодателей это просто недоступно.
Второй важный вывод касается наблюдательных методов, которые широко используются в индустрии: регрессий с контролем, difference-in-differences, propensity score matching. Поскольку реклама по своей природе не распределяется случайно, а таргетируется, любой такой метод уязвим для смещения отбора. Авторы показывают, что даже небольшой дисбаланс между группами — например, если таргетированные пользователи изначально имели чуть более высокую вероятность покупки — может дать оценку эффекта, в десятки раз превышающую истинную. Иными словами, красивые цифры из наблюдательных отчётов часто отражают не эффект рекламы, а различия между аудиториями. Именно поэтому громкие заявления вроде трёхсотпроцентной эффективности онлайн-рекламы, встречавшиеся в отраслевых публикациях, требуют крайне скептического отношения.