Как измерять эффект AI-чата OnlyFans на контролируемом пилоте

Начните со своей базовой линии, а не с чужого кейса

Чужие цифры плохо переносятся на другой аккаунт. Разная аудитория, разные цены, разный ритм публикаций, разные часовые пояса и разное качество того, кто отвечал раньше — любой из этих факторов двигает результат сильнее, чем инструмент. Сравнивать имеет смысл только с собственным недавним периодом.

Поэтому сначала зафиксируйте базовую линию и не меняйте определения метрик по ходу. Определение, которое поехало на середине теста, даёт разницу, похожую на прогресс, но это арифметика, а не улучшение.

Список ниже намеренно короткий. План измерений, который никто не выдержит четыре недели, бросают на второй; а наполовину записанная база хуже, чем никакой, потому что сравнивать по ней всё равно будут.

• Объём диалогов и часы, которые реально закрыты людьми
• Покрытие ответов и доля эскалаций
• Доля правок — как часто ответ приходилось исправлять
• Одно записанное определение результата PPV
• Одно записанное определение удержания или продления
• Полная операционная стоимость, включая время на проверку

Меняйте одну часть процесса за раз

Если за две недели поменялись цены, контент, состав команды, скрипты и автоматизация, атрибуции больше нет, и никакой дашборд её не вернёт. Результат может быть хорошим — но вы не узнаете, что именно его дало, а значит не сможете повторить осознанно.

Начните с узкого сценария: первые ответы или follow-up по одному сегменту. Тест, который отвечает на один вопрос, полезнее широкого, который не отвечает ни на один, и его гораздо проще откатить.

Разделяйте экономию и изменение выручки

Более дешёвый процесс не означает более прибыльный, а рост выручки мог прийти от дропа контента или промо, случайно попавшего в те же недели. Считайте раздельно: стоимость одного диалога с одной стороны, выручку по когортам — с другой.

В стоимость обязательно включайте время на проверку. Именно эту строку чаще всего забывают, и именно она растёт, когда автоматизацию настроили широко: печатать перестают, а читать приходится больше.

Заранее решите, что заставит вас остановиться

До старта запишите результат, при котором пилот прекращается: доля правок выше порога, жалоба, фанат, который написал, что понял, с кем говорит. Решать это потом — значит решать, будучи привязанным к результату, а к тому, что строил месяц, нейтральным не остаётся никто.

То же самое в обратную сторону: назовите результат, при котором объём расширяется. Тогда расширение будет решением, а не сползанием.

Документируйте пилот по ходу

Записывайте даты, кто попал в тест, какие сценарии исключены, настройки модели, правила проверки и все изменения, сделанные в процессе. Записанное по ходу превращает историю в то, что может перепроверить второй человек; восстановленное задним числом превращается в рассказ, подтверждающий уже сделанный вывод.

Это же делает следующий тест дешевле. Основная стоимость управляемого пилота — придумать, как его вести, и она платится один раз, если кто-то записал.

Чего цифры вам не скажут

Часть важного не измеряется за четыре недели: звучит ли голос по-прежнему как голос модели, изменилось ли ощущение у давних фанатов, не была ли перейдена граница, на которую просто никто не пожаловался. Прочитайте выборку живых диалогов сами — в середине теста и в конце.

Пилот, из которого вышли только цифры, измерил ту половину вопроса, которую было легко измерить.