Как измерять эффект AI-чата OnlyFans на контролируемом пилоте

Начните со своего исходного уровня, а не с чужого кейса

Результат ИИ-чата OnlyFans измеряют против собственного исходного уровня: фиксируют метрики до запуска, меняют одну часть процесса за раз, считают экономию отдельно от выручки и заранее решают, при каком результате пилот останавливается. Ниже — как это сделать без выдуманного ROI.

Чужие цифры плохо переносятся на другой аккаунт. Разная аудитория, разные цены, разный ритм публикаций, разные часовые пояса и разное качество того, кто отвечал раньше — любой из этих факторов двигает результат сильнее, чем выбор между ИИ-чаттерами. Сравнивать имеет смысл только с собственным недавним периодом.

Поэтому сначала зафиксируйте исходный уровень и не меняйте определения метрик по ходу. Определение, которое поехало на середине теста, даёт разницу, похожую на прогресс, но это арифметика, а не улучшение.

Список ниже намеренно короткий. План измерений, который никто не выдержит четыре недели, бросают на второй; а наполовину записанная база хуже, чем никакой, потому что сравнивать по ней всё равно будут.

• Объём диалогов и часы, которые реально закрыты людьми
• Покрытие ответов и доля эскалаций
• Доля правок — как часто ответ приходилось исправлять
• Одно записанное определение результата PPV
• Одно записанное определение удержания или продления
• Полная операционная стоимость, включая время на проверку

Меняйте одну часть процесса за раз

Если за две недели поменялись цены, контент, состав команды, скрипты и автоматизация, атрибуции больше нет, и никакой дашборд её не вернёт. Результат может быть хорошим — но вы не узнаете, что именно его дало, а значит не сможете повторить осознанно.

Начните с узкого сценария: первые ответы новым подписчикам или follow-up по одному сегменту. Тест, который отвечает на один вопрос, полезнее широкого, который не отвечает ни на один, и его гораздо проще откатить.

Считайте экономию отдельно от выручки

Более дешёвый процесс не означает более прибыльный, а рост выручки мог прийти от дропа контента или промо, случайно попавшего в те же недели. Считайте раздельно: стоимость одного диалога с одной стороны, выручку по когортам — с другой.

В стоимость обязательно включайте время на проверку. Именно эту строку чаще всего забывают, и именно она растёт, когда автоматизацию настроили широко: печатать перестают, а читать приходится больше.

Плату за сам сервис тоже записывайте по её устройству, а не одной строкой «подписка». В OF.ai AI Chatter на первой модели бесплатен, а у AI Sexter два плана: AI Sexter Start без ежемесячной платы и с 15% от продаж ИИ и AI Sexter Pro с ежемесячной платой за модель и 5%. На Start стоимость растёт вместе с продажами ИИ, на Pro часть её постоянна, — и пилот, который сравнивает «до» и «после», должен считать её так же, как она будет списываться. Цифры — в тарифах обоих планов AI Sexter.

Пример плана пилота на одну модель

Ниже — иллюстрация того, как может выглядеть записанный план, а не рекомендация по срокам и не чужой результат. Подставьте свои периоды и пороги.

Важно не содержание каждой строки, а то, что все они записаны до старта и не меняются по ходу. Если по ходу пилота что-то пришлось поменять, это отдельная запись с датой, а не тихая правка плана.

• Что меняем: ответы новым подписчикам ведёт AI Chatter; продажи по-прежнему ведут люди.
• Что не трогаем: цены, график постов, состав команды и промо на этот период.
• Исходный уровень: те же метрики за сопоставимый период до старта, посчитанные по записанным определениям.
• Исключения: кастомы, споры об оплате и важные фаны всегда у человека — и в пилоте, и в сравнении.
• Проверка: кто читает выборку диалогов, как часто и куда записывает правки.
• Остановка: при каком числе правок или какой жалобе пилот прекращается.
• Расширение: при каком результате следующим шагом станет AI Sexter на этой же модели.

Заранее решите, что заставит вас остановиться

До старта запишите результат, при котором пилот прекращается: доля правок выше порога, жалоба, фанат, который написал, что понял, с кем говорит. Решать это потом — значит решать, будучи привязанным к результату, а к тому, что строил месяц, нейтральным не остаётся никто.

То же самое в обратную сторону: назовите результат, при котором объём расширяется. Тогда расширение будет решением, а не сползанием.

Документируйте пилот по ходу

Записывайте даты, кто попал в тест, какие сценарии исключены, этапы диалога и персону модели, правила проверки и все изменения, сделанные в процессе. Записанное по ходу превращает историю в то, что может перепроверить второй человек; восстановленное задним числом превращается в рассказ, подтверждающий уже сделанный вывод.

Это же делает следующий тест дешевле. Основная стоимость управляемого пилота — придумать, как его вести, и она платится один раз, если кто-то записал.

Чего цифры вам не скажут

Часть важного не измеряется за четыре недели: звучит ли голос по-прежнему как голос модели, изменилось ли ощущение у давних фанатов, не была ли перейдена граница, на которую просто никто не пожаловался. Прочитайте выборку живых диалогов сами — в середине теста и в конце.

Пилот, из которого вышли только цифры, измерил ту половину вопроса, которую было легко измерить.

Как записать метрики так, чтобы двое посчитали одинаково

Метрика полезна, только если два человека, работая отдельно, получают из одних и тех же данных одно и то же число. Большинство споров по итогам пилота на самом деле — про определения: один считает ответом любое сообщение, другой — только то, что отвечает фанату по существу.

Запишите каждое определение вместе с источником данных и ловушкой, которой надо избегать. Держите этот лист рядом с результатами, чтобы никому не приходилось вспоминать, что означало число.

Проверьте определения до начала базового периода. Дайте одну и ту же неделю данных двум людям, попросите каждого отдельно посчитать все метрики и сравните результаты. Там, где числа разошлись, определение неоднозначно, — и исправить это сейчас гораздо дешевле, чем спорить в конце.

Какую схему сравнения выбрать для своего аккаунта

«До и после» — самая простая схема и самая слабая: всё, что ещё изменилось во втором периоде, засчитывается как результат. Если фанатов на аккаунте достаточно, схема, в которой оба процесса идут в одни и те же недели, даёт куда более чистый ответ.

Выберите схему до старта пилота и запишите, почему именно её. Менять схему на середине обычно хочется тогда, когда первая даёт ответ, который кому-то не нравится.

При разделении по группам фанатов распределяйте их по правилу, не связанному с тем, насколько ценными они кажутся, — например, через одного по дате подписки. Если группы подбирают вручную, самые перспективные фанаты обычно оказываются в новом процессе, и результат отражает выбор, а не изменение.

Какой бы ни была схема, исключённые сценарии должны быть одинаковыми для обеих сторон. Если при переходе с команды чаттеров на OF.ai кастомные запросы остаются человеку, в контрольной группе их тоже должен вести человек — иначе стороны делают не одну и ту же работу.

Еженедельный разбор пилота с постоянной повесткой

Пилот расползается, когда на результаты смотрят только в конце. Еженедельный разбор на полчаса, всегда с одной и той же повесткой, ловит проблемы рано и позволяет вести заметки, пока люди ещё помнят, что происходило.

Не меняйте повестку даже в недели, когда, кажется, ничего не случилось. Тихая неделя, записанная как тихая, — часть истории пилота, а пропуск оставляет пробел, который потом выглядит подозрительно.

Если в пилоте участвует больше одного человека, ведите разбор по очереди. Тот, кто запускал пилот, — наименее нейтральный читатель его результатов, а второй человек заметит то, что первый привык пропускать.

• Сначала проверьте критерии остановки — до того, как смотреть на что-то обнадёживающее.
• Обновите сводную таблицу по записанным определениям, не пересчитывая прошлые недели.
• Прочитайте небольшую выборку диалогов, включая несколько случайных.
• Перечислите все изменения настроек, цен, контента и состава команды за неделю.
• Отметьте всё необычное за пределами пилота: промо, праздник, сбой на платформе.
• Решите, нужно ли что-то менять, и если да — запишите дату изменения.

Четыре частые ошибки при чтении результатов

Хороший результат вполне может вводить в заблуждение. Прежде чем отчитываться о пилоте, сверьте его с этими типичными ошибками: из-за каждой из них временное или случайное изменение уже выглядело как устойчивое улучшение.

Если какая-то из них может быть применима, напишите об этом в отчёте. Результату, поданному с оговорками, проще доверять и его проще повторить, чем результату, поданному как окончательный.

Бывает и наоборот: реальное улучшение может спрятаться за слабой последней неделей или одним крупным возвратом. Смотрите на динамику по неделям, а не только на итог.

• Эффект новизны: какое-то время фанаты реагируют на всё новое. Проверьте, сохраняется ли эффект в последние недели, а не только в первые.
• Слабый исходный уровень: если предыдущий период был необычно провальным, почти всё после него выглядит прогрессом. Прежде чем доверять сравнению, посмотрите на историю за более долгий срок.
• Наложение событий: релиз контента или промо в те же недели может дать всю разницу целиком. Сверьтесь со своим списком необычных событий.
• Слишком мало диалогов: на малых числах несколько крупных покупок способны развернуть результат. Указывайте абсолютные значения рядом с любой долей.