AI-чат и живые чаттеры: сравнивайте процессы, а не обещания

В чём живой чаттер сильнее ИИ

Живой чаттер сильнее ИИ там, где решения нет в инструкции, а ИИ берёт поток рутинной переписки и часы, которые смены не покрывают; поэтому сравнивать их стоит на одной и той же работе, а не по обещаниям. Человек вывозит то, чего нет в инструкции: неоднозначное сообщение, фаната в плохом состоянии, просьбу, которая формально допустима и очевидно не подходит этой модели. Он замечает, что разговор сменил характер, и умеет решить, что сейчас продавать не надо.

Слабое место — не люди, а форма работы. Стабильность работы чаттера OnlyFans зависит от обучения, нагрузки, усталости, текучки и от того, насколько процесс записан; и всё это проседает в четыре утра в конце длинной смены.

В чём ИИ сильнее живого чаттера

Повторяемость, структура и память. Follow-up по расписанию, поиск того, что фанат писал полтора месяца назад, классификация сообщения, одинаковое применение ценового правила в любой час — там, где системе не надоедает, а человеку — и чаттеру, и самому автору — надоедает.

Слабость тоже структурная: она ровно настолько хороша, насколько хороши правила, теги контента и критерии эскалации, и ошибается она уверенно. Человек, который чего-то не знает, обычно по нему это слышно. По модели — нет.

Сравнивайте риск с риском, а не с нулём

Выбор часто подают как «риск человека против безрискового AI», и это неверно в обе стороны. Сравнивайте одни и те же свойства с обеих сторон: у кого доступы, какие права, что логируется, кто может прочитать переписку, сколько хранятся данные, как ошибка вообще замечается и как откатывается.

Живой чаттер с неуправляемым паролем и без журнала — не очевидно безопаснее настроенной системы с ограниченными правами и полным логом. И система с неограниченной автономностью без проверки не безопаснее ни того, ни другого.

Что дешевле: где ошибаются в расчёте стоимости

Автоматизация переносит затраты, а не убирает их. Время, уходившее на печать, уходит в очереди проверки, разбор исключений, подготовку контента, поддержку правил и решения, которые никогда не автоматизировались. Сравнение «ставка чаттера против платы за сервис» сравнивает разные вещи.

Считайте весь процесс с обеих сторон, включая управленческое время, и приводите к одному диалогу, а не к месяцу: именно объём делает один из вариантов «дешёвым».

Учитывайте и то, как устроена плата. Чаттеру часто платят ставку плюс процент с продаж. У OF.ai AI Chatter на первой модели бесплатен, а у AI Sexter два плана: AI Sexter Start без ежемесячной платы и с 15% от продаж ИИ и AI Sexter Pro с ежемесячной платой за модель и 5%. Обе схемы зависят от объёма продаж, поэтому сравнивайте их на одном и том же объёме, а цифры берите на странице тарифов.

Гибрид ИИ и людей проверить проще, чем любую крайность

Рутину — автоматизации, исключения — человеку. Дальше достаточно двух чисел: доля передач человеку и доля правок в том, что человеку не передавали.

Эти же два числа говорят, когда расширять автономность и какую часть работы команды чаттеров отдать OF.ai следующей. Автономность, заработанная падающей долей правок, — не то же самое, что автономность, выданная потому, что продукт её предлагает.

Что спросить у поставщика и у чаттеров до выбора

У поставщика: что именно система делает без человека, какие данные читает, как ошибается, что логируется и как вы измерите результат. При найме команды — те же вопросы, только сформулированные про людей.

Если в ответ приходит список возможностей, а не описание механики, вам не сказали достаточно, чтобы решать.

Делите работу по задачам, а не по аккаунтам

Обычно спрашивают, кому вести аккаунт — агентству или софту. Полезнее спросить, кому принадлежит каждый тип задач: внутри одного аккаунта живёт несколько видов работы с очень разным риском. Решение на уровне задач позволяет автоматизировать безопасные части уже сейчас, а остальное оставить человеку, пока данные не скажут иначе.

Таблица ниже — стартовое распределение, а не приговор. В последнем столбце запишите правило, по которому разговор переходит от одного владельца к другому, и сформулируйте его так, чтобы новый человек в команде агентства применил его, ни у кого не спрашивая.

Вернитесь к таблице после первых недель реальной работы. Задачи, которые казались рискованными, часто идут нормально, а те, что выглядели рутиной — например, ответ фанату, который цитирует старую переписку, — оказываются требующими большей аккуратности.

Проведите слепое сравнение до того, как решать

Мнение о качестве AI-чата обычно складывается из пары запомнившихся примеров — удачных или провальных. Слепая проверка заменяет это честным сравнением и занимает полдня, а не месяц.

Возьмите набор реальных недавних диалогов, которые покрывают ваши типовые ситуации. В каждом выберите сообщение фаната в определённой точке и подготовьте два варианта ответа: тот, что написал живой чаттер, и тот, что предложила оцениваемая система. Уберите всё, что выдаёт источник, перемешайте и дайте автору или менеджеру оценить их, не зная, где чей.

Цель — не выбрать победителя, а увидеть, где ошибается каждая сторона: именно это подсказывает, какие задачи кому отдавать.

Пример одной карточки для оценки (иллюстрация). Фан три дня назад писал, что у него болеет собака, а сегодня спрашивает, есть ли новое видео. Ответ А: «Есть! Вот свежее, всего за…» Ответ Б: «Как там твой пёс? Новое есть, но сначала скажи, как ты». Проверяющий не знает, где чей ответ; ему нужно отметить, какой прошёл критерий «точность» — учёл ли ответ то, что фан писал раньше.

• Сначала выберите сценарии, потом подбирайте под них диалоги — иначе в выборку попадёт то, что проще всего было найти.
• Намеренно включите неудобные случаи: расплывчатое сообщение, возражение по цене, фаната, который пишет, что у него тяжёлый день.
• Пусть оценивают хотя бы двое и независимо друг от друга; внимательнее всего разберите ответы, в которых они разошлись.
• Записывайте в двух словах, почему ответ проиграл, а не только сам факт проигрыша.

Оценивайте обе стороны по одной шкале

Критерии работают, только если провалить их может и человек, и система. Критерий вроде «звучит по-человечески» по определению подыгрывает одной стороне и ничего полезного не говорит. Формулируйте критерии про сам ответ, а не про того, кто его написал.

Оценивайте каждый критерий как «прошёл / не прошёл», а не по шкале. На шкале оценки сбиваются к середине, а бинарная оценка заставляет принять решение и делает расхождения между проверяющими видимыми.

• Голос: было бы автору комфортно, если бы это сообщение отправила она сама?
• Точность: соответствует ли ответ тому, что фанат действительно написал, в том числе раньше в диалоге?
• Границы: остаётся ли ответ в рамках того, что автор согласна обсуждать и продавать?
• Уместность предложения: если предлагается контент, он реально существует, доступен и стоит столько, сколько назначил автор?
• Эскалация: если ситуация требовала человека, ответ обошёлся без обещаний?
• Следующий шаг: есть ли у фаната что-то, на что легко ответить?

Признаки того, что распределение пора сдвинуть — в любую сторону

Какое бы распределение вы ни выбрали, где-то оно окажется неверным, и полезная привычка — проверять его по расписанию, а не тогда, когда что-то пошло плохо. Смотрите на правки и передачи человеку вместе, сгруппировав по типам задач, и спрашивайте, у правильного ли владельца каждая задача сейчас.

Если инструмент вроде OF.ai позволяет включать и выключать AI в отдельном диалоге и подключаться в любой момент, используйте это, чтобы переводить отдельных фанатов или типы задач, а не переключать весь аккаунт разом.

• Сдвигайте работу к автоматизации, когда автоматические ответы по задаче несколько циклов проверки подряд почти не требовали правок, а проверяющие их пролистывают, а не редактируют.
• Сдвигайте работу к людям, когда правки по задаче собираются вокруг одной и той же ошибки, а изменение настроек её не исправило.
• Сдвигайте работу к людям, когда фанаты начинают замечать повторы или прямо спрашивают, есть ли там живой человек.
• Пересматривайте и человеческую сторону: если чаттеры весь день переписывают один и тот же рутинный ответ, эта задача — кандидат в шаблон или в автоматизацию.
• Не переносите задачу из-за одного неудачного диалога. Переносите из-за закономерности, на которую можно указать в заметках проверки.