Кристина Как понять на второй неделе, что бот работает
Через две недели после подключения хочется понять, стало лучше или нет. Отчёт «обработано 340 обращений» на этот вопрос не отвечает: он показывает объём, а не результат.
Что смотреть
Доля обращений, закрытых без человека. Главный показатель нагрузки. Растёт — база знаний наполняется; стоит на месте — в ней дыры.
Доля переданных человеку и причина передачи. Передача по правилу (тема требует человека) и передача из-за незнания — это разные вещи. Вторая указывает, чего не хватает в базе.
Время до первого ответа. Меряется в минутах и должно упасть до секунд. Если не упало — значит, обращения приходят в канал, который не подключён.
Доля диалогов, дошедших до заявки. Ответы ради ответов ценности не имеют; смысл в том, сколько разговоров закончились записью, заказом или контактом.
Обрывы на середине. Диалоги, где человек перестал отвечать. По ним видно, на каком вопросе люди уходят.
Чего смотреть не стоит
- Общее число сообщений. Растёт от подключения нового канала, а не от качества.
- Длину диалога. Короткий бывает и хорошим, и провальным.
- Оценки «нравится». Их ставят единицы, и обычно недовольные.
Что делать с числами на второй неделе
Открыть двадцать диалогов подряд и прочитать их целиком — не выборку из отчёта, а подряд. За полчаса это даёт больше, чем любая сводка: видно, где ответ формально верный, но человек всё равно переспросил.
Дальше — три действия. Дописать в базу знаний то, чего в ней не хватило. Поправить сценарий там, где бот отвечал, хотя должен был передать. И наоборот — снять правило передачи там, где оно срабатывает на безобидных вопросах.
Первый месяц — не проверка бота, а инвентаризация того, что компания на самом деле отвечает клиентам.