KDDI развивает Buffmee - приложение для поиска и обсуждения медиаконтента. Пауза в диалоге заметна сразу. Пользователь задаёт вопрос обычным языком, а система находит подходящие сведения и готовит ответ. В компании хотели, чтобы ожидание ответа не превращало такой диалог в медленную форму поиска.
9 сентября KDDI и Google Cloud сообщили, что полная задержка ответа снизилась на 38%. Время до появления первого фрагмента ответа сократилось почти на 18%. Компания связывает результат с постоянной проверкой качества ответов и поиском узких мест в работе системы.
Где приложение теряло время
В подобных системах ответ проходит несколько шагов. Сначала сервис ищет подходящие материалы, затем модель собирает из них текст. Если один шаг тормозит, человек видит паузу, хотя остальные части уже готовы.
Команда KDDI поставила измерение задержки на каждый этап и стала проверять ответы автоматически. Это помогло отделить ошибки поиска от задержек при подготовке текста. После этого разработчики изменили схему работы компонентов и довели ответ до целевого времени.
Что взять для чат-бота компании
Для чат-ботов для бизнеса важен тот же порядок. Сначала выбрать один тип вопроса, где есть понятная база знаний. Затем измерить время до первого ответа, полную длительность диалога и долю случаев, когда сотруднику приходится исправлять результат.
Одна скорость не делает помощника полезным. Быстрый ответ без нужных данных только экономит секунды. KDDI проверяла качество вместе со скоростью, поэтому команда видела, какой этап мешает пользователю, вместо одного среднего числа в отчёте.
В Buffmee система работает с медиаконтентом. В компании можно начать с внутренней инструкции, статусов заказа или типовых вопросов поддержки. Сотрудник должен оставаться в цепочке там, где ответ влияет на деньги, договор или персональные данные.