Контроль поведения

Функционал позволяет выставить дополнительную проверку и повысить точность и надежность ответов агента

Агенты могут выполнять сложные действия, которые позволяют автоматизировать процессы, но в ряде случаев, когда от ответа агента зависит лояльность клиента, либо процесс подразумевает серьезное решение, дополнительная проверка, при необходимости, исправление ответа агента, может быть весьма полезным.

Представим, что клиент согласен выйти на сделку с большой суммой, а агент должен передать ему контактный телефон менеджера, в этой ситуации нельзя допустить ошибки в номере телефона менеджера. Либо клиент, получив неправильно описание товара, может поменять свое решение о покупке. Такие ситуации можно минимизировать за счет контроля поведения агента. Механизм перепроверяет ответ агента и корректирует его, либо подключает сотрудника для подстраховки.

Функционал Контроля поведения позволяет решить эти вопросы. Он доступен в верхней части инструкции агента.

Доступные возможности

Контроль поведения включает в себя следующие механизмы:

1. LLM-барьеры. Позволяют добавить этап проверки перед отправкой сообщения клиенту, Вы можете гибко задать, что именно необходимо проверить.

2. Контроль фактов. Контроль ответов на основе имеющейся проверенной информации из базы знаний агента, исключает придуманную фактическую информацию.

3. Контроль действий. Позволяет исключить ответ агента без вызова соответствующей функции, например, подтверждение записи, без ее выполнения.

Настройка

LLM-барьеры

1. Перейдите на вкладку "LLM-барьеры" и нажмите "Добавить барьер".

1. После этого переходим к созданию барьера.

Задайте название барьера и условие. Основное условие - LLM-инструкция. Она задается в формате псевдо-кода, который является логической инструкцией, понятной агенту и не вызывающей двусмысленностей. Условия, когда проверка должна сработать возвращают true, остальные случаи соответственно возвращают false. Функционал позволяет задать другие триггеры.

1. Задаем действие, которое будет выполняться при проверке.

Можно задать перегенерацию ответа, другими словами дать модели инструкцию, как поступить в конкретной ситуации, если она ошиблась. Либо можно задать фиксированный текст, который модель пришлет в случае своей ошибки.

1. Задаем запасной сценарий.

В конце настройки задаем количество повторных генераций, что позволяет повторно сгенерировать ответ на случай новой ошибки. Ниже задается запасное действие - фиксированная фраза клиенту, остановка диалога, вызов менеджера. В случае, если ответ сгенерирован с ошибкой и больше попыток генерации нет, клиент получит фиксированную фразу, менеджеру уйдет уведомление, либо диалог будет остановлен, возможна комбинация условий. После задания всех настроек необходимо сохранить барьер.

1. Важно активировать флаг барьера после его создания.

В рамках LLM-барьера есть два готовых рекомендуемых барьера - Числа только из источников и Контроль скидки.

Числа только из источников - исключают ненадежные ответы с числовой информации, такой, как цены, номера телефонов, реквизиты. Если в базе знаний агента нет точной информации, проверка исключит придуманную информацию. Контроль скидки - позволяет исключить информацию о скидках, которую агент не брал из базы знаний.

Контроль фактов

1. Перейдите на вкладку "Контроль фактов" и активируйте флаг "Отвечать на вопросы только по базе знаний".

1. Переходим к настройке.

Есть два возможных режима работы - обычный и строгий.

Обычный режим - проверяет только ключевые факты. Строгий режим - проводит более глубокую проверку и срабатывает при любых утверждениях, по которым не было обращений в базу знаний.

Предусмотрен тест контроля фактов на последних диалогах, для проведения теста нажмите кнопку "Прогнать". В поле "Если ответа нет в базе знаний", задайте фразу, которую агент напишет клиенту, при вопросе, по которому нет информации в базе знаний. Аналогично Шагу 4 LLM-барьеров Вы можете задать остановку диалога, вызов менеджера, либо обе опции.

Контроль действий

1. Активируйте флаг "Реагировать на срабатывания и ошибки".

1. Начинаем настройку

Внесите фразу, которая будет отправлена клиенту при срабатывании механизма. Аналогично предыдущим механизмам можно задать остановку диалога, вызов менеджера, либо обе опции.

Механизм срабатывает, если агент подтверждает выполнение действия без вызова соответствующей функции действия, что позволяет исключить Например, подтверждает запись клиента на услугу, без обращения к Yclients для выполнения самой записи.