Служебное

На данной вкладке находятся системные настройки бота, доступные у аккаунтов с активной подпиской "Интегратор"

Вкладка "Служебное" находится в самом конце доступных вкладок настроек бота.

Параметры LLM

Выбор языковой модели

При нажатии на поле "Языковая модель" откроется список доступных для подключения моделей.

Выбор модели оформлен таким образом, чтобы было возможным сравнить имеющиеся варианты по ключевым показателям. Качество - взвешенная оценка работы модели. Тип - показывает основные особенности модели, является ли модель думающей, принимает ли изображения для обработки, на каком уровне выполняет математические операции. Стоимость - средняя стоимость модели в сравнении с другими моделями.

Обратите внимание, если у модели активна иконка обработки изображений, это означает, что она принимает изображения напрямую, если иконка неактивна, то модель будет работать с изображениями через внутренний механизм обработки изображения на платформе, который передаст в модель только описание изображения, прямой обработки изображения не будет.

Флаг "Указать языковую модель для тестового чата" позволяет выбрать отдельную модель для тестового чата в кабинете Савви. Таким образом, Вы можете, например, сравнить работу моделей в одном боте.

Параметры ответа

В данном разделе Вы можете настроить теплоту ответов, используя ползунок "Случайность", чем больше значение, тем более креативным будет ответ, чем меньше, тем более точным и формальным. В диалогах, где нужно точное следование инструкциям, прогнозируемые ответы, лучше придерживаться умеренных, значений, если нужно более разнообразное и свободное общение, то можете увеличить значение случайности.

Максимальное количество токенов в ответе бота - определяет максимальный ответ, который может быть обработан от модели, при превышении лимита в диалоге отобразиться ошибка. В большинстве случае не требует изменений, но в ряде моделей с размышлениями значение необходимо увеличить, значение подбирается опытным путем.

Лимит параллельного вызова функций - если сценарий работы бота подразумевает выполнение большого количества функций, то в некоторых случаях превышение лимита в 10 вызовов приведет к ошибке, если результат выполнения каждой следующей не зависит от результата предыдущей, в этом случае лучше увеличить лимит параллельного вызова, после чего функции будут вызваны параллельно, и не выйдет ошибка последовательного вызова. Дополнительно, это позволит уменьшить стоимость диалога, поскольку вызов всех функций будет осуществлен в рамках одного обращения к модели.

Структурированный ответ

Использовать структурированный ответ - позволяет отправлять большой ответ, содержащий изображения, разбивая его на отдельные сообщения. Более подробно можно ознакомиться с функционалом в отдельной инструкции Структурированный ответ (отправка картинок ботом).

Использовать свою схему - при активации флага откроется окно для ввода своей JSON-схемы, которая позволит структурировать сообщения иным заданным образом.

Параметры RAG

Тонкая настройка RAG, механизма, который лежит в основе работы бота с документами и изображениями.

Возвращать чанки - флаг, который активирует возврат чанков боту в соответствии с настройками. Это базовая настройка при работе с Большими Файлами.

Если флаг выключен, а в Больших файлах загружены объемные документы, это может привести к сильному расходу токенов, потому что боту будет возвращен документ полностью, либо несколько документов полностью!

Количество возвращаемых чанков - количество чанков, которое возвращается для формирования ответа. Ответ будет сформирован на основе заданного количества наиболее подходящих чанков. Чем больше чанков, тем больше у бота будет материала для ответа. Но при этом ответ бота будет расходовать больше токенов. Порог срабатывания - это теплота, или расстояние между векторами. Чем это значение выше, тем более точный поиск будет применён, чем ниже, - тем менее точный. Менее точный - значит больше вариантов будет предложено под поисковую фразу. Значение от 0 до 1, где 1 - это строгое соответствие. Порог срабатывания поиска по изображению - определяет совпадение изображений. Чем выше значение, тем точнее совпадение.

Инструкции

Данный раздел настроек дает возможность задать свою системную инструкцию для бота и для некоторого его функционала. Таким образом, появляется возможность глобально корректировать поведение бота, если Вы меняете его системную инструкцию, либо точечно скорректировать некоторый функционал.

Обратите внимание, что работа ботов отлажена с предустановленным набором и формулировками инструкций. Вносите изменения только при необходимости.

Доступна корректировка следующих инструкций: Описание функции вызова БЗ Системная инструкция Системная инструкция для пользовательских переменных Описание для функции установки значения пользовательских переменных Системная инструкция для Google Calendar

Инструкции для пользовательских переменных работают только для фиксированных пользовательских переменных.

Инструкция вносится в соответствующее поле. При необходимости можно вернуть предустановленную инструкцию нажатием кнопки "Вернуть значение по умолчанию".

Дополнительные действия

Отображать стоимость диалога в тестовом чате - активация флага позволяет вывести стоимость диалога в тестовом чате, что облегчает настройку бота с целью оптимизации расходов.

Передача бота клиенту может быть выполнена несколькими способами.

Если Ваш клиент закреплен за Вами, то выполните следующие действия:

1. Введите почту клиента в соответствующее поле.

2. Нажмите кнопку "Передать бота".

Если клиент не закреплен за Вами, можно выполнить передачу бота вручную:

1. Для этого нажмите кнопку "Экспортировать бота в json".

2. После скачивания файла в формате JSON, передайте его клиенту.

3. Клиент в свою очередь будет должен нажать кнопку "Импортировать бота из JSON" и загрузить полученный файл.

Обратите внимание, что при передаче бота, подключенные каналы, интеграции и все настройки, выполненные на стороне бота в них, не сохраняются. После передачи необходимо заново настроить все на новом аккаунте.

Если в соответствии с задачей работа бота должна быть только на иностранном языке, бот имеет полностью переведенную на этот язык инструкцию и базу знаний, но он случайным образом переходит на русский язык, то одной из причин может быть наличие букв кириллицы в инструкции. Используйте кнопку "Найти кириллицу", чтобы найти буквы и удалить их, это должно стабилизировать работу бота.