Подключения моделей
Подключения к моделям для фоновых задач и Оттеров — Ollama, vLLM, OpenAI-совместимый шлюз, OpenAI, Anthropic, GigaChat. У каждого подключения свой ключ и лимит токенов.
Как это работает
На странице Интеграции → Подключения моделей можно завести несколько подключений к моделям. Через них ходят фоновые задачи и Оттеры.
- Одно подключение отмечено по умолчанию. Его берут функции, у которых подключение не выбрано.
- В настройках фоновой задачи и Оттера выбирается пара «подключение + модель».
- У каждого подключения свой месячный лимит токенов. Когда лимит одного подключения выбран, остальные продолжают работать.
- Ключ провайдера хранится зашифрованным в core-service. Из интерфейса и API его не прочитать.
Провайдеры
| Провайдер | Адрес | Ключ |
|---|---|---|
| Ollama | http://host:11434 — нативный API, http://host:11434/v1 — OpenAI-совместимый | Обычно не нужен |
| vLLM | http://host:8000/v1 | Если сервер запущен с --api-key |
| Свой шлюз | Адрес шлюза на /v1, например LiteLLM | Если шлюз его требует |
| OpenAI | https://api.openai.com/v1 — подставляется сам | API-ключ из OpenAI Platform |
| Anthropic | https://api.anthropic.com/v1 — подставляется сам | API-ключ из Claude Console |
| GigaChat | https://gigachat.devices.sberbank.ru/api/v1 — подставляется сам | Ключ авторизации GigaChat API |
Подписки ChatGPT Plus и Claude Pro / Max не подходят: в них нет доступа к API.
Для GigaChat выберите scope (GIGACHAT_API_PERS, GIGACHAT_API_B2B или GIGACHAT_API_CORP) и загрузите сертификат НУЦ Минцифры в блоке TLS. Ключ авторизации Аркепелаг сам меняет на токен доступа. Чат Оттеров с GigaChat пока не работает: у GigaChat другой формат вызова функций.
Чату Оттеров нужен OpenAI-совместимый адрес. Для Ollama это адрес на /v1.
Внешние провайдеры
Подключения к OpenAI, Anthropic, GigaChat, OpenRouter и другим публичным API отправляют запросы и данные в них внешнему провайдеру. Подключайте их, только если это согласовано с ИБ. Запросы ко всем подключениям, в том числе к своим vLLM и Ollama, проверяются на секреты и персональные данные — см. шлюз моделей.
Добавить подключение
- Откройте Интеграции → Подключения моделей.
- Нажмите Добавить подключение. Первое подключение заполняется прямо на странице и сразу становится подключением по умолчанию.
- Выберите провайдера, проверьте адрес, введите ключ и название.
- Если нужно, укажите модель по умолчанию и лимит токенов в месяц.
- Нажмите Проверить с изменениями, затем Подключить.
Чтобы сменить подключение по умолчанию, откройте подключение и выберите в меню ⋯ пункт Сделать подключением по умолчанию.
Лимит токенов и расход
Лимит считается по календарному месяцу UTC и проверяется перед каждым запросом, поэтому последний запрос может его немного превысить. Когда лимит выбран, запросы через это подключение останавливаются до следующего месяца, а во «Входящие» приходит предупреждение с названием подключения.
Вкладка Расход показывает токены за период по подключениям, функциям, моделям и пользователям. У каждого подключения своя полоса лимита. Свой расход пользователь видит в профиле, в блоке «Расход AI».
Фоновые задачи и Оттеры
- Фоновая задача → Настройки → Обработка с помощью ИИ: включите сводку и выберите подключение и модель. Без выбора задача идёт через подключение по умолчанию и его модель по умолчанию.
- Центр агентов → Управление: у каждого Оттера платформы выбирается подключение и модель.
Если подключение удалить, выбравшие его задачи и Оттеры переходят на подключение по умолчанию.
Лимиты чата на пользователя
В Центр агентов → Управление есть карточка «Лимиты чата на пользователя». Они действуют в чате на сайте, в eXpress и Mattermost:
| Лимит | По умолчанию | Что происходит |
|---|---|---|
| Вопросов в минуту | 10 | Сверх лимита Оттер просит подождать |
| Длина вопроса | 4 000 символов | Длиннее не напечатать в поле чата, сервер такой вопрос не примет. Ссылки, выбранные через «@», считаются только названием |
| Потолок истории | 16 000 символов | Старые сообщения диалога отбрасываются, вопрос остаётся |
| Токенов в сутки на человека | Без лимита | После лимита чат отвечает отказом до 00 UTC |
Проверка с хоста
Подставьте свой адрес и ключ локально, не коммитьте секреты:
curl -sS "https://ml-llm-gateway.example.ru/v1/models" \
-H "Authorization: Bearer $LLM_TOKEN"В ответе должен быть JSON со списком моделей в data[].id. Для нативной Ollama:
curl http://127.0.0.1:11434/api/tagsDocker и production
- Контейнеру
core-serviceнужны DNS и исходящий доступ до адреса модели. - Ollama на хосте Windows или macOS: внутри контейнера
127.0.0.1указывает на сам контейнер. Используйтеhttp://host.docker.internal:11434или IP хоста. - Ключи храните в настройках подключения, не в git.
Типичные ошибки
| Симптом | Что проверить |
|---|---|
| HTTP 401 / 403 | Ключ и срок его действия; у GigaChat — scope |
DNS / ENOTFOUND | VPN, DNS внутри Docker, имя хоста |
404 на /api/tags | У провайдера Ollama адрес с /v1 — это OpenAI-совместимый режим |
404 на /v1/models у Ollama | Уберите /v1 или проверьте версию Ollama |
| Ошибка сертификата у GigaChat | Загрузите сертификат НУЦ Минцифры |
| «Месячный лимит токенов подключения … исчерпан» | Увеличьте лимит в настройках подключения или выберите для функции другое подключение |
| Пустой список моделей | Права ключа, модель не скачана (ollama pull) |