Разделы документации

Подключения моделей

Подключения к моделям для фоновых задач и Оттеров — Ollama, vLLM, OpenAI-совместимый шлюз, OpenAI, Anthropic, GigaChat. У каждого подключения свой ключ и лимит токенов.

Как это работает

На странице Интеграции → Подключения моделей можно завести несколько подключений к моделям. Через них ходят фоновые задачи и Оттеры.

  • Одно подключение отмечено по умолчанию. Его берут функции, у которых подключение не выбрано.
  • В настройках фоновой задачи и Оттера выбирается пара «подключение + модель».
  • У каждого подключения свой месячный лимит токенов. Когда лимит одного подключения выбран, остальные продолжают работать.
  • Ключ провайдера хранится зашифрованным в core-service. Из интерфейса и API его не прочитать.

Провайдеры

ПровайдерАдресКлюч
Ollamahttp://host:11434 — нативный API, http://host:11434/v1 — OpenAI-совместимыйОбычно не нужен
vLLMhttp://host:8000/v1Если сервер запущен с --api-key
Свой шлюзАдрес шлюза на /v1, например LiteLLMЕсли шлюз его требует
OpenAIhttps://api.openai.com/v1 — подставляется самAPI-ключ из OpenAI Platform
Anthropichttps://api.anthropic.com/v1 — подставляется самAPI-ключ из Claude Console
GigaChathttps://gigachat.devices.sberbank.ru/api/v1 — подставляется самКлюч авторизации GigaChat API

Подписки ChatGPT Plus и Claude Pro / Max не подходят: в них нет доступа к API.

Для GigaChat выберите scope (GIGACHAT_API_PERS, GIGACHAT_API_B2B или GIGACHAT_API_CORP) и загрузите сертификат НУЦ Минцифры в блоке TLS. Ключ авторизации Аркепелаг сам меняет на токен доступа. Чат Оттеров с GigaChat пока не работает: у GigaChat другой формат вызова функций.

Чату Оттеров нужен OpenAI-совместимый адрес. Для Ollama это адрес на /v1.

Внешние провайдеры

Подключения к OpenAI, Anthropic, GigaChat, OpenRouter и другим публичным API отправляют запросы и данные в них внешнему провайдеру. Подключайте их, только если это согласовано с ИБ. Запросы ко всем подключениям, в том числе к своим vLLM и Ollama, проверяются на секреты и персональные данные — см. шлюз моделей.

Добавить подключение

  1. Откройте Интеграции → Подключения моделей.
  2. Нажмите Добавить подключение. Первое подключение заполняется прямо на странице и сразу становится подключением по умолчанию.
  3. Выберите провайдера, проверьте адрес, введите ключ и название.
  4. Если нужно, укажите модель по умолчанию и лимит токенов в месяц.
  5. Нажмите Проверить с изменениями, затем Подключить.

Чтобы сменить подключение по умолчанию, откройте подключение и выберите в меню ⋯ пункт Сделать подключением по умолчанию.

Лимит токенов и расход

Лимит считается по календарному месяцу UTC и проверяется перед каждым запросом, поэтому последний запрос может его немного превысить. Когда лимит выбран, запросы через это подключение останавливаются до следующего месяца, а во «Входящие» приходит предупреждение с названием подключения.

Вкладка Расход показывает токены за период по подключениям, функциям, моделям и пользователям. У каждого подключения своя полоса лимита. Свой расход пользователь видит в профиле, в блоке «Расход AI».

Фоновые задачи и Оттеры

  • Фоновая задача → Настройки → Обработка с помощью ИИ: включите сводку и выберите подключение и модель. Без выбора задача идёт через подключение по умолчанию и его модель по умолчанию.
  • Центр агентов → Управление: у каждого Оттера платформы выбирается подключение и модель.

Если подключение удалить, выбравшие его задачи и Оттеры переходят на подключение по умолчанию.

Лимиты чата на пользователя

В Центр агентов → Управление есть карточка «Лимиты чата на пользователя». Они действуют в чате на сайте, в eXpress и Mattermost:

ЛимитПо умолчаниюЧто происходит
Вопросов в минуту10Сверх лимита Оттер просит подождать
Длина вопроса4 000 символовДлиннее не напечатать в поле чата, сервер такой вопрос не примет. Ссылки, выбранные через «@», считаются только названием
Потолок истории16 000 символовСтарые сообщения диалога отбрасываются, вопрос остаётся
Токенов в сутки на человекаБез лимитаПосле лимита чат отвечает отказом до 00
UTC

Проверка с хоста

Подставьте свой адрес и ключ локально, не коммитьте секреты:

Bash
curl -sS "https://ml-llm-gateway.example.ru/v1/models" \
  -H "Authorization: Bearer $LLM_TOKEN"

В ответе должен быть JSON со списком моделей в data[].id. Для нативной Ollama:

Bash
curl http://127.0.0.1:11434/api/tags

Docker и production

  • Контейнеру core-service нужны DNS и исходящий доступ до адреса модели.
  • Ollama на хосте Windows или macOS: внутри контейнера 127.0.0.1 указывает на сам контейнер. Используйте http://host.docker.internal:11434 или IP хоста.
  • Ключи храните в настройках подключения, не в git.

Типичные ошибки

СимптомЧто проверить
HTTP 401 / 403Ключ и срок его действия; у GigaChat — scope
DNS / ENOTFOUNDVPN, DNS внутри Docker, имя хоста
404 на /api/tagsУ провайдера Ollama адрес с /v1 — это OpenAI-совместимый режим
404 на /v1/models у OllamaУберите /v1 или проверьте версию Ollama
Ошибка сертификата у GigaChatЗагрузите сертификат НУЦ Минцифры
«Месячный лимит токенов подключения … исчерпан»Увеличьте лимит в настройках подключения или выберите для функции другое подключение
Пустой список моделейПрава ключа, модель не скачана (ollama pull)