DeveloctopusВыбор LLM для бизнеса в России упирается не только в качество ответов, но и в то, где обрабатываются данные, как вы платите и кто обслуживает инфраструктуру. Сравним основные варианты — YandexGPT, GigaChat, открытые модели на своём сервере и зарубежные API — по критериям, которые важны в реальном проекте, и расскажем, как проверить выбор на своих задачах.
Сначала задача, потом модель
Вопрос «какая модель лучшая» без контекста не имеет ответа. Выбирая языковую модель, начните не с рейтингов, а с четырёх вопросов:
- Что модель будет делать. Классифицировать короткие обращения, отвечать клиентам по базе знаний, разбирать длинные договоры — это разные требования к качеству и объёму контекста.
- Какие данные через неё пойдут. Персональные данные клиентов, коммерческая тайна или обезличенные тексты.
- Какая нагрузка. Десятки запросов в день или поток, который идёт круглосуточно.
- Какая допустима задержка. Чат с клиентом ждёт ответа за секунды, ночная обработка документов может подождать.
Например, для сортировки писем часто хватает модели попроще и подешевле, а для ответов клиентам с нюансами формулировок имеет смысл взять более сильную. В одном проекте вполне могут работать две разные модели.
YandexGPT в Yandex Cloud
Модели YandexGPT доступны через сервис Foundation Models в Yandex Cloud: обращение по API, оплата по объёму обработанного текста, обработка данных в облаке российского провайдера. В линейке есть модели разного уровня — более быстрые и дешёвые и более мощные, — а также модели эмбеддингов, которые нужны для поиска по базе знаний.
Удобно тем, кто уже размещает инфраструктуру в Yandex Cloud: доступы, биллинг и мониторинг в одном месте. Возможности дообучения, актуальный список моделей и тарифы описаны в документации сервиса и регулярно меняются, поэтому мы сверяемся с ней на старте каждого проекта, а не полагаемся на прошлый опыт.
GigaChat от Сбера
GigaChat — семейство моделей Сбера с API для разработчиков и компаний. Как и у Яндекса, есть модели разного уровня и модели эмбеддингов, а основной фокус — русский язык. Условия для физических и юридических лиц различаются; порядок получения доступа и варианты оплаты описаны в документации GigaChat.
На практике YandexGPT и GigaChat решают одни и те же задачи, и спор «YandexGPT или GigaChat» лучше всего решается тестом на ваших данных: на одних задачах лучше окажется одна модель, на других — другая, а с выходом новых версий соотношение может поменяться.
Открытые модели на своём сервере
Модели с открытыми весами — например, семейства Qwen, Llama, Mistral и другие — можно развернуть на своём сервере или на арендованных GPU в российском облаке. Тогда тексты не покидают ваш контур, а модель можно дообучить под свою задачу.
Цена этой свободы — инфраструктура и экспертиза:
- нужны серверы с видеокартами, и чем больше модель, тем дороже железо;
- нужен сервер инференса, мониторинг, обновления и резервирование — это постоянная работа, а не разовая настройка;
- качество на русском языке заметно различается между семействами и размерами моделей, проверять его обязательно;
- у каждой модели своя лицензия, и условия коммерческого использования нужно прочитать до выбора.
Этот вариант оправдан, когда требования к данным не позволяют отправлять их во внешнее облако или когда нагрузка большая и постоянная, и собственные мощности выходят выгоднее оплаты за каждый запрос. Для пилота мы обычно начинаем с облачного API и переходим на свой сервер, когда понятны реальные объёмы.
Зарубежные API: сильные модели и реальные риски
Ведущие зарубежные модели сильны во многих задачах, но у них есть ограничения, которые российскому бизнесу нужно учитывать заранее:
- Доступность. Поставщик может ограничить доступ из России, а оплата зарубежных сервисов вызывает сложности. Строить на этом критичный процесс рискованно.
- Персональные данные. Отправка персональных данных за рубеж — трансграничная передача, которую регулирует 152-ФЗ, со своими процедурами и требованиями. Кроме того, закон требует, чтобы сбор и хранение персональных данных граждан России велись с использованием баз данных на территории страны.
- Договор и документы. Получить договор с российским юрлицом и закрывающие документы обычно сложно.
Если такие модели и используются, то для задач без персональных и чувствительных данных и с запасным вариантом на случай отключения. Юридическую часть в любом случае стоит согласовать с юристом: здесь описаны общие риски, а не консультация.
Сравнение вариантов по критериям
Сводная таблица — без цен и рейтингов, потому что они быстро устаревают. Это ориентир, на что смотреть, а не готовый ответ.
| Критерий | YandexGPT | GigaChat | Открытые модели у себя | Зарубежные API |
|---|---|---|---|---|
| Качество на русском | Профильная сторона, проверять на своих задачах | Профильная сторона, проверять на своих задачах | Зависит от семейства и размера | Часто высокое, зависит от модели |
| Где обрабатываются данные | В облаке российского провайдера | У российского провайдера | В вашем контуре | За рубежом |
| Требования 152-ФЗ | Выполнить проще | Выполнить проще | Полностью под вашим контролем | Сложно: трансграничная передача |
| Модель оплаты | За объём обработанного текста | По тарифам провайдера | Серверы и обслуживание, без оплаты за запрос | За объём текста, оплата из России затруднена |
| Задержка | Зависит от модели и нагрузки | Зависит от модели и нагрузки | Зависит от железа, предсказуема | Плюс сетевая задержка и риск блокировок |
| Дообучение | По документации сервиса | По документации сервиса | Полный контроль | Зависит от провайдера |
| Своя инфраструктура | Не нужна | Не нужна | GPU-серверы и эксплуатация | Не нужна |
Как выбрать на практике
- Соберите несколько десятков реальных примеров с эталонными ответами — тех самых писем, вопросов или документов, с которыми модель будет работать.
- Прогоните их через двух-трёх кандидатов с одинаковой инструкцией.
- Оцените ответы вслепую, не зная, какая модель что написала.
- Посчитайте стоимость типичного запроса при ожидаемой нагрузке и замерьте задержку.
- Согласуйте с юристом, какие данные и куда можно отправлять.
- Заложите возможность сменить модель: модели обновляются, цены меняются, и через полгода лучший вариант может быть другим.
Отдельно продумайте модель эмбеддингов, если планируется поиск по базе знаний. Индекс строится одной конкретной моделью, и вопросы нужно переводить в векторы ею же. Смена эмбеддинг-модели означает переиндексацию всех документов — это не катастрофа, но такую работу стоит заложить в план, а не обнаружить при переезде.
Ещё один практический момент — объём контекста. Если задача в том, чтобы разбирать длинные договоры или переписку целиком, проверьте, сколько текста модель принимает за один запрос и как меняется качество на длинных документах. Иногда выгоднее разбить документ на части и обработать их по очереди, чем искать модель с самым большим окном.
Выбирая LLM для бизнеса, мы обычно строим систему так, чтобы модель подключалась через отдельный слой. Тогда переход к другому провайдеру или на свой сервер не требует переписывать логику. Часто итоговая схема смешанная: недорогая модель для классификации, более сильная — для ответов клиентам, а самые чувствительные данные обрабатываются локально.
И помните, что модель — только часть результата. Качество ответов по документам больше зависит от того, как устроен поиск по базе знаний, — об этом в статье про RAG. А с какой задачи вообще начинать, мы разобрали в материале о внедрении ИИ в бизнес.
Частые вопросы
Что лучше для бизнеса — YandexGPT или GigaChat?
Универсального ответа нет: обе модели ориентированы на русский язык, а разница проявляется на конкретных задачах. Надёжнее всего прогнать обе на ваших примерах и сравнить качество, цену и скорость.
Можно ли использовать ChatGPT в российской компании?
Технически — с ограничениями доступа и оплаты. Юридически сложнее всего с персональными данными: их передача за рубеж регулируется 152-ФЗ. Для задач без чувствительных данных риски ниже, но нужен запасной вариант.
Нужно ли дообучать модель под наш бизнес?
Обычно нет. Знания о компании лучше подключать через базу знаний и поиск, а дообучение оставить для случаев, когда нужен особый стиль или формат ответа.
Во сколько обойдётся свой сервер с моделью?
Зависит от размера модели, нагрузки и требований к отказоустойчивости. На старте облачный API обычно выгоднее, а свой сервер имеет смысл считать, когда поток запросов большой и постоянный.
Обсудим проект
Нужна похожая разработка?
Расскажите о задаче — уточним детали, предложим формат запуска и подготовим предварительную оценку. Это бесплатно.
Источники
Опубликовано · Обновлено