Маршрутизация ИИ-моделей: зачем одной модели недостаточно
Для разных задач нужны разные ИИ-модели: одни быстрее и дешевле, другие точнее в анализе или кодинге. Маршрутизация помогает распределять запросы между моделями, чтобы не платить за избыточную мощность.
- Маршрутизация — это выбор подходящей модели под конкретный запрос, а не одна модель на все случаи.
- Ручной роутинг задаёт правила заранее, автоматический анализирует запрос и выбирает модель перед выполнением.
- Экономию считают по стоимости готового результата с учётом повторных попыток, а не только по цене токена.
Разные задачи требуют разных ИИ-моделей: одни быстрее, другие дешевле, третьи лучше справляются с анализом данных или кодингом. Чтобы собрать эти возможности в одной системе, применяют маршрутизацию моделей — роутинг. Об этом рассказал эксперт Алексей Могильников в статье на Хабре, опубликованной Хекслет.
Что такое маршрутизация моделей
Маршрутизация — это выбор наиболее подходящей модели для конкретной задачи. Например, помощник интернет-магазина может направить простой запрос о статусе заказа в Mistral Small, а жалобу на повреждённый товар и двойное списание — в Claude Sonnet. Для покупателя это один помощник, но внутри система каждый раз решает, кому поручить ответ.
Роутинг нужен, когда задачи принципиально различаются. В одном случае достаточно извлечь короткий ответ из нескольких фрагментов документов, в другом — выполнить сложную последовательность действий с инструментами и промежуточными решениями. Для этого могут понадобиться модели разного уровня: более сложная там, где важно качество рассуждения, и более простая для формализованных задач.
Ручная и автоматическая маршрутизация
При ручной маршрутизации разработчик заранее определяет, какая модель используется для класса задач, — на основе экспертной оценки или тестирования. Автоматическая анализирует свойства запроса и выбирает модель перед выполнением. Выбор может строиться на фиксированных правилах или на отдельном маршрутизаторе — компоненте на базе LLM или классических моделей классификации.
Маршрутизация нужна не только ради качества. Если поставщик модели недоступен, запрос можно перенаправить к другому поставщику той же модели или выбрать похожую по возможностям. Так же управляют затратами: при доступе к одной модели через разных поставщиков система выберет самого выгодного.
Несколько моделей в разработке
Автономному агенту разработки, который добавляет фильтр заказов и доводит изменение до pull request, на этапе исследования проекта и подготовки спецификации может понадобиться модель для сложных многошаговых задач, например GPT-6 Astra. Когда поведение фильтра определено, реализацию можно поручить более экономичной GPT-5.6 Terra. Если обнаружится противоречие в требованиях или повторные попытки не пройдут проверку, задачу возвращают более сильной модели.
Похожий принцип проверили авторы SWE-Router: они выбирали модель с учётом того, что агент узнал о задаче на первых шагах. Экономию в такой схеме считают по стоимости готового проверенного изменения, включая повторные попытки, а не только по тарифу за токен. Именно так сравнивали модели в эксперименте Arize и Fireworks: иногда более дорогая модель завершает сложную задачу дешевле за счёт меньшего числа исправлений.
Ограничения компании
В организациях могут действовать ограничения на передачу данных во внешние сервисы. Например, работа с исходным кодом разрешена только для моделей внутри корпоративной инфраструктуры — частое требование в финтехе. Для менее чувствительных задач можно использовать внешние сервисы, и тогда маршрутизация становится частью архитектуры доступа к данным.
Финтех-компания может передать внешней модели опубликованные нормативные акты и попросить выделить нужные требования со ссылками на пункты, а внутренняя модель сопоставит выжимку с кодом и процедурами компании и подготовит изменения.
Для профиТехнические детали: архитектура, цифры, ссылки
В статье приведены примеры моделей GPT-6 Astra и GPT-5.6 Terra для разных этапов работы агента разработки. Упомянуто исследование SWE-Router, где модель выбирали с учётом информации, полученной агентом на первых шагах, и эксперимент Arize и Fireworks по сравнению стоимости готового изменения с учётом повторных попыток.
Автоматический маршрутизатор может быть реализован на LLM или на классических моделях классификации. Роутинг также применяют для выбора поставщика с наиболее выгодной стоимостью и для отказоустойчивости при недоступности сервиса.
Вопросы и ответы
- Что такое маршрутизация ИИ-моделей?
- Это выбор наиболее подходящей модели для конкретной задачи с учётом качества, скорости и стоимости.
- Чем ручная маршрутизация отличается от автоматической?
- При ручной разработчик заранее задаёт модель для класса задач, при автоматической система анализирует запрос и выбирает модель перед выполнением.
- Как считать экономию при роутинге?
- По стоимости готового проверенного результата, включая повторные попытки, а не только по тарифу за токен.
