Маршрутизация языковых моделей кажется достаточно тривиальной задачей: простые запросы уходят дешевым моделям, сложные — дорогим. Еще можно выбирать модель по специализации: одну для программирования, другую для обработки изображений, третью для анализа документов. Но это легко только на первый взгляд. Исследователи IBM Research выяснили: в агентных системах эта схема быстро перестает быть рабочей. Задача, которая изначально выглядит как выбор подходящей модели, превращается в оптимизацию всей системы. Маршрутизатору нужно одновременно учесть качество, стоимость, время задержки, состояние инфраструктуры и имеющиеся ограничения.
Читать далееAI-агенты
[Перевод] Маршрутизация моделей кажется простой задачей. Но только до продакшна
![Обложка: [Перевод] Маршрутизация моделей кажется простой задачей. Но только до продакшна](/blog-media/a9fbd53177df10458ee47d10144c7ae8903a353711a3be272aa1ca17c36a45cc.jpg)

