ИТ-команда начинает подбирать GPU-серверы, бизнес рассматривает облачные модели, а разработчики собирают первый прототип. Через полгода выясняется, что выбранная модель не помещается в доступную видеопамять, облачная инфраструктура выходит за рамки бюджета, а закупленные ускорители не обеспечивают необходимую производительность под реальной нагрузкой. Проблема не всегда связана с оборудованием или самой моделью, а чаще всего с последовательностью принятия решений: инфраструктуру начинают проектировать до того, как определены требования к будущему ИИ-сервису. За последний год мы в Orion soft наблюдали разные сценарии внедрения ИИ в российских компаниях: от первых экспериментов до проектов, которые готовятся к промышленной эксплуатации у крупнейших заказчиков.
Читать далееКейсы
Закупил GPU ≠ проиграл: как спроектировать ИИ-инфраструктуру и не переделывать ее после пилота
