Бенчмарк Маракуйя ИИ на Terminal-Bench 4 и OSWorld 2

В этой статье расскажу про стартап AIruntime - сервис генерации сайтов или Telegram-ботов из чата с ИИ. На примере сервиса отлично видны грабли AI-driven разработки - стартапу пришлось столкнуться и с отсутствием гарантий результата, и с вопросами безопасности, и с бесконечными циклами проверки. По техничеке здесь все решаемо, и история AIruntime как раз пример того, как через новые инструменты можно решить массу проблем. Но интересно как встретит такой сервис тот самый микробизнес.

Компании среднего и крупного размера уже не спорят, нужны ли языковые модели в операционке. Спорят о другом: с каким вендором заключать договор, какую модель выбрать «на всех» и как объяснить совету директоров, почему за один и тот же контур в этом месяце счёт в три раза больше, чем в прошлом. На практике узкое место чаще не в качестве модели, а в том, что компания пытается решить несколько разных задач одним инструментом и одним контрактом.

Пару месяцев назад на Хабре вышла статья, где мой коллега разбирал, почему ИИ пока не видно в статистике производительности и как это должны исправить виртуальные сотрудники. Теория выглядела складно. В ней один разработчик управляет роем агентов, благодаря которым издержки на координацию падают, а человек выходит из бесконечной цепочки проверок. О таких виртуальных сотрудниках сейчас много говорят и аналитики Gartner, и HR-директора, правда, чаще всего в виде прогнозов. Anthropic же пошла другим путем и 16 октября опубликовала отчет о том, как эта теория работает у нее самой на практике. Рой агентов действительно появился. Но что в этом новом мире стало с людьми и нужны ли теперь будут джуны? Давайте искать на это ответы. В статье разберемся в нюансах отчета и заодно выясним, что из этого может пригодиться бизнесу, который только собирается нанимать «виртуальных сотрудников».