Как мы делали «золотой датасет» для оценки агентов

Мы видели как ИИ рисует персонажей, здания и ассеты (даже со спрайтами). А что насчет дизайн локаций и уровней? Для теста мы возьмем десять локаций выполненных для воображаемой 3D-РПГ в жанре фентези и со знатным налетом лоуполи-эстетики. В качестве дизайнеров у нас выступят Nano Banana Pro, Grok Image 2, флагманский Qwen Image 3 и бюджетная Seedream 5.0 Lite.

Мы собрали AI-менеджера маркетплейсов на агенте и обложили его ограничениями: восемь шагов на ход, узкие инструменты, урезанные данные. На эталоне он набрал 4,28 из 5. А в живых разговорах смотрел десять товаров из сотни и уверенно делал выводы по десятой части магазина. Через четыре дня мы удалили своё ядро целиком и перевели агента на Pydantic AI. Вместо десятков обёрток — весь API Wildberries одним инструментом, интернет и ни одного нашего лимита. Запись в кабинет — по-прежнему только после «да» владельца. Рассказываем, что пошло не так и как устроено теперь.

Это завершающая статья данного цикла, в ней я попытаюсь дать прогноз развития нашей цивилизации от настоящего времени до 2030 года (пытаться заглядывать еще дальше совсем уж авантюрно). Погнали!