Что показали 3360 испытаний и что агент при этом сообщал пользователю Ранее мы описывали методологию создания тестовой системы для ИИ-агентов с вызовом функций, имеющих реальный эффект. https://habr.com/ru/articles/1090748/. Ее основная идея заключается в том, что для совершения действия агент должен проанализировать условия, которые обеспечивают правомерность действия, но при этом он может их узнать только из внешнего источника – из ответа функции чтения или из доступного ему документа, то есть условие имеет статус неназванного. Методология позволяет воспроизводимо проверить, вызовет ли ИИ-агент функцию, когда вызывать ее нельзя, а также сопоставить с действием ответ агента, который он даст при этом пользователю. Метод, план прогона, карты ошибок и подробный анализ опубликованы в препринте https://doi.org/10.5281/zenodo.23556771.
Читать далееAI-агенты
Тестирование ИИ-агента реального действия на выполнение неназванных условий: прогоны на DeepSeek
ZOLT®AI / NEWS
