cases

Когда агент становится больше, чем агент

Исследователи и разработчики LLM всё чаще говорят о том, что агенты на основе LLM проявляют опасные, непредсказуемые свойства, в потенциале угрожающие не только работоспособности интернет площадок, но и человечеству в целом. Предлагается остановить развитие моделей до разработки и внедрения политик и инструментов, гарантирующих безопасное поведение агентов. Я полагаю, что какой-то эффект это даст, но в целом, этот труд не принесёт ожидаемого результата. В этой статье я рассматриваю муравейники, людей и LLM в попытке показать, когда агент перестает быть просто агентом. Свойства, которые разработчики пытаются гарантировать на уровне агента, возникают на уровне системы агент+среда, где агент не определяет движение системы в целом.