Автоматизация

Виртуальные сотрудники под контролем: как ограничить автономных ИИ-агентов

1 мин чтенияHabr AI
Обложка: Виртуальные сотрудники под контролем: как ограничить автономных ИИ-агентов

Очевидный факт: ИИ-агент умеет действовать самостоятельно — запускать программы, управлять файлами и часами напролет последовательно решать поставленную задачу. Вроде бы новый дивный мир разработчика, но есть проблема: чем больше у агента свобод, тем больше это сулит проблем. Летом 2026 года агенты OpenAI покинули песочницу и пошли работать в интернет, попутно атаковав HuggingFace. Инцидент поставил перед ИИ-инженерами задачу: нужно найти способ ограничить агентов, чтобы те ни при каких обстоятельствах не могли покинуть изолированные среды. Но агенты хитрые и очень быстро находят способы обойти даже самые жесткие правила. Однако есть одно слабое место. Сегодня поговорим о системе Hard Stop, предложенной в одноименной научной работе. Это стоп-кран между агентом и ОС, который должен остановить процессы агента раньше, чем тот успеет навредить.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

Обложка: Прежде чем дать AI-агенту доступ к сайту: права, повторы и потерянные правки
АвтоматизацияHabr AI

Прежде чем дать AI-агенту доступ к сайту: права, повторы и потерянные правки

В нашей небольшой веб-студии решили попробовать передать AI-агентам часть рутинной работы с сайтами. Работаем мы в основном с MODX 2 и 3, поэтому мне поручили подобрать подходящий MCP-компонент. Задача выглядела несложной: посмотреть существующие решения, сравнить возможности и выбрать, что лучше подойдет. Сначала я так и собирался сделать. Но потом полез в исходники и наткнулся на одну интересную вещь. В одном из компонентов был совершенно обычный PHP-цикл, который обновлял дополнительные поля страницы. Я решил проверить, что произойдет, если при сохранении возникнет ошибка. Первое поле записалось, второе нет, а обработчик завершил работу как ни в чем не бывало. Вернулся к коду. Оказалось, результат setTVValue() просто никто не проверяет. Если агент получит сообщение об успешном выполнении команды, он будет считать, что все готово.

1 мин чтения
Обложка: LLm агент в КОМПАС-3D: собрал редуктор, сделал КД, споткнулся на спецификации
АвтоматизацияHabr AI

LLm агент в КОМПАС-3D: собрал редуктор, сделал КД, споткнулся на спецификации

Меня всегда интересовало инженерное 3D-моделирование, но руки так и не дошли освоить его в должной степени. Зато я весьма неплохо научился работать с ИИ-агентами. Поэтому было решено перенести весь этот опыт в плоскость инженерных задач.Так появился плагин, через который LLM-агент работает в КОМПАС-3D: открывает модели, строит и правит детали и сборки, оформляет чертежи. В статье — один сквозной пример от расчёта до комплекта КД + как это устроено (без глубокого погружения), цифры на реальных задачах и честный список того, где агент пока ошибается.

1 мин чтения
АвтоматизацияHabr AI

Искусственный интеллект меняет кибербезопасность. Что показывают исследования?

Искусственный интеллект все активнее применяется в информационной безопасности. Современные модели помогают обнаруживать сложные уязвимости, автоматизировать технические операции и даже создавать программные системы без глубоких знаний разработки. Но действительно ли это означает, что для проведения кибератак больше не нужна специальная подготовка? И какие риски возникают, когда возможности ИИ оказываются доступнее, чем компетенции, необходимые для оценки результатов его работы? В этой публикации я рассматриваю четыре исследования и реальных случая: PHP2Shell, эксперимент RAND, уязвимости Moltbook и соревнование DARPA AIxCC. Попробуем разобраться, что они действительно говорят о влиянии ИИ на кибербезопасность, какие выводы подтверждаются фактическими данными, а какие пока остаются предположениями.

1 мин чтения