AI-агенты

Guardrails для LLM: как устроена защита языковых моделей

1 мин чтенияHabr AI
Обложка: Guardrails для LLM: как устроена защита языковых моделей

Привет, Хабр! Я Антон, инженер по информационной безопасности в Selectel. Представьте новость: защиту GPT-6 Astra обошли обычным транслитом. Сегодня это звучит как фантастика, а вот ранние LLM ломались и на таком. Модель же не знает, кто перед ней — обычный пользователь или злоумышленник, поэтому старается выполнить любую задачу. По этой причине ИИ может быть чрезвычайно доверчивым и выдавать любые ответы, стоит только немного изменить форму или контекст запроса. Атаки на LLM показали: если защита не умеет анализировать запрос и не может читать между строк, то она обречена. Значит, нужны механизмы, которые удержат модель в рамках и не пропустят инъекцию, а если та все же проскочит, не дадут ей сработать. Вот об одном таком механизме — Guardrails — в этой статье и поговорим.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

Обложка: Рой ИИ-агентов без начальника: дал им доску задач, git и право писать себе инструменты
AI-агентыHabr AI

Рой ИИ-агентов без начальника: дал им доску задач, git и право писать себе инструменты

Схем взаимодействия агентов много, но чаще всего мультиагентную систему собирают как конвейер: «аналитик» передает «программисту», тот «тестировщику», а сверху сидит агент‑менеджер и решает, кто ходит следующим. Мне хотелось проверить другую схему. Что будет, если никакого менеджера нет? Агентам дается одна цель, общая доска задач, общая папка под git и возможность писать друг другу. Пусть сами решают, что делать. Так появился DreamTeam — опенсорс‑фреймворк на Python для самоорганизующегося роя агентов. Вы ставите цель, и на доске появляется одна‑единственная задача: «спланировать». Ее берет первый свободный агент, раскладывает работу на задачи, остальные разбирают их по мере появления. У агентов человеческие имена, вроде «Анна Смирнова» или «John Smith». Готовую работу принимает другой участник, а если проверять некому, то вы. Нужен инструмент, которого нет?

1 мин чтения
Обложка: Очумелые ручки с Чижиком, выпуск №1: как мы поселили KVN прямо в старый телевизор LG
AI-агентыHabr AI

Очумелые ручки с Чижиком, выпуск №1: как мы поселили KVN прямо в старый телевизор LG

Дома я постоянно что-нибудь мастерю, переделываю и пытаюсь заставить работать немного не так, как задумывал производитель. Где-то хочется оживить старое устройство, где-то - связать между собой две вещи, которые официально друг о друге ничего не знают, а иногда просто интересно проверить: «А что будет, если?» В последнее время почти во всех этих затеях мне помогает Чижик. Причем не в формате «спросил у чат-бота, получил пять общих советов и пошел разбираться сам». Мы вместе исследуем устройства, читаем логи, пишем небольшие программы, собираем приложения, проверяем гипотезы. Постепенно таких домашних историй накопилось достаточно много, и я решил ими делиться. Возможно, кто-то найдет здесь готовую идею для собственного дома. А кто-то просто поймет, что ChatGPT Codex можно применять не только для написания очередной функции в рабочем проекте. К истории

1 мин чтения
AI-агентыHabr AI

Мы думали, что с ИИ мы будем меньше работать

Агенты пишут код быстрее нас. Только работать мы почему-то стали больше, а не меньше. Я спросил знакомых, как у них дела через пару месяцев после начала работы с агентами, и почти никто не написал про скорость. Писали про ревью, усталость и то, что на свой проект сил уже нет. Это пройдёт или теперь так будет всегда?

1 мин чтения