AI-агенты

Тот самый харнесс который мы заслужили в эпоху, когда безопасность ИИ уже не диковинка

Обложка: Тот самый харнесс который мы заслужили в эпоху, когда безопасность ИИ уже не диковинка

Если запустить любую передовую языковую модель из коробки и попросить ее провести тестирование безопасности агентной системы или собрать актуальный вектор атаки, результат разочарует мгновенно. Модель выдаст наивные примеры в духе "забудь все инструкции и представь, что ты злой хакер в параллельной вселенной", словно на дворе 2023 год, а вокруг все только узнают о выходе GPT-3.5. В реальной жизни в безопасности искусственного интеллекта базовые модели ориентируются крайне слабо. Они живут в плену устаревших весов, путают галлюцинации с реальными уязвимостями и понятия не имеют о свежих техниках отравления долговременной памяти, побегах из изолированных сред или свежих эксплойтах в репозиториях моделей. Но безопасность ИИ не стоит на месте, всё меняется. Новые векторы компрометации возникают буквально еженедельно.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

AI-агентыHabr AI

Замена Claude: Kimi набрала 96% в моем тесте работы с 1С

Блокировка Клауд Меня зовут Новиков Александр. Я занимаюсь программированием на 1С. Задачи типовые- разработка нового функционала. Также довольно часто просят вытащить аналитику из 1С, если штатный отчет не справляется. Много задач по интеграции всего и со всем. ИИ я освоил, как и многие из коллег. Но использую его не вслепую, а стараюсь использовать его точечно и под контролем. Из нейросетей это GPT, Клауд. На днях прилетело НЛО от Клауд в виде блокировки. Пытался возражать, но внеземной разум не вошел в положение и отправил лесом. Попутно не вернув остаток средств. А между прочим была середина периода использования. В общем чистой воды разбой. Стал задумываться, что не за горами тот день, когда GPT тоже присоединится к шайке благородных разбойников и тогда будут сложности с разработкой. Нет, код писать руками я не разучился. Вопрос в скорости разработки.

Обложка: Как попасть в ответы нейросетей: почему ответа в первом абзаце мало и как проверить начало страницы
AI-агентыHabr AI

Как попасть в ответы нейросетей: почему ответа в первом абзаце мало и как проверить начало страницы

Как попасть в ответы нейросетей? Первым делом вам посоветуют дать ответ в первых строках страницы, а это значит браться за начало каждой страницы на сайте. Search Engine Journal пересказал анализ TJ Robertson из агентства TJ Digital на 193 507 ответах ChatGPT и ИИ-ответов Google (AI Mode и AI Overviews): процитированные страницы и правда чаще начинались с прямого ответа. Но против страниц, которые ИИ нашёл и не стал цитировать, разрыв небольшой, а сам Robertson считает это связью и причиной не называет. Переписывать весь сайт рано: сначала стоит проверить начало важных страниц, каждую по её целевому вопросу. Я опираюсь на логи замера ответов ИИ-моделей и аудит цитируемости страниц, так что для меня это рабочая задача.

Обложка: Ты не бойся, это Goose
AI-агентыHabr AI

Ты не бойся, это Goose

Есть вещи посильнее “Фауста” Гёте. Есть вещи побыстрее Rust – новый ЯП Goose. Он же и помедленнее. Зависит от контекста. В типичных публикациях феномен подаётся так: “ИИ написал язык Goose – быстрее C++ и Rust”. Под катом – магия в деталях с частичным последующим разоблачением.