AI-агенты

Как спор об ИИ‑безопасности превратился в спор об Open Source

Обложка: Как спор об ИИ‑безопасности превратился в спор об Open Source

Странный раскол случился в ИИ‑индустрии. По одну сторону баррикад оказались инженеры, которым открытый код кажется естественной нормой жизни. По другую — респектабельные господа из закрытых лабораторий. Лица их серьезны, а в руках неизменно мелькают калькуляторы: они увлеченно высчитывают p(doom) — математическую вероятность скорого конца света. Высчитав, они стройными рядами идут к правительствам и просят закрутить гайки потуже. Я попробовал разобраться, что тут к чему. Иронии впереди будет много, а свое личное мнение я по традиции приберег для финала. Сразу определимся на берегу: под открытыми моделями здесь и далее я имею в виду прежде всего системы с открытыми весами. Это не всегда Open Source в строгом, каноническом понимании Open Source Initiative. Для последнего нам потребовался бы полный доступ ко всем скрытым компонентам, позволяющим изучать и менять систему до винтика.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

Обложка: Профили критических сбоев ИИ-агентов с функцией вызова с реальным эффектом: DeepSeek V4 Pro и Gemini 3.8 Flash
AI-агентыHabr AI

Профили критических сбоев ИИ-агентов с функцией вызова с реальным эффектом: DeepSeek V4 Pro и Gemini 3.8 Flash

Исследование поведения ИИ-агентов с вызовом функций, имеющих реальный эффект, проводилось на основании методологии, основные положения которой мы излагали ранее (https://doi.org/10.5281/zenodo.23556771,https://habr.com/ru/articles/1098088/). Прогоны проведены по методологии версии 3.1; тестовая система этой версии не публиковалась. Напомним, что методология позволяет проверить, вызовет ли ИИ-агент функцию, которая совершает действие с реальным эффектом, когда вызывать ее нельзя, потому что не выполнены неназванные условия ее применения, а также сопоставить с этим действием ответ агента, который он дает при этом пользователю. Срывы удержания условия считаем критическими сбоями, поскольку действие дает реальный эффект и может привести к необратимым (с трудом обратимым) последствиям. Тестирование в этой версии проходило в два этапа и завершалось подтверждающей проверкой:

Обложка: Skills + Code Mode MCP: как я научил ИИ-агента пользоваться сотнями инструментов и не раздувать контекст
AI-агентыHabr AI

Skills + Code Mode MCP: как я научил ИИ-агента пользоваться сотнями инструментов и не раздувать контекст

Недавно я решал две задачи. Личную и по работе. Личная - это настроить Nanabot, ИИ-агента, который автоматизирует мою деятельность как программиста. По работе - это написание MCP-сервера по управлению продуктами компании. И я столкнулся с проблемами. Если методов MCP очень много, то их подробные описания сильно раздувают контекст LLM. Если их прячешь за Code Mode MCP, то LLM иногда при поиске подходящего метода MCP не находит то, что ему нужно, или вообще не догадывается, что их надо поискать.

Обложка: Как я разрабатываю систему, которая не верит ИИ-агенту на слово
AI-агентыHabr AI

Как я разрабатываю систему, которая не верит ИИ-агенту на слово

ИИ-агент может самостоятельно разобраться в устройстве сайта, найти ошибку и предложить вполне разумное исправление. Но что, если решение технически правильное, а пользователь разрешал совсем другое? Кто должен проверять действия агента, прежде чем они превратятся в реальные изменения? В первой статье я рассказывал, как дал ИИ-агенту доступ к MODX через MCP, а во второй — как мы организовали его самостоятельную работу с боевыми сайтами. К тому моменту вокруг MCP уже появилась приличная инфраструктура: файловые операции, блокировки, резервное копирование, история изменений и браузерные проверки. Читать третью часть