AI-агенты

Как мы тестировали RAG: нашёл документ, но всё равно ошибся

1 мин чтенияHabr AI
Обложка: Как мы тестировали RAG: нашёл документ, но всё равно ошибся

В прошлой статье я рассказывал, как наш трёхнедельный RAG-пилот по технической документации растянулся на три месяца. Мы собирались научить корпоративный AI отвечать на вопросы инженеров и менеджеров, а вместо этого обнаружили, что сначала нужно разобраться в собственных документах. С тех пор мы продвинулись. Собрали базу знаний, настроили поиск, подготовили сотни контрольных вопросов и наконец начали испытывать ассистента на реальных инженерных задачах.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

Обложка: Профили критических сбоев ИИ-агентов с функцией вызова с реальным эффектом: DeepSeek V4 Pro и Gemini 3.8 Flash
AI-агентыHabr AI

Профили критических сбоев ИИ-агентов с функцией вызова с реальным эффектом: DeepSeek V4 Pro и Gemini 3.8 Flash

Исследование поведения ИИ-агентов с вызовом функций, имеющих реальный эффект, проводилось на основании методологии, основные положения которой мы излагали ранее (https://doi.org/10.5281/zenodo.23556771,https://habr.com/ru/articles/1098088/). Прогоны проведены по методологии версии 3.1; тестовая система этой версии не публиковалась. Напомним, что методология позволяет проверить, вызовет ли ИИ-агент функцию, которая совершает действие с реальным эффектом, когда вызывать ее нельзя, потому что не выполнены неназванные условия ее применения, а также сопоставить с этим действием ответ агента, который он дает при этом пользователю. Срывы удержания условия считаем критическими сбоями, поскольку действие дает реальный эффект и может привести к необратимым (с трудом обратимым) последствиям. Тестирование в этой версии проходило в два этапа и завершалось подтверждающей проверкой:

1 мин чтения
Обложка: Skills + Code Mode MCP: как я научил ИИ-агента пользоваться сотнями инструментов и не раздувать контекст
AI-агентыHabr AI

Skills + Code Mode MCP: как я научил ИИ-агента пользоваться сотнями инструментов и не раздувать контекст

Недавно я решал две задачи. Личную и по работе. Личная - это настроить Nanabot, ИИ-агента, который автоматизирует мою деятельность как программиста. По работе - это написание MCP-сервера по управлению продуктами компании. И я столкнулся с проблемами. Если методов MCP очень много, то их подробные описания сильно раздувают контекст LLM. Если их прячешь за Code Mode MCP, то LLM иногда при поиске подходящего метода MCP не находит то, что ему нужно, или вообще не догадывается, что их надо поискать.

1 мин чтения
Обложка: Как я разрабатываю систему, которая не верит ИИ-агенту на слово
AI-агентыHabr AI

Как я разрабатываю систему, которая не верит ИИ-агенту на слово

ИИ-агент может самостоятельно разобраться в устройстве сайта, найти ошибку и предложить вполне разумное исправление. Но что, если решение технически правильное, а пользователь разрешал совсем другое? Кто должен проверять действия агента, прежде чем они превратятся в реальные изменения? В первой статье я рассказывал, как дал ИИ-агенту доступ к MODX через MCP, а во второй — как мы организовали его самостоятельную работу с боевыми сайтами. К тому моменту вокруг MCP уже появилась приличная инфраструктура: файловые операции, блокировки, резервное копирование, история изменений и браузерные проверки. Читать третью часть

1 мин чтения