От идеи до аварии: на каком мы свете с ИИ

Есть огромная разница между тем, чтобы просто достать информацию из базы данных, и тем, чтобы извлечь из нее реальный смысл для пользователя. Классический RAG находит чанки, но не умеет сопоставлять данные из разных файлов и собирать аналитику. Поиск контекста — решенная задача, теперь нужно научить систему думать над ним. Привет! Я Лев, системный администратор технической поддержки в Selectel. В прошлый раз мы развернули RAGFlow, а сегодня разберем переход к RAG 2.0 и Agentic RAG: как устроены ИИ-агенты, которые сами строят план рассуждений, используют инструменты и проверяют источники.

Продолжаем цикл статей о безопасности ИИ-систем. В прошлый раз мы разобрали нормативную базу и методологии — что требуют регуляторы и какие фреймворки описывают угрозы и уязвимости. Теперь переходим к практической плоскости. Искусственный интеллект бывает разным: классические ML-алгоритмы, системы компьютерного зрения, рекомендательные алгоритмы, и у каждого класса свои уязвимости и техники атак. Но с 2023 года центр тяжести сместился в сторону больших языковых моделей: их внедряют в бизнес-процессы, к ним прикручивают руки, увеличивают автономность за счет агентности. Рост числа LLM-приложений идет быстрее, чем рост понимания их уязвимостей, поэтому в этой статье и в следующих мы фокусируемся именно на них. Атаки на классические ML-системы, хотя и схожи, имеют свою специфику и заслуживают отдельного материала.

Приглашаем на вебинар 25 ноября в 14:00, на котором эксперты департамента e-commerce «КОРУС Консалтинг» расскажут, как автоматизировать задачи бизнеса с помощью команды ИИ-агентов под управлением людей. В программе — пошаговый разбор процессов и сценарии автоматизации для разных подразделений. Подробнее о вебинаре