AI-агенты

Бенчмарки Мебиуса: зачем IBM учит ИИ проверять собственные вопросы

Обложка: Бенчмарки Мебиуса: зачем IBM учит ИИ проверять собственные вопросы

Для оценки эффективности ИИ уже давно и успешно используют самые разные бенчмарки. Берем модель/агента, выдаем им одинаковый набор задач, считаем долю успешных решений и получаем удобную цифру, по которой можно сравнивать системы между собой. По результатам используем ту, которая справилась с большим процентом задач. Звучит круто и даже удобно, но, как всегда, есть нюанс: все работает при условии, что сам экзамен составлен правильно. А с этим, как выясняется, бывают проблемы. Внутри бенчмарка могут оказаться некорректные эталонные ответы, противоречивые условия или правила оценки, которые засчитывают правильное решение как ошибку, и еще много всего, что исказит итоговый результат. Летом 2026 года исследователи провели независимый аудит четырех бенчмарков для агентов, работающих с внешними инструментами: BFCL v4, τ²-Bench, LiveMCPBench и MCP-Atlas.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

AI-агентыHabr AI

SQAdays: ИИ-трансформация и ценность качества

Прошла очередная конференция SQAdays. Половина выступлений была посвящена использованию ИИ, и они носят вполне прагматичный характер освоения нового инструмента, который вошел в арсенал наряду с другими технологиями. Но были и обзорные выступления и круглые столы для осмысления изменений в целом. Мне лично в ходе обсуждений удалось получить картину будущего, когда нынешняя разработка схлопнется между discovery с вайбкодингом прототипов tiny team из бизнеса и технаря с одной стороны, и расширенной devops-командой, которая будет такие приложения подхватывать. И тестировщику надо выбирать свой путь в новом мире. А еще я засек, что для одних качество приложения – прагматичное понятие, описываемое метриками, а для других остается сакральной ценностью и недостижимым идеалом. Люди говорят о разном, но эту разницу не рефлексируют. Обо всем этом читайте в отчете вместе с конспектами выступлений.

Обложка: Аутентичный ML для самых маленьких: структура МL-проекта
AI-агентыHabr AI

Аутентичный ML для самых маленьких: структура МL-проекта

Это вводная статья для серии материалов по классическому машинному обучению. Мы поговорим о том, как оно устроено, какие задачи решаются с помощью ML, какие инструменты используют для этого и, конечно, напишем код. Статьи будут раскрывать основополагающие идеи ML. Я предпочитаю интуитивное объяснение алгоритмов и методов формальной постановке задач и их решению, не умаляя важности последних. Но начнем с главного — со скелета. Разберем, как работает машинное обучение, из каких этапов состоит любой алгоритм и какие задачи вообще существуют. Для понимания материала достаточно базовых знаний математики, статистики и умения работать с данными. Код на Python: pandas и numpy для данных, а в конце покажем тот же алгоритм четырьмя строками на scikit-learn.

Обложка: ИИ-хакеры против ИИ-безопасников: гонка вооружений и скорости в 2026
AI-агентыHabr AI

ИИ-хакеры против ИИ-безопасников: гонка вооружений и скорости в 2026

Меня зовут Роман Стрельников, я руководитель направления информационной безопасности в 1С-Битрикс. Сегодня разберем, как ИИ изменил кибератаки и способы защиты от них, и какие интересные инциденты раскрыли компании