AI-агенты

Подключили LLM к базе на 253 таблицы тремя способами. Больше всех ошибались не модели

ZOLT®AI / NEWS

Мы в отделе поспорили, как подключать LLM к базе на 253 таблицы: MCP-инструменты или схема в промте. Собрали бенчмарк на 29 реальных вопросах аналитиков и померили три подхода по execution accuracy, деньгам и латентности. Победил вариант, за который не топил никто, а больше всех ошибался составитель бенчмарка: трижды, и один раз его поправила испытуемая модель. Внутри: таблицы с цифрами, четыре дефекта харнесса, которые выдавали правдоподобные числа вместо падений, и почему семантика, живущая в коде, — потолок любого подхода.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

AI-агентыHabr AI

Замена Claude: Kimi набрала 96% в моем тесте работы с 1С

Блокировка Клауд Меня зовут Новиков Александр. Я занимаюсь программированием на 1С. Задачи типовые- разработка нового функционала. Также довольно часто просят вытащить аналитику из 1С, если штатный отчет не справляется. Много задач по интеграции всего и со всем. ИИ я освоил, как и многие из коллег. Но использую его не вслепую, а стараюсь использовать его точечно и под контролем. Из нейросетей это GPT, Клауд. На днях прилетело НЛО от Клауд в виде блокировки. Пытался возражать, но внеземной разум не вошел в положение и отправил лесом. Попутно не вернув остаток средств. А между прочим была середина периода использования. В общем чистой воды разбой. Стал задумываться, что не за горами тот день, когда GPT тоже присоединится к шайке благородных разбойников и тогда будут сложности с разработкой. Нет, код писать руками я не разучился. Вопрос в скорости разработки.

Обложка: Как попасть в ответы нейросетей: почему ответа в первом абзаце мало и как проверить начало страницы
AI-агентыHabr AI

Как попасть в ответы нейросетей: почему ответа в первом абзаце мало и как проверить начало страницы

Как попасть в ответы нейросетей? Первым делом вам посоветуют дать ответ в первых строках страницы, а это значит браться за начало каждой страницы на сайте. Search Engine Journal пересказал анализ TJ Robertson из агентства TJ Digital на 193 507 ответах ChatGPT и ИИ-ответов Google (AI Mode и AI Overviews): процитированные страницы и правда чаще начинались с прямого ответа. Но против страниц, которые ИИ нашёл и не стал цитировать, разрыв небольшой, а сам Robertson считает это связью и причиной не называет. Переписывать весь сайт рано: сначала стоит проверить начало важных страниц, каждую по её целевому вопросу. Я опираюсь на логи замера ответов ИИ-моделей и аудит цитируемости страниц, так что для меня это рабочая задача.

Обложка: Ты не бойся, это Goose
AI-агентыHabr AI

Ты не бойся, это Goose

Есть вещи посильнее “Фауста” Гёте. Есть вещи побыстрее Rust – новый ЯП Goose. Он же и помедленнее. Зависит от контекста. В типичных публикациях феномен подаётся так: “ИИ написал язык Goose – быстрее C++ и Rust”. Под катом – магия в деталях с частичным последующим разоблачением.