AI-агенты

Квантование RWKV-7: что ломается в моделях разного размера

1 мин чтенияHabr AI
Обложка: Квантование RWKV-7: что ломается в моделях разного размера

Я изучаю посттренировочное квантование семейства RWKV-7 (от 0.1B до 13.3B параметров) двумя пресетами: REDUCTION (сжатие около 2.1x, почти без потерь) и COMPRESSION (около 3.1x, 4 бита на проекции). Исходный вопрос работы: почему 4-битный пресет на модели 2.9B деградирует сильнее, чем на 1.5B (+4.04% против +2.85% по перплексии), хотя ожидается обратное. Оказалось, что до 86% вклада всей группы o_proj на 2.9B приходится на одну матрицу: выходную проекцию нулевого блока. Её вход несёт «массивный канал» (98% энергии входа в восьми каналах из 2560). Хранение этой одной матрицы в bf16 (0.5% файла) снижает KL к эталону на 39% и возвращает 2.9B в монотонную линейку; перевод эмбеддинга с 5 на 6 бит добавляет ещё −22% KL за 1.1% файла.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

Обложка: Наш ответ Гогену. Часть десятая: что же будет дальше?
AI-агентыHabr AI

Наш ответ Гогену. Часть десятая: что же будет дальше?

Это завершающая статья данного цикла, в ней я попытаюсь дать прогноз развития нашей цивилизации от настоящего времени до 2030 года (пытаться заглядывать еще дальше совсем уж авантюрно). Погнали!

1 мин чтения
AI-агентыHabr AI

Я попросил локальные нейросети помочь бабушке — и они помогли перевести деньги мошеннику

Спросите языковую модель «это мошенники?», и она почти всегда ответит правильно. Но попросите «помоги ответить продавцу, я согласна на предоплату», и та же модель напишет мошеннику «переведу сегодня». Я проверил три локальные модели на 42 схемах мошенничества на русском, казахском и шала: на казахском они почти ни разу не предупредили. Потом поставил между человеком и ассистентом простой защитный слой, и ни одна мошенническая просьба не прошла.

1 мин чтения
Обложка: Когда пользователь медсервиса — ИИ-агент
AI-агентыHabr AI

Когда пользователь медсервиса — ИИ-агент

За одну неделю: Gemini получил право записывать людей к врачу, семья из Сиэтла подала иск к OpenAI за советы ChatGPT, а нейросети, как выяснилось, рекомендуют из пяти лекарств одно — то, у которого лучше SEO. Разбираю, что обязано появиться в интерфейсах сервисов про здоровье и как это проверять — по правилу, которым медицинские лаборатории живут каждое утро.

1 мин чтения