AI-агенты

Я попробовал ужать LLaMA-7B до 1 ГБ без дообучения. Вот что произошло после 60+ экспериментов

Обложка: Я попробовал ужать LLaMA-7B до 1 ГБ без дообучения. Вот что произошло после 60+ экспериментов

В какой‑то момент я посмотрел на 13 ГБ весов LLaMA-7B и подумал: а почему, собственно, они должны занимать именно столько? Что, если не делать маленькую модель, не учить её заново и не заставлять копировать большую, а просто найти более короткую запись тех же «мозгов»? Здравый человек, вероятно, скачал бы готовую квантизацию и пошёл заниматься своими делами. Я вместо этого поставил цель ужать модель сначала до 2 ГБ, а в идеале — до одного. Без дообучения, дистилляции, pruning и изменения архитектуры. Только математика над уже готовыми весами и небольшая выборка текстов для калибровки. Так появился PCST — домашний исследовательский проект, который довольно быстро превратился в длинный сериал.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

AI-агентыHabr AI

Замена Claude: Kimi набрала 96% в моем тесте работы с 1С

Блокировка Клауд Меня зовут Новиков Александр. Я занимаюсь программированием на 1С. Задачи типовые- разработка нового функционала. Также довольно часто просят вытащить аналитику из 1С, если штатный отчет не справляется. Много задач по интеграции всего и со всем. ИИ я освоил, как и многие из коллег. Но использую его не вслепую, а стараюсь использовать его точечно и под контролем. Из нейросетей это GPT, Клауд. На днях прилетело НЛО от Клауд в виде блокировки. Пытался возражать, но внеземной разум не вошел в положение и отправил лесом. Попутно не вернув остаток средств. А между прочим была середина периода использования. В общем чистой воды разбой. Стал задумываться, что не за горами тот день, когда GPT тоже присоединится к шайке благородных разбойников и тогда будут сложности с разработкой. Нет, код писать руками я не разучился. Вопрос в скорости разработки.

Обложка: Как попасть в ответы нейросетей: почему ответа в первом абзаце мало и как проверить начало страницы
AI-агентыHabr AI

Как попасть в ответы нейросетей: почему ответа в первом абзаце мало и как проверить начало страницы

Как попасть в ответы нейросетей? Первым делом вам посоветуют дать ответ в первых строках страницы, а это значит браться за начало каждой страницы на сайте. Search Engine Journal пересказал анализ TJ Robertson из агентства TJ Digital на 193 507 ответах ChatGPT и ИИ-ответов Google (AI Mode и AI Overviews): процитированные страницы и правда чаще начинались с прямого ответа. Но против страниц, которые ИИ нашёл и не стал цитировать, разрыв небольшой, а сам Robertson считает это связью и причиной не называет. Переписывать весь сайт рано: сначала стоит проверить начало важных страниц, каждую по её целевому вопросу. Я опираюсь на логи замера ответов ИИ-моделей и аудит цитируемости страниц, так что для меня это рабочая задача.

Обложка: Ты не бойся, это Goose
AI-агентыHabr AI

Ты не бойся, это Goose

Есть вещи посильнее “Фауста” Гёте. Есть вещи побыстрее Rust – новый ЯП Goose. Он же и помедленнее. Зависит от контекста. В типичных публикациях феномен подаётся так: “ИИ написал язык Goose – быстрее C++ и Rust”. Под катом – магия в деталях с частичным последующим разоблачением.