Хотели бы вы запустить большую языковую модель на видеокарте с небольшим объёмом памяти? Модель с 27 миллиардами параметров, упакованными в 16 бит, занимает около 54 ГБ. Если хранить каждый вес одним битом и один общий масштаб на группу из 128 весов, те же параметры уместятся примерно в 4 ГБ (не считая таблицы словаря). Недостаток такого подхода: если просто округлить веса до знака, модель перестанет работать. Bonsai от PrismML использует именно такую схему хранения весов в трансформерных блоках, но при этом сохраняет работоспособность. Разработчики выложили формат, вычислительные ядра для llama.cpp и MLX, а также простой инструмент квантизации, однако не раскрыли метод получения самих весов. Я попытался воспроизвести эту процедуру. Вначале двигался по пути послойной квантизации и в результате получил нерабочую модель с большой перплексией.
Читать далееКейсы
Однобитная Bonsai по весам: что видно при сравнении с Qwen и как получить такую модель дистилляцией
