Уже несколько месяцев я активно экспериментирую с локальными языковыми моделями на своем ноутбуке Lenovo ThinkPad P16 Gen 2 (Intel Core i7-13850HX, 128 GB RAM, Samsung 980 Pro 2 TB + 990 Pro 1 TB). Конфигурация очень бодрая для любых задач, кроме… работы с тяжелыми ИИ-моделями. И узкое горлышко здесь очевидно - видеокарта Nvidia RTX 2000 Ada Laptop всего с 8 ГБ VRAM. Дискретная, быстрая, заточенная под ИИ, но видеопамяти катастрофически мало! Тем не менее даже в эти 8 гигабайт вполне можно уместить отличную локальную модель, да еще и с контекстом на 8192 токена. Это позволяет вести долгие осмысленные диалоги без потери нити обсуждения. После долгих поисков и тестов я остановился на одной модели - gemma-4-12B-it-QAT в квантовании q4_0. Почему именно она? Премиальный уровень «из коробки»: Это модель от Google, обученная на их топовых решениях.
Читать далееAI-агенты


