AI-агенты

Какую MoE-модель выбрать для локального кодинга на GTX 1080 Ti: перплексия против реальной скорости

ZOLT®AI / NEWS

В одной из своих статей, посвященной тестированию возможности запуска локальной модели на домашнем ПК, с не самой сильной и новой видеокартой, я показал, что 176B-класс Qwen3.8-Flash-Next можно запустить на GTX 1080 Ti с 11 GB VRAM, если использовать llama.cpp, правильный offload и DeepSeek Harness. Скорость оказалась скромной - около 11 токенов/с, но схема работала. В продолжение выбранной тематики, во второй статье для этого же оборудования был проведен отбор несколько MoE-моделей (35B, 120B, 176B) в реальной задаче - написание простого погодного сервера на Go. Победителем неожиданно стала Qwen3.8-35B-A3B-Q4_K_M: она показала 30 токенов/с и справилась с задачей за 15 минут, тогда как Flash-Next «думала» три часа. После публикации в комментариях мне указали на несколько моделей, которые я пропустил.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

Обложка: Когда пользователь медсервиса — ИИ-агент
AI-агентыHabr AI

Когда пользователь медсервиса — ИИ-агент

За одну неделю: Gemini получил право записывать людей к врачу, семья из Сиэтла подала иск к OpenAI за советы ChatGPT, а нейросети, как выяснилось, рекомендуют из пяти лекарств одно — то, у которого лучше SEO. Разбираю, что обязано появиться в интерфейсах сервисов про здоровье и как это проверять — по правилу, которым медицинские лаборатории живут каждое утро.

Обложка: HuggingFace для начинающих: как выбрать и запустить модель
AI-агентыHabr AI

HuggingFace для начинающих: как выбрать и запустить модель

Если вы интересуетесь темой ИИ и данных, то наверняка встречались с таким сервисом как HuggingFace - платформы и сообщества для разработчиков в сфере ИИ, этаким GitHub для ИИ. Она предоставляет централизованный и удобный хаб для обмена, поиска и совместной работы над открытыми моделями машинного обучения, наборами данных и приложениями. Но она, мягко говоря, не самая удобная для пользователей, сразу понять как работать с сложным интерфейсом бывает сложно. Видишь 800 тысяч моделей, и чувствуешь примерно то же, что человек, который попал впервые на московский оптовый рынок в 1990е - все есть, ничего не понять, все смотрят тебя как на добычу, а с чего начать - нигде не написано. Через двадцать минут ты либо скачал не те датасеты, либо забросил это гиблое дело. Проблема даже не в том, что HuggingFace сложный, тут больше нюанс что он требует уже понимать и знать платформу.

Обложка: Q&A: Где заканчивается ИИ и начинается человек
AI-агентыHabr AI

Q&A: Где заканчивается ИИ и начинается человек

Что такое ИИ-грамотность, почему люди начинают пользоваться чат-ботами, может ли ИИ собрать опыт сотрудников и где без эксперта-человека не обойтись. Разбор 27 научных работ простым языком.