AI-агенты

Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp

Обложка: Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp

Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

AI-агентыHabr AI

Замена Claude: Kimi набрала 96% в моем тесте работы с 1С

Блокировка Клауд Меня зовут Новиков Александр. Я занимаюсь программированием на 1С. Задачи типовые- разработка нового функционала. Также довольно часто просят вытащить аналитику из 1С, если штатный отчет не справляется. Много задач по интеграции всего и со всем. ИИ я освоил, как и многие из коллег. Но использую его не вслепую, а стараюсь использовать его точечно и под контролем. Из нейросетей это GPT, Клауд. На днях прилетело НЛО от Клауд в виде блокировки. Пытался возражать, но внеземной разум не вошел в положение и отправил лесом. Попутно не вернув остаток средств. А между прочим была середина периода использования. В общем чистой воды разбой. Стал задумываться, что не за горами тот день, когда GPT тоже присоединится к шайке благородных разбойников и тогда будут сложности с разработкой. Нет, код писать руками я не разучился. Вопрос в скорости разработки.

Обложка: Как попасть в ответы нейросетей: почему ответа в первом абзаце мало и как проверить начало страницы
AI-агентыHabr AI

Как попасть в ответы нейросетей: почему ответа в первом абзаце мало и как проверить начало страницы

Как попасть в ответы нейросетей? Первым делом вам посоветуют дать ответ в первых строках страницы, а это значит браться за начало каждой страницы на сайте. Search Engine Journal пересказал анализ TJ Robertson из агентства TJ Digital на 193 507 ответах ChatGPT и ИИ-ответов Google (AI Mode и AI Overviews): процитированные страницы и правда чаще начинались с прямого ответа. Но против страниц, которые ИИ нашёл и не стал цитировать, разрыв небольшой, а сам Robertson считает это связью и причиной не называет. Переписывать весь сайт рано: сначала стоит проверить начало важных страниц, каждую по её целевому вопросу. Я опираюсь на логи замера ответов ИИ-моделей и аудит цитируемости страниц, так что для меня это рабочая задача.

Обложка: Ты не бойся, это Goose
AI-агентыHabr AI

Ты не бойся, это Goose

Есть вещи посильнее “Фауста” Гёте. Есть вещи побыстрее Rust – новый ЯП Goose. Он же и помедленнее. Зависит от контекста. В типичных публикациях феномен подаётся так: “ИИ написал язык Goose – быстрее C++ и Rust”. Под катом – магия в деталях с частичным последующим разоблачением.