AI-агенты

Сколько на самом деле стоит запрос к LLM: формулы, кэш промптов, reasoning-токены и длинный контекст

1 мин чтенияHabr AI
ZOLT®AI / NEWS

Обычно стоимость запроса к языковой модели прикидывают так: открывают прайс, видят «вход столько-то долларов за миллион токенов, выход столько-то», умножают на ожидаемые объёмы и на этом заканчивают. Потом приходит счёт, и он отличается от прикидки в разы. Причём бывает и так, что счёт меньше: кто-то незаметно для себя попадал в кэш. Я сам несколько раз на этом обжигался. В итоге я сел и разобрал, из чего на самом деле складывается цена одного вызова. Какие числа модель возвращает в ответе и как их правильно читать. Почему ответ в три строки может стоить как страница текста. Когда кэш промптов экономит деньги, а когда только добавляет расходов. И как четыре лишних тысячи токенов во входе могут удвоить цену запроса.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

Обложка: LLM-беседы: Предрасположенность к риску разных ноосвиков / LLM
AI-агентыHabr AI

LLM-беседы: Предрасположенность к риску разных ноосвиков / LLM

В литературе существует несколько работ, изучавших отношение разных ноосвиков / LLM к риску. Данная статья представляет обзор этих работ из перспективы развиваемой автором теории LLM. Любопытно, что хоть в общем случае задание (промпт) и влияет на рискованность поведения ноосвика, для популярных моделей в случае одинаковых стартовых условий обнаружена закономерность в рискованности их поведения: Claude Sonnet 4.5 < DeepSeek V3.2 < Gemini 3 Pro < Qwen3 Max < GPT-5.2.

1 мин чтения
Обложка: Айти больше не чит-код
AI-агентыHabr AI

Айти больше не чит-код

Все обсуждают, заменит ли ИИ программистов, но почти никто не обсуждает, что будет, если не заменит Мне кажется, что не заменит. Скорее нас станет даже больше. Звучит как хорошая новость, но для большинства из нас это худший из вариантов Почему это плохая новость

1 мин чтения
Обложка: Можно ли отказаться от Opus и Codex? Проверил MacBook, игровой ноутбук и DGX Spark на одной задаче с ловушками
AI-агентыHabr AI

Можно ли отказаться от Opus и Codex? Проверил MacBook, игровой ноутбук и DGX Spark на одной задаче с ловушками

В моём пет-проекте open-daimon давно есть роутинг между локальными моделями и облаком. Сразу оговорюсь: публично open-daimon не обновляется, потому что разработку я веду локально, так быстрее. А на его основе у меня уже есть отдельный закрытый проект, который расширяет его возможности, — студия управления агентами. В ней я всё это и тестировал. Всерьёз захотелось по простой причине: в облаке правила чужие, и меняются они без спроса. В октябре снова всплыло, что в потребительских условиях Anthropic для жителей ЕЭЗ и Швейцарии прямо написано: не использовать сервисы «в коммерческих или деловых целях». Под эти условия попадают Claude.ai и подписки Pro и Max. То есть разработчик в Европе, который пишет рабочий код в Claude Code по подписке Max, формально их нарушает. Для работы нужен API, Team или Enterprise, а это уже совсем другие деньги.

1 мин чтения