Автоматизация

Нужна ли умная модель для рутины? Дал четырём моделям пять одинаковых задач и сравнил

ZOLT®AI / NEWS

На этой неделе на Хабре спорили, нужны ли программисту самые умные модели или для рутины хватит дешёвых. Триста комментариев и ни одного замера на одинаковых задачах. Я сделал: пять рутинных задач, четыре модели одного семейства, по два прогона, скрытые тесты. Сорок прогонов. Самая дорогая модель оказалась самой быстрой: 341 секунда против 395 у самой дешёвой, потому что ей нужно меньше ходов и вдвое меньше текста. Четыре задачи из пяти решили все, 32 прогона из 32. А на пятой младшая модель написала баг и отчиталась двумя галочками подряд, вторая из которых опровергает первую.

Читать далее

ZOLT JOURNAL / ДАЛЬШЕ

Обложка: Как проводить технические собеседования в эпоху ИИ-суфлёров и агентной разработки
АвтоматизацияHabr AI

Как проводить технические собеседования в эпоху ИИ-суфлёров и агентной разработки

Стандартный технический скрининг и классический live coding стремительно теряют смысл: на онлайн-собеседованиях кандидаты массово используют невидимые ИИ-суфлёры (вроде Ghost GPT), а типовые алгоритмические задачки любая современная LLM решает за пару секунд. Пытаться победить это одними запретами и прокторингом — тупиковый путь. В какой-то момент мы в SymbioWay решили пойти от обратного: официально разрешили кандидатам использовать ИИ-агентов прямо на интервью, но изменили сами задачи так, чтобы без глубокого понимания архитектуры и кода нейросеть человеку не помогла. Под катом расскажу, какие навыки мы теперь проверяем у разработчиков и как устроены такие задачи.

АвтоматизацияHabr AI

Агент починил красный CI: исправил тест, а не код

AI‑агент исправил упавший CI, сборка стала зелёной — можно мержить? В эксперименте с двумя AI‑ассистентами выяснилось, что при конфликте тестов со спецификацией агенты могут менять сами тесты, подгоняя результат под ожидаемый. В статье разбираем шесть ошибок в организации работы с AI‑агентами и способы защитить тестирование от незаметной подмены требований. Проверить AI-агента

Обложка: Как перестать проверять одно и то же руками? Testence и ИИ-агент в работе тестировщика
АвтоматизацияHabr AI

Как перестать проверять одно и то же руками? Testence и ИИ-агент в работе тестировщика

Перед каждым релизом — те же формы, те же кнопки, те же проверки. Я делаю Testence, чтобы передать эту рутину ИИ-агенту и получить автотесты, которые дальше работают без него. Но первый же зелёный тест заставил спросить: а мы вообще проверили то, что нужно?