sales

Сравнение Алисы (Яндекс) и Гигачат (Сбер) по 5 бенчмаркам: τ³, ПРАКТ-120, MultiChallenge, WildBench и Arena‑Hard

Всем привет! Я обещал написать эту статью и я наконец‑то закончил тесты и готов поделиться с вами результатами. Я потратил МНОГО времени на то, чтобы прогнать эти бенчмарки. Много времени на сетапы, много времени на ожидание тестов. Все вместе заняло около двух недель работы — модели обрывались, где‑то нужно было костылять заплатки чтобы они отвечали, где‑то просто ждать по несколько дней на прохождение теста (даже в многопоточном тестировании). Наконец‑то я получил ответы, которые мне интересны — и, надеюсь, будут интересны и вам, и создателям Алисы и Гигачата. Почему они сами не проходят такие бенчмарки я догадываюсь, но на месте руководства этими проектами я бы наоборот, поставил бы прохождение бенчмарков в цикл. Потому что только так можно понять где твоя модель, а где мировые лидеры. Скорее читать о результатах эксперимента!