Привет, Хабр! Продолжаем цикл про инфраструктуру для ИИ-задач. В первой статье мы разобрали, что заказчик узнает о самосборе не на этапе закупки, а через полгода. Во второй прошлись по аппаратному стеку: GPU, питание, охлаждение, хранение — и почему для ИИ-задач это принципиально другая история, чем для обычного сервера. Сегодня же — про сеть. Сеть — это, пожалуй, самое недооцененное место во всей ИИ-инфраструктуре. Когда заказчик закладывает бюджет, в первую очередь он думает о GPU и о серверах. Сеть появляется в расчетах в формате «ну там поставим что-нибудь достаточно быстрое». А потом обнаруживается, что именно сеть убивает производительность при distributed training (распределенном обучении), создает непредсказуемые задержки и превращает дорогой GPU-кластер в систему, в которой карты большую часть времени ждут, а не считают.
Читать далееAI-агенты
Сеть для ИИ-нагрузок: не как обычно. RoCEv2, RDMA и почему InfiniBand — не единственный правильный ответ (часть 1)
