Один из самых частых вопросов, которые нам задают: как мы разворачиваем большие модели на чипах Cerebras размером с целую кремниевую пластину? На одной пластине Cerebras WSE-3T находится 44 ГБ встроенной памяти, а передовым моделям с триллионами параметров нужны терабайты только для хранения весов. В этой статье мы объясним, как распределяем большую модель между несколькими пластинами WSE-3T, чтобы запускать модели с несколькими триллионами параметров со скоростью 1000–2000 токенов в секунду и выше. В качестве наглядного примера возьмём открытую модель Kimi K3, в которой около 3 трлн параметров.
Читать далееAI-агенты
[Перевод] Как развернуть Kimi K3 локально на Cerebras
![Обложка: [Перевод] Как развернуть Kimi K3 локально на Cerebras](/blog-media/0d6dbf52dfc07a2154a058fb170309b52b217645e8a87867a775f8f5143bbe4f.png)

