跳到正文
Ai2 / Allen Institute for AI·AI 评分62

Ai2 发布开源训练框架 Olmo-core 3,可扩展至万亿参数级 MoE 训练

Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

AI 导读

Ai2 发布开源训练框架 Olmo-core 3,重新设计 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模。

来源:Ai2 / Allen Institute for AI · allenai.org