跳到正文
Zyphra Research·精选AI 评分60

Zyphra 发布 ZAYA1-74B-Preview,在 AMD 上完成大规模预训练

ZAYA1-74B-Preview: Scaling Pretraining on AMD

AI 导读

Zyphra 发布 ZAYA1-74B-Preview,这是一个总参数 74B、激活 4B 的 MoE 预 RL 推理基座,未做 RL 后训练或指令微调,权重以 Apache 2.0 许可在 Hugging Face 开放。

推荐理由

官方发布给出了架构、训练数据规模和 pass@4 对比细节,读者可以据此评估这个预 RL 基座在 AMD 上扩展预训练的实际水准。

来源:Zyphra Research · zyphra.com