Zyphra Research·精选AI 评分64
Zyphra 发布 AMD 训练的 MoE 模型 ZAYA1-8B
ZAYA1-8B: Frontier intelligence density, trained on AMD
AI 导读
Zyphra 发布 ZAYA1-8B，首个在 AMD Instinct MI300 集群上完成预训练、中期训练和微调的 MoE 模型，活跃参数不足 10 亿，在数学、编码和推理基准上可匹敌或超过大得多的开源模型，如 Mistral-Small-4-119B。
推荐理由
官方详解了架构、AMD 训练栈和 Markovian RSA 推理方法，读者可据此评估小参数 MoE 模型的实际推理能力。
来源：Zyphra Research · zyphra.com