Zyphra Research·精选AI 评分60
Zyphra 研究 GPT 类 Transformer 持续学习中的可塑性丧失并提出缩放律
Plasticity Loss in Continual Learning
AI 导读
Zyphra Research 发表研究，发现 5M 到 314M 非嵌入参数的 GPT 式 Transformer 在多语言持续学习问题中会出现可塑性丧失，即在继续训练后失去学习新数据的能力。
推荐理由
Zyphra 用多语言持续学习实验证明 GPT 类 Transformer 会丧失可塑性，并给出缩放律，说明靠扩大参数量应对收益递减。
来源：Zyphra Research · zyphra.com