Zyphra Research·AI 评分48
Zyphra 提出 Norm-Agnostic 残差网络（NAG）：让深度成为可扩展的计算轴
Scaling Adaptive Depth with Norm-Agnostic Residual Networks
AI 导读
Zyphra 介绍 Norm-Agnostic 残差网络（NAG），将 residual stream 拆分为方向与范数两条通路，各层只对归一化方向做受控正交旋转，范数单独传递，避免深层更新被不断增大的 residual stream 稀释。
来源：Zyphra Research · zyphra.com