Zyphra Research 解析混合 NoPE 模型如何在无位置编码下学到位置信息

Zyphra Research 研究发现，混合架构语言模型中滑动窗口注意力（SWA）和门控线性注意力等局部层会在残差流中自然产生 recency bias，使邻近 token 的表示更相似。全局 NoPE 注意力层的 query 和 key 投影会学会读取这种偏差，形成隐式相对位置编码。这解释了局部混合层与全局 NoPE 注意力交替的架构为何有效，并提示这类位置表示可自然外推到超出训练序列长度。