Zyphra 发布 ZHA 层级稀疏注意力方法，蒸馏数十亿 token 即可适配预训练模型

Zyphra 提出 Zyphra Hierarchical Attention（ZHA），通过对 KV cache 构建层级树并使用 top-p 路由进行粗到细搜索，实现次二次复杂度的稀疏注意力。