Zyphra 提出 HAM：用 RNN 与 KV cache 互补的混合关联记忆架构

Zyphra 介绍其混合关联记忆（HAM）架构，让 RNN 负责压缩总结序列内容，KV cache 仅存储 RNN 难以预测的 token，从而兼顾精确回忆与高效推理。路由机制基于预测误差阈值，并测试了端到端可学习路由和指数深度平均（EDA）路由。在 800M 规模的对比实验中，HAM 以远小于标准 Transformer 的 cache 规模取得了接近或更优的表现。