苹果等提出 Weighted State Souping 提升 SSM 长上下文检索效率

Apple 与哈佛大学研究者的论文提出加权状态汤（weighted state souping）方法，通过学习依赖查询的权重来组合缓存的 SSM 状态编码，被 NeurIPS 2026 PALM 工作坊接收。该方法在多跳文档问答、needle-in-a-haystack 检索、变量追踪和工具使用等长上下文任务上显著提升性能，稀疏变体可将编码成本保持在与上下文长度近常数相关的水平。