门控机制的重要性：SSM 中的记忆与上下文学习之争

Apple 与哈佛大学的研究人员通过理论与实验分析，门控机制导致 SSM 在训练中先学到“权重内记忆”方案，从而延迟甚至阻止其收敛到正确的上下文学习解，即便架构和记忆容量没有根本限制。SSM 以固定内存和线性计算复杂度著称，但在需要上下文学习和精确检索的任务上仍落后于 Transformer。研究同时发现门控有利于提升对长序列的泛化能力，为理解和改进线性时间模型提供了基础。