AWS 提出 priming 方法，用预训练 Transformer 权重低成本构建混合状态空间模型

Amazon Web Services 团队发布论文 "Priming: Hybrid state space models from pre-trained Transformers"，提出复用预训练 Transformer 权重初始化混合架构的 priming 方法，将预训练成本降低超过 99%，整个流程消耗不到源模型预训练 token 预算的 0.5%。