Zyphra Research·AI 评分44
Zyphra 提出 TSP：折叠 Tensor 与 Sequence Parallelism 实现内存高效的 Transformer 训练
Folding Tensor and Sequence Parallelism for Memory-Efficient Transformer Training
AI 导读
Zyphra 发布 Tensor and Sequence Parallelism（TSP），一种将 TP 与 SP 折叠到同一设备维度的并行切分策略，用于训练和推理长上下文 Transformer 模型。
来源：Zyphra Research · zyphra.com