Google Developers Blog·· 4 天前AI 评分54
MaxText v0.2.4 发布 TPU 长上下文训练支持，上下文并行最高可扩展至 14M tokens
Announcing Long-Context Training on TPUs with MaxText Context Parallelism
AI 导读
Google Cloud 宣布开源 JAX 训练框架 MaxText v0.2.4 支持长上下文训练，通过上下文并行提供 All-gather、A2A（DeepSpeed Ulysses）、P2P（Ring Attention）和 A2A+P2P 混合（USP）四种策略，均基于 Tokamax Splash Attention 内核。
来源：Google Developers Blog · developers.googleblog.com