Ai2 / Allen Institute for AI·2026-10-07 16:00AI 评分53

Ai2 的 Bolmo 字节级语言模型研究登 Nature，并开源 Bwen 8B 与 Blama 8B 检查点

Now in Nature: Retrofitting language models to operate over bytes

AI 导读

Ai2 宣布其字节级语言模型 Bolmo 的研究发表于 Nature，并在 Hugging Face 上发布新检查点。文中介绍了 byteifying 方法，可将已训练好的子词模型以较短的额外训练转换为字节级模型，此前已基于 Olmo 模型做出 Bolmo 1B 和 7B。