Mitra-v2:为表格基础模型扩展合成数据预训练
Amazon 推出第二代表格基础模型 Mitra-v2,支持分类与回归,预训练数据完全使用合成表格。其预训练表格行数是 Mitra-v1 的 10 倍、列数约 3 倍,并新增混合 SCM prior;输出层为 10 节点,多分类通过层级树细化,默认对新表自动微调并用 8 个副本的 bagging 平均预测。
Amazon 推出第二代表格基础模型 Mitra-v2,支持分类与回归,预训练数据完全使用合成表格。其预训练表格行数是 Mitra-v1 的 10 倍、列数约 3 倍,并新增混合 SCM prior;输出层为 10 节点,多分类通过层级树细化,默认对新表自动微调并用 8 个副本的 bagging 平均预测。
Ai2 宣布其字节级语言模型 Bolmo 的研究发表于 Nature,并在 Hugging Face 上发布新检查点。文中介绍了 byteifying 方法,可将已训练好的子词模型以较短的额外训练转换为字节级模型,此前已基于 Olmo 模型做出 Bolmo 1B 和 7B。
Zyphra 发布 Apache 2.0 开源的 EEG 基础模型 ZUNA1.1,可跨任意通道布局对脑电数据做重建、降噪和上采样。模型保持 380M 参数与 transformer 扩散自编码架构,训练步数增至 4 倍、语料约 3.5M channel hours,支持 0.5–30 秒可变长度输入和四种 dropout 重建任务。