跳到正文
10月29日周四
10月27日周二
10月22日周四
10月21日周三
  1. vLLM 官方博客67

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming,支持 Turing 起的 NVIDIA GPU 及 T-Head Zhenwu 810E,用统一量化表示加 JIT 编译覆盖多种权重/激活组合和 MoE 工作负载。

    推荐理由:蚂蚁集团与 vLLM 社区开源的量化推理内核库,基准数据和端到端收益都给出细节,对部署与内核选型有直接参考价值。

10月20日周二
  1. Google Developers Blog64

    Google 发布 TorchTitan TPU:TorchTPU 原生接入 PyTorch 并给出 TPU 训练优化方案

    Google 发布 TorchTitan TPU 分支(github.com/google-pytorch/torchtitan),配合 TorchTPU 让 PyTorch 通过 torch.device("tpu") 原生使用 Cloud TPU,无需改写 JAX 或依赖旧 torch_xla。

    推荐理由:官方详细披露了 TorchTitan TPU 的关键组件与实测 MFU 数据,读者可据此评估自家模型迁移到 Cloud TPU 的可行路径。

  2. Google Developers Blog69

    Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 在 PyTorch 相关发布中推出面向 TPU 的 vLLM-TorchTPU 和 SGLang-TorchTPU 推理引擎,分别与 Inferact、RadixArk 合作开发,基于让 TPU 成为原生 PyTorch 设备的 TorchTPU。

    推荐理由:官方披露 TorchTPU 架构设计与公开基准结果,读者可以据此评估在 TPU 上用 PyTorch 生态做推理的可行路径。

10月16日周五
10月15日周四
  1. Mistral AI62

    Mistral 发布时间序列基础模型 Timestral,最大 209M 参数在 GIFT-Eval、TIME 和 fev-bench 排名第一

    Mistral 发布其首个时间序列基础模型家族 Timestral,提供 5M、28M、123M 和 209M 四种规格。最大 209M 模型在 GIFT-Eval、TIME 和 fev-bench 三个公开基准的预训练零样本模型中五项指标全部排名第一,28M 模型在 GIFT-Eval 和 TIME 上击败约四倍大小的 Chronos-2。

    推荐理由:Mistral 发布首个时间序列基础模型系列,正文给出三个基准的成绩、CPU 推理延迟和可微调部署路径,读者可据此评估其落地方式。

10月14日周三
  1. vLLM 官方博客60

    vLLM 发布训练-推理逐位一致方案,DeepSeek-V4-Flash RL 训练 diff 降为 0

    vLLM 官方博客发布训练-推理一致性方案:训练前向直接调用 vLLM 推理内核并改造为逐位一致,在 DeepSeek-V4-Flash 100 步 RL 训练中每步 diff 为 0,rollout 吞吐达高性能基线的 91.3%,而基线 KL 从 2e-3 升至 29.9 且奖励回落。

    推荐理由:原文给出训练与推理逐位一致的完整方案和开源技能,读者可据此在新模型上复现真正的 on-policy RL。

10月12日周一
10月11日周日
10月9日周五
10月7日周三
10月6日周二
  1. Mistral AI74

    Mistral 发布 Mistral Large 4 公开预览:1 万亿参数多模态开源权重模型

    Mistral 发布 Mistral Large 4(ML4,昵称 le Chonk)公开预览,1 万亿参数、520 亿激活参数的原生多模态模型,预览 API 已在 Mistral Studio 开放,权重将于本月底发布。

    推荐理由:官方给出具体基准数字、开放权重时间表和欧洲自建训练基础设施,读者可据此判断它在开源模型中的位置。

10月5日周一
10月2日周五
10月1日周四
9月22日周二
  1. vLLM 官方博客76

    vllm-metal v0.28.0 发布:在 Apple Silicon 上支持并发推理服务

    vLLM 官方发布 vllm-metal 首个正式版 v0.28.0,将 vLLM 的调度器、分页 KV cache 和 OpenAI 兼容服务引入 Apple Silicon,由 MLX 和 Metal 负责执行。

    推荐理由:原文给出架构细节、与 llama.cpp 和 oMLX 的并发基准数据,以及 Homebrew 安装入口,读者可以据此评估 Apple Silicon 上的服务化方案。

9月15日周二
9月7日周一
8月26日周三
  1. Browser Use61

    Browser Use 如何构建可扩展的长程 RL 环境并开源 200 个任务

    Browser Use 公开其从生产环境浏览器智能体流量构建长程强化学习环境的方法,并开源 200 个带评分细则的任务,托管在 github.com/browser-use/benchmark。

    推荐理由:原文完整披露了从真实用户流量构建可扩展长程 RL 环境和评分细则的流程,方法可迁移,且开源了 200 个任务。

7月29日周三
  1. Berkeley AI Research63

    研究者用 K-Search 将 CUDA kernel 优化经验迁移到 Apple Silicon 的 MLX

    IBM Research 基于加州大学伯克利 Sky Lab 的 K-Search 演进式 kernel 搜索框架,为其新增 MLX 后端和结构化 CUDA 到 MLX 翻译层,把概念映射表、MLX 专有模式和可复用断言作为上下文供进化搜索使用。

    推荐理由:原文给出可复现的 CUDA 到 MLX 翻译层做法与分项数据,读者可据此评估跨平台 kernel 迁移的方法是否适用。

7月9日周四
7月1日周三
6月1日周一
5月7日周四
  1. Zyphra Research60

    Zyphra 发布 ZAYA1-74B-Preview,在 AMD 上完成大规模预训练

    Zyphra 发布 ZAYA1-74B-Preview,这是一个总参数 74B、激活 4B 的 MoE 预 RL 推理基座,未做 RL 后训练或指令微调,权重以 Apache 2.0 许可在 Hugging Face 开放。

    推荐理由:官方发布给出了架构、训练数据规模和 pass@4 对比细节,读者可以据此评估这个预 RL 基座在 AMD 上扩展预训练的实际水准。

5月6日周三
  1. Zyphra Research64

    Zyphra 发布 AMD 训练的 MoE 模型 ZAYA1-8B

    Zyphra 发布 ZAYA1-8B,首个在 AMD Instinct MI300 集群上完成预训练、中期训练和微调的 MoE 模型,活跃参数不足 10 亿,在数学、编码和推理基准上可匹敌或超过大得多的开源模型,如 Mistral-Small-4-119B。

    推荐理由:官方详解了架构、AMD 训练栈和 Markovian RSA 推理方法,读者可据此评估小参数 MoE 模型的实际推理能力。

4月29日周三
4月24日周五
  1. OpenAI:Alignment 研究博客62

    OpenAI 开源 CoT 监控评测套件的数据集与参考代码

    OpenAI 开源其链式思维(CoT)监控性评测套件中的大部分数据集和参考代码,GitHub 仓库为 github.com/openai/monitorabil…,包含 GPQA、AIME、Sandbagging 等干预类、过程类和结果属性类评测,以及监控性指标 g-mean 2 的计算代码。

    推荐理由:原文给出开源数据集、g-mean 2 指标代码和新的 cross-fit 过滤方法,读者可以据此在社区复现或扩展 CoT 监控评测。

3月13日周五
2月18日周三
2025年6月23日周一
  1. Cognition 模型 / Devin 博客62

    Cognition 开源 blockdiff:秒级 VM 磁盘块级快照文件格式

    Cognition 开源 blockdiff(github.com/CognitionAI/blockd…),一个对 VM 磁盘做块级差异快照的文件格式与工具,其自研 hypervisor otterlink 借此把磁盘快照时间从 EC2 的 30+ 分钟降到几秒,约 200 倍提速,VM 启动时间也比 EC2 快约 10 倍。

    推荐理由:原文复盘了 Cognition 自研磁盘快照格式的动机、设计与取舍,读者能了解 VM 快照从 30 分钟降到秒级的实现路径。

2025年5月6日周二
2023年6月12日周一
  1. Cursor:Changelog56

    Cursor 推出基于 JSX 的提示词设计库 Priompt v0.1

    Cursor 团队主张把 prompting 视为类似网页设计的 prompt design,并据此推出类似 React、基于 JSX 的提示词设计库 Priompt v0.1。库已在 Cursor 内部使用,支持注释部分提示词和用真实请求记录的 props 预览渲染后的完整提示词,作者还讨论了长上下文、缓存和函数调用等趋势对该定位的影响。