vLLM 官方博客· Ant Group and the vLLM Community·· 23 天前精选AI 评分67
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming，支持 Turing 起的 NVIDIA GPU 及 T-Head Zhenwu 810E，用统一量化表示加 JIT 编译覆盖多种权重/激活组合和 MoE 工作负载。
推荐理由
蚂蚁集团与 vLLM 社区开源的量化推理内核库，基准数据和端到端收益都给出细节，对部署与内核选型有直接参考价值。
来源：vLLM 官方博客 · vllm.ai