vLLM 官方博客· Giancarlo Delfin (Inferact)·AI 评分48
vLLM 无需置信度头的自适应验证(Adaptive Verification)上线
Adaptive Verification Without a Confidence Head
AI 导读
vLLM 通过 PR #52228 为 Adaptive Verification(AV)新增在线拟合接受估计器,使缺少置信度头的 draft 模型(如 EAGLE、MTP、DFlash)也能使用该功能,通过 enable_adaptive_verification 开启。
来源:vLLM 官方博客 · vllm.ai