跳到正文
vLLM 官方博客· Giancarlo Delfin (Inferact)·AI 评分48

vLLM 无需置信度头的自适应验证(Adaptive Verification)上线

Adaptive Verification Without a Confidence Head

AI 导读

vLLM 通过 PR #52228 为 Adaptive Verification(AV)新增在线拟合接受估计器,使缺少置信度头的 draft 模型(如 EAGLE、MTP、DFlash)也能使用该功能,通过 enable_adaptive_verification 开启。

来源:vLLM 官方博客 · vllm.ai