IBM Research：AI·· 22 天前AI 评分49
IBM 推出 vLLM-Hook MIA 插件库，可在推理时快速监控和干预 LLM
A new plugin can enable fast runtime monitoring and control
AI 导读
IBM 发布插件库 vLLM-Hook MIA（model internals aperture），面向 vLLM 推理引擎，让开发者在不显著降低性能的情况下于运行时观察和干预模型生成过程，例如拒绝恶意提示词、标记幻觉或调整回复。
来源：IBM Research：AI · research.ibm.com