Hugging Face Blog·· 3 天前AI 评分42
HOPE：考虑专家协作关系的高阶 MoE 大模型剪枝方法
Your Experts Have Partners. There's HOPE for Keeping Them Together
AI 导读
Hugging Face 提出 HOPE（Higher-Order Pruning of Experts），一种针对 MoE 大模型的二阶专家剪枝方法，将专家间的成对交互纳入剪枝决策，弥补一阶方法只独立打分的不足。
来源：Hugging Face Blog · huggingface.co