跳到正文
Ai2 / Allen Institute for AI·· 23 天前AI 评分67

Ai2 发布 FairStress 基准:测量大模型决策中隐藏的人口公平性不对称

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

Ai2 发布 FairStress 基准,用 300 个双候选决策场景、扩展后超过 1300 万测试用例,测量大模型在招聘、医疗、贷款等决策中除最终选择之外的公平性。测试发现模型在对抗性前缀挑战下更易放弃有利于多数群体的正确选择,平均差距达 6.9 至 9.3 个百分点;对 Olmo 3 训练数据的审计显示少数群体获得更多保护性表述。反事实链式推理是少数能缩小差距且保持准确率的干预方法。

来源:Ai2 / Allen Institute for AI · allenai.org