Together AI 讲解在生产环境对 LLM 做 A/B 测试的完整流程

Together AI 在官方博客讲解如何用其平台在端点级别对 LLM 做 A/B 测试，让真实用户流量而非基准分数来衡量新模型的好坏。实验挂在端点上，需设一个 control 和若干 variant，variant 部署权重必须为零、由实验百分比接管路由，各百分比之和为 100 且不受副本数影响。