Together AI 推出 LLM 推理自动扩缩容端点并讲解指标选择

Together AI 在 Dedicated Model Inference 平台上推出自动扩缩容端点，可基于 in-flight requests、TTFT、GPU 利用率等 8 项推理原生指标设置副本上下限、目标值和扩缩窗口。