Cursor 实测 Llama-2-70B 推理成本与延迟：提示词处理比 GPT-3.5 便宜 3 倍以上

Cursor 在 2 张 80GB A100 上用自研 fork 的 text-generation-inference 实测 Llama-2-70B，发现提示词 token 价格约 $0.00042/1K，比 GPT-3.5 的 $0.0015 便宜近 4 倍，而生成 token 价格约 $0.066/1K，远贵于 GPT-3.5。