DeepSeek API Arena
这是一个用于测试不同供应商 DeepSeek R1 模型推理性能的 benchmark。用于比较和评估不同供应商部署的 DeepSeek R1 模型的推理能力和效率。
性能指标说明
TTFT (Time To First Token)
该指标显示了用户在看到模型输出之前需要等待的时间。这是从提交查询到接收到第一个 token（如果响应不为空）所花费的时间。TTFT 越小，用户等待时间越短，体验越好。
TBT（Time Between Tokens）
该指标表示生成相邻 token 之间的平均时间间隔。反映了模型生成文本的连续性和流畅度，数值越低表示生成速度越快，用户获得完整回复的时间越短。
Throughput (吞吐量)
基于 TBT 计算的每秒生成 token 数量(1/TBT)。这个指标直观地反映了模型的实际生成效率，数值越高表示生成速度越快，单个用户每秒能产生更多的文本内容。
最新数据 (2025-02-24)
| 供应商 | 输入 (1M tokens) |
输出 (1M tokens) |
TTFT (s) | TBT (ms) | 吞吐 (tokens/s) |
|---|---|---|---|---|---|
| 火山方舟 | ¥2.00 | ¥8.00 | 0.34 | 33.30 | 30.03 |
| 阿里百炼 | ¥2.00 | ¥8.00 | 0.82 | 112.10 | 8.92 |
| 深度求索 | ¥4.00 (¥1.00 cached) | ¥16.00 | 14.21 | 50.40 | 19.84 |
| 腾讯知识引擎原子能力 | ¥4.00 | ¥16.00 | 0.72 | 84.20 | 11.88 |
| 硅基流动 | ¥4.00 | ¥16.00 | 0.37 | 74.90 | 13.35 |