软件名称:
api-bench|大模型 API 测速工具
简介
用来测试 AI API 和中转站首字延迟、生成速度、并发性能及缓存命中情况的开源工具。
应用平台
cli / 在线服务
推荐类型
【开源自荐】
是否收费
免费,MIT 开源
测试截图
应用简介
之前为了测试不同 AI 中转站,我写了两个 Python 脚本,现在整理后开源了。
它主要用来弄清楚几个问题:
- 接口首字响应到底快不快
- 多个请求同时发送时能不能稳定处理
- 实际生成速度是多少
- Prompt Cache 有没有真正命中
- 长对话变长以后,历史内容能不能继续复用缓存
- 请求失败、超时和流式中断分别有多少
- 多并发
支持接口格式:
- Claude Messages:
/v1/messages - OpenAI Responses:
/v1/responses
工具只有两个单文件脚本,使用 Python 标准库,不需要安装第三方依赖。测试完成后可以生成一份独立的 HTML 报告,直接在浏览器中打开。
报告包含首字延迟、生成速度、请求成功率、吞吐、缓存命中率、滚动缓存和错误分类等数据。既可以测试第三方中转站,也可以测试自己部署的 API 网关。
如果不想下载脚本,也提供了在线版本,填写 API 地址、密钥和模型即可开始检测。
注意:压测会发起真实 API 请求并消耗相应额度,请只测试自己有权使用的接口,建议先使用测试专用密钥和较小的请求数量。
地址
GitHub 开源仓库:
在线检测工具:
