〖开源自荐〗api-bench:测试大模型 API 与中转站的首字延迟、并发和缓存命中

软件名称:

api-bench|大模型 API 测速工具

简介

用来测试 AI API 和中转站首字延迟、生成速度、并发性能及缓存命中情况的开源工具。

应用平台

cli / 在线服务

推荐类型

【开源自荐】

是否收费

免费,MIT 开源

测试截图

应用简介

之前为了测试不同 AI 中转站,我写了两个 Python 脚本,现在整理后开源了。

它主要用来弄清楚几个问题:

  • 接口首字响应到底快不快
  • 多个请求同时发送时能不能稳定处理
  • 实际生成速度是多少
  • Prompt Cache 有没有真正命中
  • 长对话变长以后,历史内容能不能继续复用缓存
  • 请求失败、超时和流式中断分别有多少
  • 多并发

支持接口格式:

  • Claude Messages:/v1/messages
  • OpenAI Responses:/v1/responses

工具只有两个单文件脚本,使用 Python 标准库,不需要安装第三方依赖。测试完成后可以生成一份独立的 HTML 报告,直接在浏览器中打开。

报告包含首字延迟、生成速度、请求成功率、吞吐、缓存命中率、滚动缓存和错误分类等数据。既可以测试第三方中转站,也可以测试自己部署的 API 网关。

如果不想下载脚本,也提供了在线版本,填写 API 地址、密钥和模型即可开始检测。

注意:压测会发起真实 API 请求并消耗相应额度,请只测试自己有权使用的接口,建议先使用测试专用密钥和较小的请求数量。

地址

GitHub 开源仓库:

在线检测工具: