# 〖开源自荐〗api-bench：测试大模型 API 与中转站的首字延迟、并发和缓存命中

**URL:** <https://meta.appinn.net/t/topic/93954>\
**Category:** 发现频道\
**Tags:** web, 1\_开源项目\
**Created:** [2026 年10 月 19 日 12:27 UTC](https://meta.appinn.net/t/topic/93954 "2026-10-19T12:27:30Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

作者： ![wang\_d](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/wang_d/32/42242_2.png) [@wang\_d](https://meta.appinn.net/u/wang_d)\
发布日期： [2026 年10 月 19 日 12:27 UTC](https://meta.appinn.net/t/topic/93954/1 "2026-10-19T12:27:31Z")

</div>

## 软件名称：

api-bench｜大模型 API 测速工具

## 简介

用来测试 AI API 和中转站首字延迟、生成速度、并发性能及缓存命中情况的开源工具。

## 应用平台

cli / 在线服务

## 推荐类型

【开源自荐】

## **是否收费**

免费，MIT 开源

## **测试截图**

 ![image](https://h2cdn.appinn.me/original/3X/6/2/62803cb5d2df01d1a89d3452768835785867fcf0.jpeg)

## 应用简介

之前为了测试不同 AI 中转站，我写了两个 Python 脚本，现在整理后开源了。

它主要用来弄清楚几个问题：

- 接口首字响应到底快不快
- 多个请求同时发送时能不能稳定处理
- 实际生成速度是多少
- Prompt Cache 有没有真正命中
- 长对话变长以后，历史内容能不能继续复用缓存
- 请求失败、超时和流式中断分别有多少
- 多并发

支持接口格式：

- Claude Messages：`/v1/messages`
- OpenAI Responses：`/v1/responses`

工具只有两个单文件脚本，使用 Python 标准库，不需要安装第三方依赖。测试完成后可以生成一份独立的 HTML 报告，直接在浏览器中打开。

报告包含首字延迟、生成速度、请求成功率、吞吐、缓存命中率、滚动缓存和错误分类等数据。既可以测试第三方中转站，也可以测试自己部署的 API 网关。

如果不想下载脚本，也提供了在线版本，填写 API 地址、密钥和模型即可开始检测。

注意：压测会发起真实 API 请求并消耗相应额度，请只测试自己有权使用的接口，建议先使用测试专用密钥和较小的请求数量。

## 地址

GitHub 开源仓库：

> **[GitHub - Okkmass/api-bench: 测 AI API 网关的首字延迟、缓存命中与滚动缓存：两个纯标准库脚本，一页 HTML 报告 |...](https://github.com/Okkmass/api-bench)**
>
> 测 AI API 网关的首字延迟、缓存命中与滚动缓存：两个纯标准库脚本，一页 HTML 报告 | Benchmark TTFT, prompt-cache hit rate and rolling cache for Claude /v1/messages and OpenAI /v1/responses gateways

在线检测工具：

> **[AI API 测试工具 - LLM API 测速、TTFT、并发与缓存测试](https://www.okkmax.com/tools/api-speed)**
>
> 免费在线大模型 API 测试与 LLM API 测速工具，检测官方接口和中转站的首字延迟（TTFT）、生成速度、并发成功率与缓存命中率，支持 Anthropic Messages 和 OpenAI Responses 协议。密钥不保存，生成可下载、可分享的测试报告。
