软件名称
Optaris
应用平台
macOS、Windows、Linux
推荐类型
【开发者自荐】
一句简介
跑在本机的 LLM 网关：自动选最优上游，请求全程可追溯。
应用简介
现在市面上有很多模型来源，比如 GLM 有来自官方的，也有来自硅基流动这种第三方的，但由于没有哪一家能保证 100% 稳定，且价格不一样，所以我注册了很多家换着用，平时用便宜的，如果便宜的挂了就换贵点的。
我一开始使用 CC Switch 来管理我注册过的所有渠道，CC Switch 也带有一个本地网关，但是我用起来有几个问题：
- 它的路由是一个简单的顺序路由，从上往下这种，但有的渠道虽然便宜，代价却是响应慢、生成速度慢，而我是希望用上价格和速度都比较合适的渠道，但不同渠道在不同时段的稳定性是阶段性的
- 模型偶尔卡住或者是抽风（比如最近经常在网上看到的答非所问的情况）的时候，我就很想看看请求是什么样的，到底是渠道的问题还是模型本身有问题，但 CC Switch 的网关不提供这个功能
于是，我自己动手做了一个本地网关，我给它取名叫 Optaris。主打的功能是它会自动收集近一段时间内每个渠道的各种数据，然后得出一个质量分，那么未来就会根据每个渠道的分数来决定请求路由到哪个渠道。
目前初步完成了第一版，打分策略可能不够完善，但故障转移是没问题的，欢迎大佬们试用之后提改进建议！
官方网站
有一个小小的担心，这样会不会造成某个渠道质量分低后，导致没有调用，因此收集不到最新数据，质量分一直没更新，导致没有被调用，导致一个恶性循环
质量分是有时效的，目前是收集近10分钟的数据评估质量分，10分钟后就会把之前的不稳定“忘掉”，回归到默认的价格排序
1 个赞
Mow
(Mow)
4
这种方案我看过好多个开源项目, New-API, 9Router, 还有个前段时间在其他地方看到的, 你这个相比起来有什么优势吗?
还有, 质量分这个指标是按照什么方法计算的呢?
New-API 和 9Router 跟 Optaris 解决的不是同一个问题，它们主打的应该都是故障转移，即注册多个上游，如果某个上游失败了，就换下一个上游重试。9Router 主打的更是跨了模型，即 claude code 的用量用完了，就换 codex 的、gemini 的，付费订阅的用完了就用免费赠额之类的。
Optaris 在故障转移的基础上做了一层额外的“质量分”，如果一个上游价格便宜，但响应慢、速度慢、稳定性差，那么“质量分”就会低，这时候 Optaris 就会把未来的请求路由到另一个上游上去，然后重新运行这套逻辑。
质量分就是四个数据 价格、响应时间、tokens 输出速度、成功率 根据不同权重计算出来的个综合总分