软件名称
Optaris
应用平台
macOS、Windows、Linux
推荐类型
【开发者自荐】
一句简介
跑在本机的 LLM 网关：自动选最优上游，请求全程可追溯。
应用简介
现在市面上有很多模型来源，比如 GLM 有来自官方的，也有来自硅基流动这种第三方的，但由于没有哪一家能保证 100% 稳定，且价格不一样，所以我注册了很多家换着用，平时用便宜的，如果便宜的挂了就换贵点的。
我一开始使用 CC Switch 来管理我注册过的所有渠道，CC Switch 也带有一个本地网关，但是我用起来有几个问题：
- 它的路由是一个简单的顺序路由，从上往下这种，但有的渠道虽然便宜，代价却是响应慢、生成速度慢，而我是希望用上价格和速度都比较合适的渠道，但不同渠道在不同时段的稳定性是阶段性的
- 模型偶尔卡住或者是抽风（比如最近经常在网上看到的答非所问的情况）的时候，我就很想看看请求是什么样的，到底是渠道的问题还是模型本身有问题，但 CC Switch 的网关不提供这个功能
于是，我自己动手做了一个本地网关，我给它取名叫 Optaris。主打的功能是它会自动收集近一段时间内每个渠道的各种数据，然后得出一个质量分，那么未来就会根据每个渠道的分数来决定请求路由到哪个渠道。
目前初步完成了第一版，打分策略可能不够完善，但故障转移是没问题的，欢迎大佬们试用之后提改进建议！