最近一直在用几个 AI API。
一开始其实挺简单,就是哪个顺手用哪个。
但是用久了发现几个问题:
比如:
Claude 写长内容不错,但是有时候响应慢
GPT 比较全面,但是价格有时候顶不住
Gemini 速度快,但是复杂任务偶尔不太稳定
然后就想着能不能自己做一个中间层。
不用每次换项目都重新改接口。
现在大概结构就是这样:
用户请求
↓
统一接口
↓
判断任务类型
↓
选择模型
↓
返回结果
目前还比较简单。
没有搞什么复杂算法,主要就是一些规则:
比如:
长文本 → Claude
代码 → GPT
简单问答 → Gemini
失败自动换备用。
目前感觉最大的问题不是接模型。
接几个 API 其实没什么难度。
难的是:
你怎么判断一个请求到底适合哪个模型。
这个东西感觉还有很多可以优化。
目前先这样跑着。
后面可能会试试根据历史请求自动调整。
有做类似东西的大佬可以交流一下。
这个让hermes给你做,不更方便?
@robin2025 #1 哈哈 Hermes 确实方便,我也看过。
我主要是想自己研究下路由这一层,看看不同场景怎么分模型,现在还在慢慢折腾。
github上有这种路由决策的项目,要看你的使用场景,一般都是预训练一个模型或者搞个轻量模型,先评估问题的难度、领域,然后分配对应的模型处理;要不就是搞关键词命中、意图匹配之类的,但是想要效果好,还是要引入模型去评估