logo NodeSeekbeta

折腾了一段时间,把几个 AI 接口整到一起了

最近一直在用几个 AI API。
一开始其实挺简单,就是哪个顺手用哪个。
但是用久了发现几个问题:
比如:
Claude 写长内容不错,但是有时候响应慢
GPT 比较全面,但是价格有时候顶不住
Gemini 速度快,但是复杂任务偶尔不太稳定
然后就想着能不能自己做一个中间层。
不用每次换项目都重新改接口。
现在大概结构就是这样:
用户请求

统一接口

判断任务类型

选择模型

返回结果
目前还比较简单。
没有搞什么复杂算法,主要就是一些规则:
比如:
长文本 → Claude
代码 → GPT
简单问答 → Gemini
失败自动换备用。
目前感觉最大的问题不是接模型。
接几个 API 其实没什么难度。
难的是:
你怎么判断一个请求到底适合哪个模型。
这个东西感觉还有很多可以优化。
目前先这样跑着。
后面可能会试试根据历史请求自动调整。
有做类似东西的大佬可以交流一下。

  • 这个让hermes给你做,不更方便?

  • @robin2025 #1 哈哈 Hermes 确实方便,我也看过。
    我主要是想自己研究下路由这一层,看看不同场景怎么分模型,现在还在慢慢折腾。

  • xhj001

  • github上有这种路由决策的项目,要看你的使用场景,一般都是预训练一个模型或者搞个轻量模型,先评估问题的难度、领域,然后分配对应的模型处理;要不就是搞关键词命中、意图匹配之类的,但是想要效果好,还是要引入模型去评估

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

📈用户数目📈

目前论坛共有63534位seeker

🎉欢迎新用户🎉