最近一直在改之前那个多模型调用的东西。
刚开始其实想法挺简单：
接几个模型，然后根据情况切一下。
但是实际弄起来发现没那么简单。
比如一个请求过来：
有时候你觉得它很简单。
结果发现需要长上下文或者推理。
有时候一个很复杂的问题，普通模型也能解决。
所以单纯靠关键词感觉不太靠谱。
现在比较常见的思路：
一个小模型先判断。
比如：
这个问题是什么类型？
需不需要强模型？
需不需要多模态？
然后再分配。
不过这里有个问题：
如果每次请求前都让一个模型先判断。
那这个判断本身是不是也有成本？
感觉有点套娃😂
目前我自己还是比较倾向：
简单规则先过滤。
比较难判断的，再交给模型。
感觉现在模型越来越多之后，
问题已经从：
“哪个模型最好”
变成：
“什么时候用哪个模型”。
不知道大家现在实际用的时候，会自己切模型，还是基本固定一个？
5.6sol-medium。现在复活币多，又没5小时。
平时就5.6terra-medium
这是ai吗
你可以让模型自己分配任务，自己决定用什么和新的会话。
只需告知模型特点就行。
@sunhao1256 #1 sol-medium 这个你实际用下来感觉怎么样？跟 terra-medium 差距明显吗？我最近也在试不同模型的适用场景😂
@shiodd #2 对的把想法告诉gpt，gpt给我写出来我修改一下就发布了
@yooyui #3 这个方向我也考虑过，让模型当调度感觉会灵活很多。就是担心每次都走一遍判断会增加成本，可能简单任务规则处理，复杂任务再让模型决定会更合适。
@NeoAI #4
它想的更多的，ui 写的更好。就是听人话，更清楚一点。会自己多做一些事情，而且这些事情就是我即将要做的。
没必要切换模型。
有时候不知道该使用复杂的模型还是速度快的模型？就会直接问AI，他会给我选择的。甚至他有时候会提醒我：现在进行复杂任务了你可以切换模型
之前用hermes的时候这么搞过。但是他本身好像有这个功能，然后我用codex给写了一个
但是说实话判断不是很好。我之前是由一个总模型统一分配任务，总模型不参与处理，然后由总模型根据复杂程度分配给各个子模型处理