前几天把自己的几个接口跑了一段时间。
发现一个挺明显的问题：如果所有请求都丢给最强模型，其实挺浪费。
比如一些简单任务：翻译一句话，改个格式，总结几段文字
其实没必要一直用高成本模型。
我简单统计了一下自己的使用情况：
以前：所有请求固定一个模型。
后来：简单任务换便宜模型。
复杂任务再上强模型。
体验差距没有想象中那么大，但是成本变化挺明显。
不过这里也有坑。
比如：有些问题看起来简单。但是实际需要推理。如果判断错了，结果会差很多。
现在感觉 AI 应用后面可能都会遇到这个问题：不是没有模型用。
而是：怎么合理分配模型。大家如果做过类似东西，不知道你们是：规则判断？还是直接让一个模型负责选择？
网页对话的时候不是有个auto嘛
输出和缓存创建是大头儿。
@shen1e #1 哈哈，是有😂。
不过那个更像是官方帮用户自动选，我这边主要是自己做接口的时候用，想把路由策略掌握在自己手里，方便根据场景调整。
claude code有自动模式，codex没有，挺麻烦的需要自己判断
@bakohok #2 同感。你们那边缓存一般怎么做？是直接用 provider 的 prompt cache，还是自己在上层做一层？
确实是个复杂工程
我的思路是让模型调模型。比如接的deepseek flash、复杂问题让它拆解调用deepseek pro，多模态就调用gemini。肯定还有更好的方案，没深入，现在工具太多了，学不过来。
不过现在chatgpt用的多。