logo NodeSeekbeta

关于GPT降智的策略请问有规律吗?

模型降智应该是有规律的吧,一直在说降智的测试方法,想问问现在有没有什么规律?
我理解模型之所以被降智不外乎两种情况:
1:上下文内容的影响,自己上下文质量差导致模型回复内容变差。新对话可以解决。
2:模型被切换:例如:当前模型是一个 128B的SOL fp16模型,被切换成了128B的SOL fp4模型或13B的其他模型。
(情况2之前在的公司就是这样用的,用了13B和7B的模型提供能力,因为7B的回复快能承载更多用户,成本低)
情况2应该是有判断标准的,我理解这个就是规律。
例如:美国IP给用全量/高版本模型,其他地区会随即掺杂低版本模型。

不知道上述理解对不对,我想知道现在能总结到的规律是怎样的?

  • 噢, 明明gpt自身的问题,让你一分析,好像也属于我们自己的问题。 说的就是你的第1种情况

  • 有一说一,,,说的好像还挺有道理,确实有经常切换模型的情况

  • @cecini #1 跟RAG一样啊,上下文也可能会影响....但是微乎其微,之前明显感觉过GPT自身原因的降智。openai对于模型优化肯定是优化能力和成本,优化成本要不就是模型量化或者优化算子和其他层,他优化过程中肯定也会造成模型降智。剩下我猜肯定有模型切换了,不然不会出现降智

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

📈用户数目📈

目前论坛共有72764位seeker

🎉欢迎新用户🎉