@xzy #18 4090 用 qwythos 9b 吧，但是肯定没有 35b 的好用，我是128g统一内存， 使用 llama-swap 配置，35b 稳定在 每秒70tokens
太慢了，算力也不够
有本地部署的预算，足够使用最新、最强的模型好多年了
其实就几个需求，需要能力强的基本只能走云参数越来越多 本地部署不现实，本地部署破甲版本的就是玩一玩，暂时本地部署嵌入模型还是很现实的做知识库整理
@xzy #18 4090 用 qwythos 9b 吧，但是肯定没有 35b 的好用，我是128g统一内存， 使用 llama-swap 配置，35b 稳定在 每秒70tokens
太慢了，算力也不够
有本地部署的预算，足够使用最新、最强的模型好多年了
其实就几个需求，需要能力强的基本只能走云参数越来越多 本地部署不现实，本地部署破甲版本的就是玩一玩，暂时本地部署嵌入模型还是很现实的做知识库整理