看错了，以为你要微调模型 你是想临时搞着玩，个人用。 还是工作需要，要多卡，并发。 前者的话就gpt plus+vllm/llamacpp 后者的话就看看gpt pro + 学习transform + cuda + 学习一大堆乱七八糟的东西
上github,linuxdo
看看
什么模型
哥，就学习那些开源的项目吗，我想要模型的调优的话，要更具他们的优秀的开源的项目开自己写精度调整的哪些吗，我想要找个视频学一下，没视频自己学有点费劲@lojic #1
@xixi1 #2 deepseek和glm，qwen吧
@manman #4 你得先有卡吧
看错了，以为你要微调模型
你是想临时搞着玩，个人用。
还是工作需要，要多卡，并发。
前者的话就gpt plus+vllm/llamacpp
后者的话就看看gpt pro + 学习transform + cuda + 学习一大堆乱七八糟的东西
@xixi1 #5 公司有，一般小模型我看spark都完全够用了，我两台放一起，250G显存，就是速度慢点
@lojic #6 transform + cuda + 学习一大堆乱七八糟的东西这个是模型部署调优必须要的吗，有好用的教程吗，推荐的视频
没有，我1年前搞过
大模型技术日新月异，之前的技术基本都过时了
@lojic #9 确实，但是自己手动查太废时间了，效果还不好