最近有个纠结的事情，到底上不上本地模型 1、本地模型没有订阅的聪明，可是一次投入0成本 2、试过租GPU，发现一天下来其实也不便宜 3、到底是上个大内存的mac，还是上显卡，现在的显卡真的不便宜 有没有佬用过本地模型的，给个建议
看你预算，我就在帮别人做这个事。 今天H100八卡的深圳自提价是350-370万，然后可以部署一些满血大模型的量化版本，接近真正满血。 可以达到使用同模型官方API类似的水平。 📋 8卡 H100 部署实战小结 顶级 MoE 模型 8卡机器推荐量化 静态权重占用 KV Cache 剩余空间 综合性能保留度 DeepSeek-V3 (671B) 4-bit AWQ ~380GB 260GB (非常充裕) ~96% (推荐单机部署) Qwen3-Coder (480B) FP8 ~480GB 160GB (中等并发) ~99.5% (完美满血无损) GLM-5 系列 (744B) 3-bit / Mixed ~310GB 330GB (专为超长文本留空) ~90% (智商略微受损) 如果你的业务对 GLM-5 的长文本或 DeepSeek-V3 的满血性能有硬性要求，通常业界会选择升级到 2台 8卡 H100 互联（共 16 卡），或者使用单台 英伟达 H200 / B200 节点（拥有更大的单卡 141GB/192GB 显存）。
完全没必要, 成本高还要自己运维, 而且还春
本地你能上啥好模型…🌚
本地运维就很要命的
@蛋糕FelixCake #1 是的，让查小语种的重音都标错，还一本正经说大模型错了，指出它的错误，还不承认
收益能覆盖成本且本地模型够用的情况下，无脑梭哈。
@Peter-Pan #4 真的是自己折磨自己, 除非有特殊需求或者要定制, 完全没必要
本地模型跟在线的比,就是又贵又弱的垃圾.
除非你是内网环境,不然完全没必要折腾.
机械是有寿命的，不是你买完了放在这就能一直跑。假设说花一万三买个mac，100刀的订阅够你开一年多。而且还是实时更新的模型
虽然肯定不能这么算，因为mac也不只是能跑模型，本身还有其他价值。
个人用要么64G上27b，要么128有flash next可选。建议前者就算不跑模型也不至于太浪费
看你预算，我就在帮别人做这个事。
今天H100八卡的深圳自提价是350-370万，然后可以部署一些满血大模型的量化版本，接近真正满血。
可以达到使用同模型官方API类似的水平。
📋 8卡 H100 部署实战小结
顶级 MoE 模型 8卡机器推荐量化 静态权重占用 KV Cache 剩余空间 综合性能保留度
DeepSeek-V3 (671B) 4-bit AWQ ~380GB 260GB (非常充裕) ~96% (推荐单机部署)
Qwen3-Coder (480B) FP8 ~480GB 160GB (中等并发) ~99.5% (完美满血无损)
GLM-5 系列 (744B) 3-bit / Mixed ~310GB 330GB (专为超长文本留空) ~90% (智商略微受损)
如果你的业务对 GLM-5 的长文本或 DeepSeek-V3 的满血性能有硬性要求，通常业界会选择升级到 2台 8卡 H100 互联（共 16 卡），或者使用单台 英伟达 H200 / B200 节点（拥有更大的单卡 141GB/192GB 显存）。