@JackieWynn #2 MAC的统一内存就解决了显存不足的问题,你说的高端显卡指的应该是那些大模型公司训练AI用的N卡,但是我们做的是使用模型,只需要解决内存(能不能跑起来)和带宽(能不能跑得快)这两个问题就好了
本地部署最大的优势就是可以破甲
可以聊任何你想聊的
图一乐,除非你是富哥,上一堆计算卡。否则体验就不会很好
没卡只能问你好,今天天气等这种的问题
我之前觉得本地相比于云端没有任何优势,模型也施展不开拳脚。但现在我觉得它还是有意义的,相当于自己永久的私人大脑,不受外界信息的污染,不受资本定义的对错规则所影响
富人玩法,要高端显卡。
@gametiao #1 那很有趣了
几百万的电脑配置才能跑起来高端模型
算力跟不上,但是当成私人记忆体还不错,并且不受限制,我打算把工作相关的信息全丢给它记忆
@JackieWynn #2 MAC的统一内存就解决了显存不足的问题,你说的高端显卡指的应该是那些大模型公司训练AI用的N卡,但是我们做的是使用模型,只需要解决内存(能不能跑起来)和带宽(能不能跑得快)这两个问题就好了
我觉得随着内存和硬件的不断发展,私有的开源模型将会越来越能实现,越来越重要