logo NodeSeekbeta

大家对电脑本地部署AI开源大模型怎么看

本地比云端的优势是免费,数据更隐私和安全,而且可以定义规则。缺点我觉得就是速度慢,稍微长的上下文不仅速度慢,还会爆内存,电脑发热,其实问题就在设备上

123
  • 本地部署最大的优势就是可以破甲 xhj007 可以聊任何你想聊的

  • 图一乐,除非你是富哥,上一堆计算卡。否则体验就不会很好

  • 没卡只能问你好,今天天气等这种的问题

  • 我之前觉得本地相比于云端没有任何优势,模型也施展不开拳脚。但现在我觉得它还是有意义的,相当于自己永久的私人大脑,不受外界信息的污染,不受资本定义的对错规则所影响

  • 富人玩法,要高端显卡。

  • 几百万的电脑配置才能跑起来高端模型

  • 算力跟不上,但是当成私人记忆体还不错,并且不受限制,我打算把工作相关的信息全丢给它记忆

  • @JackieWynn #2 MAC的统一内存就解决了显存不足的问题,你说的高端显卡指的应该是那些大模型公司训练AI用的N卡,但是我们做的是使用模型,只需要解决内存(能不能跑起来)和带宽(能不能跑得快)这两个问题就好了

  • 我觉得随着内存和硬件的不断发展,私有的开源模型将会越来越能实现,越来越重要

123

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

📈用户数目📈

目前论坛共有63471位seeker

🎉欢迎新用户🎉