这玩意儿本地部署要求还挺高的,一般的 vps 都跑不动,nas 机箱不够大装不了显卡,数据交给云端也不放心,想问问大家是怎么玩的
知识盲区了,hermes随便装个vps,2c2g刚刚能跑起来
转ds官方hermes的客户端了
非得本地hindsight吗……本地hindsight也都是套API来用的,智元的免费嵌入和重排模型,再随便加个廉价LLM,本地只维护一个向量数据库。
@1952444901 #3 云端你的记忆就全都泄露了啊
@flanked2325 #4 那你有钱搞定本地部署Hindsight所需要的小型LLM,你就搞去呗。非得全本地部署不知道是图什么,涉密单位?
知识盲区了,hermes随便装个vps,2c2g刚刚能跑起来
转ds官方hermes的客户端了
非得本地hindsight吗……本地hindsight也都是套API来用的,智元的免费嵌入和重排模型,再随便加个廉价LLM,本地只维护一个向量数据库。
@1952444901 #3 云端你的记忆就全都泄露了啊
@flanked2325 #4 那你有钱搞定本地部署Hindsight所需要的小型LLM,你就搞去呗。非得全本地部署不知道是图什么,涉密单位?