32G大显存部署本地模型太爽了
qwen系列可以一试
说一下,v100半精度很弱,推理速度不会有太大提升...
我记得便宜是 16g * 2 双卡的,单卡32g 贵,然后架构太老 + CUDA算力 7.0 局限性目前大多数模型优化库
太老了……3080 20至少
qwen系列可以一试
说一下,v100半精度很弱,推理速度不会有太大提升...
我记得便宜是 16g * 2 双卡的,单卡32g 贵,然后架构太老 + CUDA算力 7.0 局限性目前大多数模型优化库
太老了……3080 20至少