--ctx-size 131072 --parallel 1 --device CUDA0,CUDA1 --split-mode tensor --gpu-layers auto --batch-size 1024 --ubatch-size 256 --flash-attn on --cache-type-k f16 --cache-type-v f16 --reasoning on --spec-type draft-mtp --spec-draft-n-max 3 --spec-draft-type-k f16 --spec-draft-type-v f16 有佬看看哪些参数可以优化的吗
--ctx-size 131072
--parallel 1
--device CUDA0,CUDA1
--split-mode tensor
--gpu-layers auto
--batch-size 1024
--ubatch-size 256
--flash-attn on
--cache-type-k f16
--cache-type-v f16
--reasoning on
--spec-type draft-mtp
--spec-draft-n-max 3
--spec-draft-type-k f16
--spec-draft-type-v f16
有佬看看哪些参数可以优化的吗
2个2080ti听说很能打
可以
魔改22g显存吗？两个就是44g
@wzx #4 是的