deepseek-ai

/

DeepSeek-V3-Base

like 1.27k

Follow

DeepSeek 7.08k

同问，8bit量化后,需要多少显存？

可以的两台H20

可以的两台H20

多少token/s？速度可以？和官方评测有差距没有？谢谢

是不是超过16个GPU就没法跑了，我看他 convert.py 脚本的参数 --model-parallel 设置超过16就报错