8张80G显存的8卡A100能部署不？
#9
by
Yuxin362
- opened
如题
这个显存容量绰绰有余了
可以 sglang跑起来 大概80tps输出
用vllm 部署的OOM了 ，八张80G A100
用vllm 部署的OOM了 ，八张80G A100
同样
用vllm 部署的OOM了 ，八张80G A100
大概率是你的启动参数设置问题，或者是vllm的bug。640GB应该能轻松运行这个模型。
用vllm 部署的OOM了 ，八张80G A100
大概率是你的启动参数设置问题，或者是vllm的bug。640GB应该能轻松运行这个模型。
python3 -m sglang.launch_server --model-path Qwen/Qwen3-235B-A22B --reasoning-parser qwen3 --tp 8 --dtype bfloat16
换sglang可以
vllm 0.8.5 部署 Qwen/Qwen3-235B-A22B 没有oom问题，长度为32k
我也用的0.8.5.dev476+gd419aa5d似乎不行
加这个 --gpu-memory-utilization 0.9 参数似乎就好了