Bläddra i källkod

fix: 调整 vllm 启动参数,降低 GPU 内存利用率并更新图像限制

zhch158_admin 2 månader sedan
förälder
incheckning
d26ce1df8c
1 ändrade filer med 2 tillägg och 2 borttagningar
  1. 2 2
      zhch/launch_model_vllm.sh

+ 2 - 2
zhch/launch_model_vllm.sh

@@ -40,13 +40,13 @@ model_name="DotsOCR"
 vllm serve ${hf_model_path} \
     --host 0.0.0.0 \
     --port 8101 \
-    --gpu-memory-utilization 0.90 \
+    --gpu-memory-utilization 0.85 \
     --max-log-len 1000 \
     --trust-remote-code \
 	--max-model-len 65536 \
 	--max-num-batched-tokens 65536 \
     --uvicorn-log-level info \
-    --limit-mm-per-prompt '{"image": 5}' \
+    --limit-mm-per-prompt '{"image": 3}' \
     --chat-template-content-format string \
     --data-parallel-size 3 \
     --max-num-seqs 32 \