Browse Source

fix: 修复vLLM守护进程脚本中的数据并行配置,调整为支持3个GPU

zhch158_admin 1 tháng trước cách đây
mục cha
commit
a5b64277fb
1 tập tin đã thay đổi với 1 bổ sung1 xóa
  1. 1 1
      zhch/vllm_daemon.sh

+ 1 - 1
zhch/vllm_daemon.sh

@@ -17,7 +17,7 @@ MODEL_NAME="DotsOCR"
 
 # GPU 配置
 GPU_MEMORY_UTILIZATION="0.70"
-DATA_PARALLEL_SIZE="1"  # 从3改为1,避免内存不足
+DATA_PARALLEL_SIZE="3"  # 3个GPU
 MAX_MODEL_LEN="32768"
 MAX_NUM_BATCHED_TOKENS="32768"
 MAX_NUM_SEQS="16"