Jelajahi Sumber

fix: 修复vLLM守护进程脚本中的数据并行配置,调整为支持3个GPU

zhch158_admin 1 bulan lalu
induk
melakukan
a5b64277fb
1 mengubah file dengan 1 tambahan dan 1 penghapusan
  1. 1 1
      zhch/vllm_daemon.sh

+ 1 - 1
zhch/vllm_daemon.sh

@@ -17,7 +17,7 @@ MODEL_NAME="DotsOCR"
 
 # GPU 配置
 GPU_MEMORY_UTILIZATION="0.70"
-DATA_PARALLEL_SIZE="1"  # 从3改为1,避免内存不足
+DATA_PARALLEL_SIZE="3"  # 3个GPU
 MAX_MODEL_LEN="32768"
 MAX_NUM_BATCHED_TOKENS="32768"
 MAX_NUM_SEQS="16"