Преглед на файлове

fix: 修复vLLM守护进程脚本中的数据并行配置,调整为支持3个GPU

zhch158_admin преди 1 месец
родител
ревизия
a5b64277fb
променени са 1 файла, в които са добавени 1 реда и са изтрити 1 реда
  1. 1 1
      zhch/vllm_daemon.sh

+ 1 - 1
zhch/vllm_daemon.sh

@@ -17,7 +17,7 @@ MODEL_NAME="DotsOCR"
 
 # GPU 配置
 GPU_MEMORY_UTILIZATION="0.70"
-DATA_PARALLEL_SIZE="1"  # 从3改为1,避免内存不足
+DATA_PARALLEL_SIZE="3"  # 3个GPU
 MAX_MODEL_LEN="32768"
 MAX_NUM_BATCHED_TOKENS="32768"
 MAX_NUM_SEQS="16"