Bläddra i källkod

feat(zhch): 增加数据并行大小至 3,以提升 vLLM 服务器性能

zhch158_admin 3 månader sedan
förälder
incheckning
90482af22b
2 ändrade filer med 2 tillägg och 2 borttagningar
  1. 1 1
      zhch/launch_model_vllm.sh
  2. 1 1
      zhch/vllm_daemon.sh

+ 1 - 1
zhch/launch_model_vllm.sh

@@ -48,7 +48,7 @@ vllm serve ${hf_model_path} \
     --uvicorn-log-level info \
     --limit-mm-per-prompt '{"image": 5}' \
     --chat-template-content-format string \
-    --data-parallel-size 2 \
+    --data-parallel-size 3 \
     --max-num-seqs 32 \
     --enable-prefix-caching \
     --served-model-name ${model_name}

+ 1 - 1
zhch/vllm_daemon.sh

@@ -29,7 +29,7 @@ start() {
 		--uvicorn-log-level info \
 		--limit-mm-per-prompt '{"image": 5}' \
 		--chat-template-content-format string \
-		--data-parallel-size 2 \
+		--data-parallel-size 3 \
 		--max-num-seqs 32 \
 		--enable-prefix-caching \
 		--served-model-name ${model_name} \