Эх сурвалжийг харах

refactor(zhch): 调整 VLLM 模型启动脚本参数

- 将 --limit-mm-per-prompt 参数从 'image=10' 修改为 '{"image": 5}',以调整图像处理限制
- 移除了 --distributed-executor-backend mp 参数
- 简化了 --enable-prefix-caching 参数
zhch158_admin 3 сар өмнө
parent
commit
546ed7a282

+ 2 - 3
zhch/launch_model_vllm.sh

@@ -46,12 +46,11 @@ vllm serve ${hf_model_path} \
 	--max-model-len 65536 \
 	--max-num-batched-tokens 65536 \
     --uvicorn-log-level info \
-    --limit-mm-per-prompt image=10 \
+    --limit-mm-per-prompt '{"image": 5}' \
     --chat-template-content-format string \
     --data-parallel-size 2 \
     --max-num-seqs 32 \
-    --distributed-executor-backend mp \
-    --enable-prefix-caching True \
+    --enable-prefix-caching \
     --served-model-name ${model_name}
 
 # # run python demo after launch vllm server