Browse Source

Update demo_vllm.py

Guancheng Fu 3 tháng trước cách đây
mục cha
commit
ffd5e81103
1 tập tin đã thay đổi với 3 bổ sung2 xóa
  1. 3 2
      demo/demo_vllm.py

+ 3 - 2
demo/demo_vllm.py

@@ -29,10 +29,11 @@ def main():
     response = inference_with_vllm(
     response = inference_with_vllm(
         image,
         image,
         prompt, 
         prompt, 
-        ip="localhost",
-        port=8000,
+        ip=args.ip,
+        port=args.port,
         temperature=0.1,
         temperature=0.1,
         top_p=0.9,
         top_p=0.9,
+        model_name=args.model_name,
     )
     )
     print(f"response: {response}")
     print(f"response: {response}")