Sfoglia il codice sorgente

Update demo_vllm.py

Guancheng Fu 3 mesi fa
parent
commit
ffd5e81103
1 ha cambiato i file con 3 aggiunte e 2 eliminazioni
  1. 3 2
      demo/demo_vllm.py

+ 3 - 2
demo/demo_vllm.py

@@ -29,10 +29,11 @@ def main():
     response = inference_with_vllm(
         image,
         prompt, 
-        ip="localhost",
-        port=8000,
+        ip=args.ip,
+        port=args.port,
         temperature=0.1,
         top_p=0.9,
+        model_name=args.model_name,
     )
     print(f"response: {response}")