Przeglądaj źródła

fix: update import path for vllm entrypoint in server.py

myhloli 2 miesięcy temu
rodzic
commit
af3ee06aa3
1 zmienionych plików z 2 dodań i 2 usunięć
  1. 2 2
      mineru/model/vlm_vllm_model/server.py

+ 2 - 2
mineru/model/vlm_vllm_model/server.py

@@ -1,7 +1,7 @@
 import sys
 
 from mineru.utils.models_download_utils import auto_download_and_get_model_root_path
-from vllm.entrypoints.openai.api_server import main as vllm_serve
+from vllm.entrypoints.cli.main import main as vllm_main
 
 
 def main():
@@ -24,7 +24,7 @@ def main():
 
     # 启动vllm服务器
     print(f"start vllm server: {sys.argv}")
-    vllm_serve()
+    vllm_main()
 
 
 if __name__ == "__main__":