소스 검색

fix: disable tokenizers parallelism in lmdeploy server configuration

myhloli 3 주 전
부모
커밋
7516d3ddf4
1개의 변경된 파일2개의 추가작업 그리고 0개의 파일을 삭제
  1. 2 0
      mineru/model/vlm/lmdeploy_server.py

+ 2 - 0
mineru/model/vlm/lmdeploy_server.py

@@ -64,6 +64,8 @@ def main():
     if os.getenv('OMP_NUM_THREADS') is None:
         os.environ["OMP_NUM_THREADS"] = "1"
 
+    os.environ["TOKENIZERS_PARALLELISM"] = "false"
+
     # 启动 lmdeploy 服务器
     print(f"start lmdeploy server: {sys.argv}")