浏览代码

fix: disable tokenizers parallelism in lmdeploy server configuration

myhloli 3 周之前
父节点
当前提交
7516d3ddf4
共有 1 个文件被更改,包括 2 次插入0 次删除
  1. 2 0
      mineru/model/vlm/lmdeploy_server.py

+ 2 - 0
mineru/model/vlm/lmdeploy_server.py

@@ -64,6 +64,8 @@ def main():
     if os.getenv('OMP_NUM_THREADS') is None:
         os.environ["OMP_NUM_THREADS"] = "1"
 
+    os.environ["TOKENIZERS_PARALLELISM"] = "false"
+
     # 启动 lmdeploy 服务器
     print(f"start lmdeploy server: {sys.argv}")