|
|
@@ -69,6 +69,14 @@ CUDA_VISIBLE_DEVICES="4" mineru-vllm-server --port 8121 --gpu-memory-utilization
|
|
|
./mineru_vllm_daemon.sh logs
|
|
|
```
|
|
|
|
|
|
+## mac OS 用户请使用以下命令启动 vLLM 服务器：
|
|
|
+```bash
|
|
|
+pip install -U "mineru-vl-utils[mlx]"
|
|
|
+
|
|
|
+vllm serve opendatalab/MinerU2.5-2509-1.2B --host 127.0.0.1 --port 8121 \
|
|
|
+ --logits-processors mineru_vl_utils:MinerULogitsProcessor --max-model-len 2048
|
|
|
+```
|
|
|
+
|
|
|
### 2.2 FastAPI 服务器（可选）
|
|
|
```bash
|
|
|
# 启动 FastAPI HTTP 服务
|
