|
@@ -3,7 +3,13 @@
|
|
|
# 对应: PaddleOCR-VL 本地 llama-server 服务(macOS),使用 GGUF 格式模型
|
|
# 对应: PaddleOCR-VL 本地 llama-server 服务(macOS),使用 GGUF 格式模型
|
|
|
# 适用于 Mac M4 Pro 48G,使用 Metal GPU 加速
|
|
# 适用于 Mac M4 Pro 48G,使用 Metal GPU 加速
|
|
|
# 模型下载地址: https://huggingface.co/PaddlePaddle/PaddleOCR-VL-1.5-GGUF
|
|
# 模型下载地址: https://huggingface.co/PaddlePaddle/PaddleOCR-VL-1.5-GGUF
|
|
|
-# curl -X POST http://localhost:8081/v1/chat/completions -d @payload.json
|
|
|
|
|
|
|
+
|
|
|
|
|
+# unset https_proxy http_proxy HF_ENDPOINT
|
|
|
|
|
+# llama-server -hf PaddlePaddle/PaddleOCR-VL-1.5-GGUF
|
|
|
|
|
+# mv ~/Library/Caches/llama.cpp/PaddlePaddle_PaddleOCR-VL-1.5-GGUF_PaddleOCR-VL-1.5.gguf ~/models/paddleocr_vl
|
|
|
|
|
+# mv ~/Library/Caches/llama.cpp/PaddlePaddle_PaddleOCR-VL-1.5-GGUF_PaddleOCR-VL-1.5-mmproj.gguf ~/models/paddleocr_vl
|
|
|
|
|
+
|
|
|
|
|
+# curl -X POST http://localhost:8102/v1/chat/completions -d @payload.json
|
|
|
|
|
|
|
|
LOGDIR="$HOME/workspace/logs"
|
|
LOGDIR="$HOME/workspace/logs"
|
|
|
mkdir -p $LOGDIR
|
|
mkdir -p $LOGDIR
|
|
@@ -12,12 +18,12 @@ LOGFILE="$LOGDIR/paddleocr_llamaserver.log"
|
|
|
|
|
|
|
|
# 配置参数
|
|
# 配置参数
|
|
|
CONDA_ENV="mineru2"
|
|
CONDA_ENV="mineru2"
|
|
|
-PORT="8081"
|
|
|
|
|
|
|
+PORT="8102"
|
|
|
HOST="0.0.0.0"
|
|
HOST="0.0.0.0"
|
|
|
|
|
|
|
|
# 本地 GGUF 模型路径
|
|
# 本地 GGUF 模型路径
|
|
|
-MODEL_PATH="$HOME/Library/Caches/llama.cpp/PaddlePaddle_PaddleOCR-VL-1.5-GGUF_PaddleOCR-VL-1.5.gguf"
|
|
|
|
|
-MMPROJ_PATH="$HOME/Library/Caches/llama.cpp/PaddlePaddle_PaddleOCR-VL-1.5-GGUF_PaddleOCR-VL-1.5-mmproj.gguf"
|
|
|
|
|
|
|
+MODEL_PATH="$HOME/models/paddleocr_vl/PaddlePaddle_PaddleOCR-VL-1.5-GGUF_PaddleOCR-VL-1.5.gguf"
|
|
|
|
|
+MMPROJ_PATH="$HOME/models/paddleocr_vl/PaddlePaddle_PaddleOCR-VL-1.5-GGUF_PaddleOCR-VL-1.5-mmproj.gguf"
|
|
|
|
|
|
|
|
# llama-server 参数
|
|
# llama-server 参数
|
|
|
CONTEXT_SIZE="16384" # 上下文长度(需 >= max_tokens,推荐 8192-16384)
|
|
CONTEXT_SIZE="16384" # 上下文长度(需 >= max_tokens,推荐 8192-16384)
|
|
@@ -89,7 +95,7 @@ start() {
|
|
|
--mmproj "$MMPROJ_PATH" \
|
|
--mmproj "$MMPROJ_PATH" \
|
|
|
--host $HOST \
|
|
--host $HOST \
|
|
|
--port $PORT \
|
|
--port $PORT \
|
|
|
- --media-path /Users/zhch158/workspace \
|
|
|
|
|
|
|
+ --media-path $HOME/workspace \
|
|
|
-c $CONTEXT_SIZE \
|
|
-c $CONTEXT_SIZE \
|
|
|
-ngl $GPU_LAYERS \
|
|
-ngl $GPU_LAYERS \
|
|
|
-t $THREADS \
|
|
-t $THREADS \
|