|
|
@@ -25,6 +25,9 @@ HOST="0.0.0.0"
|
|
|
MODEL_PATH="$HOME/models/paddleocr_vl/PaddlePaddle_PaddleOCR-VL-1.5-GGUF_PaddleOCR-VL-1.5.gguf"
|
|
|
MMPROJ_PATH="$HOME/models/paddleocr_vl/PaddlePaddle_PaddleOCR-VL-1.5-GGUF_PaddleOCR-VL-1.5-mmproj.gguf"
|
|
|
|
|
|
+# 模型别名(对外暴露的模型 ID,对应 yaml 中的 model_name)
|
|
|
+MODEL_NAME="PaddleOCR-VL-1.5"
|
|
|
+
|
|
|
# llama-server 参数
|
|
|
CONTEXT_SIZE="16384" # 上下文长度(需 >= max_tokens,推荐 8192-16384)
|
|
|
GPU_LAYERS="99" # Metal GPU 层数(99 表示全部)
|
|
|
@@ -93,6 +96,7 @@ start() {
|
|
|
nohup llama-server \
|
|
|
-m "$MODEL_PATH" \
|
|
|
--mmproj "$MMPROJ_PATH" \
|
|
|
+ --alias $MODEL_NAME \
|
|
|
--host $HOST \
|
|
|
--port $PORT \
|
|
|
--media-path $HOME/workspace \
|
|
|
@@ -202,6 +206,7 @@ config() {
|
|
|
echo " Conda 环境: $CONDA_ENV"
|
|
|
echo " Host: $HOST"
|
|
|
echo " Port: $PORT"
|
|
|
+ echo " 模型别名: $MODEL_NAME"
|
|
|
echo " 主模型路径: $MODEL_PATH"
|
|
|
echo " 多模态投影器: $MMPROJ_PATH"
|
|
|
echo " 上下文长度: $CONTEXT_SIZE"
|