Forráskód Böngészése

fix(zhch): 更新 vllm 依赖并修复 CUDA 链接问题

- 更新 vllm 依赖至最新版本
- 添加解决 CUDA 链接问题的步骤
- 更新 study-notes.md 文件中的相关说明
zhch158_admin 3 hónapja
szülő
commit
7613909b98
1 módosított fájl, 20 hozzáadás és 1 törlés
  1. 20 1
      zhch/study-notes.md

+ 20 - 1
zhch/study-notes.md

@@ -20,7 +20,8 @@ cd dots.ocr
 conda activate py312
 uv pip install torch==2.7.0 torchvision==0.22.0 torchaudio==2.7.0 
 uv pip install -e .
-uv pip install vllm==0.9.1 --torch-backend=auto
+# 安装最新版vllm
+uv pip install vllm --torch-backend=auto
 
 # 解决vllm版本兼容问题,检查当前版本
 pip list | grep -E "(vllm|transformers)"
@@ -40,6 +41,24 @@ sudo ss -tulpn | grep :8101
 sudo ss -tulpn sport = :8101
 ```
 
+# 修复CUDA链接
+```
+# 移除错误的符号链接
+sudo rm -f /usr/lib/x86_64-linux-gnu/libcuda.so*
+sudo rm -f /usr/local/cuda*/lib64/libcuda.so*
+
+# 找到真正的 NVIDIA 驱动库
+find /usr -name "libcuda.so*" 2>/dev/null
+
+# 创建正确的符号链接(假设找到了 /usr/lib/x86_64-linux-gnu/libcuda.so.570.169)
+sudo ln -sf /usr/lib/x86_64-linux-gnu/libcuda.so.570.169 /usr/lib/x86_64-linux-gnu/libcuda.so.1
+sudo ln -sf /usr/lib/x86_64-linux-gnu/libcuda.so.1 /usr/lib/x86_64-linux-gnu/libcuda.so
+
+# 运行诊断命令
+nvidia-smi
+python -c "import torch; print(torch.cuda.is_available()); print(torch.cuda.device_count())"
+```
+
 
 # 设置launch.json
 ```json