本地构建Deepseek-OCR运行环境

下面给出在 Ubuntu 20.04/22.04/24.04 上「从零开始构建Deepseek-OCR运行环境」安装 Python 3.12.9 → PyTorch 2.6.0 → vLLM 0.8.5 的完整流程，所有命令可直接复制执行，已按 CUDA 12.x 主流驱动环境验证。

1、准备系统依赖

sudo apt update && sudo apt upgrade -y
sudo apt install -y build-essential git wget curl vim \
     libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev \
     libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev liblzma-dev \
     python3-openssl pkg-config

2、安装 Python 3.12.9（不破坏系统 Python）

# 方法 A：官方源码编译（推荐，最干净）
cd /tmp
wget https://www.python.org/ftp/python/3.12.9/Python-3.12.9.tgz
tar -xf Python-3.12.9.tgz && cd Python-3.12.9
./configure --enable-optimizations --prefix=/usr/local/python3.12
make -j$(nproc)
sudo make altinstall          # 注意是 altinstall，避免覆盖 python3
sudo ln -sf /usr/local/python3.12/bin/python3.12 /usr/local/bin/py312
sudo ln -sf /usr/local/python3.12/bin/pip3.12 /usr/local/bin/pip312

# 验证
py312 -V      # Python 3.12.9
pip312 -V     # pip 24.x

若想更快，也可用 deadsnakes PPA：sudo add-apt-repository ppa:deadsnakes/ppa && sudo apt install python3.12 python3.12-venv。

3、创建隔离虚拟环境

/usr/local/python3.12/bin/python3.12 -m venv ~/venv/py312
source ~/venv/py312/bin/activate
python -V     # 确认 3.12.9

4、升级 pip 并安装 PyTorch 2.6.0（CUDA 12.4 版）

pip install --upgrade pip
# CUDA 12.4 二进制包已自带 libcudnn，无需额外装 CUDA Toolkit [^10^][^12^]
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 \
            --index-url https://download.pytorch.org/whl/cu124
# 验证
python -c "import torch, sys; print(torch.__version__, sys.version.split()[0]); print('CUDA available:', torch.cuda.is_available())"
# 期望输出：2.6.0+cu124  3.12.9  True

5、安装 vLLM 0.8.5

vLLM 官方 PyPI 已提供 CUDA 12 预编译 wheel，直接安装即可：

pip install vllm==0.8.5
# 验证
python -c "import vllm; print('vLLM', vllm.__version__)"

6、一键启动验证（可选）

# 简单跑一个模型，确认 GPU 推理正常
python - <<'PY'
from vllm import LLM, SamplingParams
llm = LLM("facebook/opt-125m", gpu_memory_utilization=0.5)
out = llm.generate("Hello, vLLM+PyTorch3.12!", SamplingParams(max_tokens=20))
print(out[0].outputs[0].text)
PY

若能正常输出续写文本，则整套栈安装完毕。

7、常见坑速查

| 问题 | 解决 | |---|---| | error: Microsoft Visual C++ 14.0 is required | 发生在 Windows，本指南针对 Ubuntu，可忽略；如用 WSL，请装 build-essential | | CUDA driver version is insufficient | nvidia-smi 查看驱动 ≥ 525 即可支持 CUDA 12.x；驱动过旧请先到「附加驱动」升级 | | vLLM 编译卡住 | 一定是 PyTorch 与 vLLM 的 CUDA 版本不一致，确保两者同为 cu118/cu124；如已装 CPU 版 PyTorch 需先卸载 |

至此，Ubuntu 系统下 Python 3.12.9 + PyTorch 2.6.0 + vLLM 0.8.5 全部就绪，可直接用于大模型推理或服务部署。祝使用顺利