使用 Docker 容器化部署 AI 推理服务
为什么容器化 AI 服务 环境隔离，避免 CUDA / Python 依赖版本冲突 便于在多台机器间快速复制部署 结合编排工具（Compose / K8s）实现弹性伸缩 前提：安装 NVIDIA Container Toolkit distribution=$(. /etc/os-release; echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list \ | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt update sudo apt install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker 使用官方 vLLM 镜像启动服务 docker run -d \ --name vllm-server \ --gpus all \ -p 8000:8000 \ --ipc=host \ -v ~/.cache/huggingface:/root/.cache/huggingface \ vllm/vllm-openai:latest \ --model Qwen/Qwen2.5-7B-Instruct-AWQ \ --quantization awq 要点说明： ...