4 张 RTX 4090 跑 DeepSeek-V4.1-Flash-1017：实测配置与性能数据
想把 DeepSeek-V4.1-Flash 这类大模型放在自己机房里跑，最现实的问题就是显存不够。本文记录一台 4 卡 4090 机器上的实测结果：模型能跑起来，长上下文也能吃下，但速度只适合内部低频使用，不适合对外提供高并发服务。 如果你正准备做类似尝试，可以直接参考本文的 docker-compose.yml 与调优结论。 先说结论 项目 实测结果 硬件 4× RTX 4090 48GB，单卡 49140 MiB，共约 192GB 显存 模型 DeepSeek-V4.1-Flash-1017，GGUF UD-IQ3_S 量化，8 个分片 推理后端 llama.cpp server-cuda 官方镜像 启动耗时 容器启动到模型加载完成约 11 秒（mmap + lazy load） 显存占用 四卡共约 187GB，单卡 45~48GB Prefill 速度 稳定后约 100 tokens/s Decode 速度 约 10~12 tokens/s 最大上下文 65536 tokens（单 slot） 适用场景 内部低频问答、长文档分析；不适合多并发线上服务 一句话：能跑，长上下文可用，但速度属于"能等"的级别。 65000 tokens 的 prompt 需要约 11 分钟才能完成预填充。 硬件与系统环境 项目 配置 GPU NVIDIA GeForce RTX 4090 × 4，驱动 595.99.02，CUDA 13.2 单卡显存 49140 MiB（48GB 版本，非公版 24GB） 内存 125 GiB，Swap 8 GiB 操作系统用户 app@aiwork1，模型与 compose 文件放在 ~/ai/docker_m/deepseek-v41-flash-1017 重要前提：这里用的是 48GB 显存的 4090（涡轮/魔改版本）。普通 24GB 4090 四卡只有 96GB 显存，无法用本文这套配置放下整个模型，必须改用更激进的量化或更多 CPU 卸载。 ...