VLLM on ITNote 技术笔记

VLLM on ITNote 技术笔记 https://www.itnote.org/tags/vllm/ Recent content in VLLM on ITNote 技术笔记 Hugo zh-cn Mon, 27 Jul 2026 09:20:00 +0800 基于 vLLM 搭建 OpenAI 兼容 API 服务并接入现有应用 https://www.itnote.org/posts/vllm-openai-api-service/ Mon, 27 Jul 2026 09:20:00 +0800 https://www.itnote.org/posts/vllm-openai-api-service/ 从零搭建一个可被 LangChain、OpenAI SDK 等直接调用的本地推理服务，并配置进程守护与反向代理。 vLLM 显存优化与批处理参数调优实战 https://www.itnote.org/posts/vllm-memory-tuning/ Mon, 27 Jul 2026 09:10:00 +0800 https://www.itnote.org/posts/vllm-memory-tuning/ 详解 vLLM 中影响显存占用与吞吐量的关键参数，帮助在有限硬件资源下获得最佳推理性能。 vLLM 入门：轻量级大模型推理引擎原理与部署 https://www.itnote.org/posts/vllm-intro/ Mon, 27 Jul 2026 09:00:00 +0800 https://www.itnote.org/posts/vllm-intro/ 介绍 vLLM 的核心设计理念 PagedAttention，以及在单机环境下快速部署一个轻量级推理服务的完整流程。