LLMLLM 基础

模型部署 (Serving)

Model Serving

把大模型跑在生产环境所需的基础设施与工具——批处理、KV 缓存、投机解码,常用 vLLM、TGI 等引擎。

Tokens
input
Embed
vectors
Attention
context
LLM
next token
tokens → vectors → attention → next token

llm · 图文示意

© 2026 Genisource Vibe · 知识点详情