Genisource Vibe
首页
课程
知识点
设计风格
提示词
工作台
技能
观测
社区
中
EN
知识点
/
模型部署 (Serving)
上一个
Top-k 与 Top-p 采样
下一个
困惑度
LLM
LLM 基础
模型部署 (Serving)
Model Serving
把大模型跑在生产环境所需的基础设施与工具——批处理、KV 缓存、投机解码,常用 vLLM、TGI 等引擎。
Tokens
input
Embed
vectors
Attention
context
LLM
next token
tokens → vectors → attention → next token
llm · 图文示意
© 2026 Genisource Vibe · 知识点详情