LLMLLM 基础

量化

Quantization

降低模型的数值精度(如 16 位→4 位)以缩减显存、加速推理,常跑在消费级硬件上。

Tokens
input
Embed
vectors
Attention
context
LLM
next token
tokens → vectors → attention → next token

llm · 图文示意

© 2026 Genisource Vibe · 知识点详情