LLMLLM 基础

预训练

Pre-training

第一阶段训练：用海量无标注文本，通过“预测下一个 token”学习通用语言规律。

Tokens
input
Embed
vectors
Attention
context
LLM
next token
tokens → vectors → attention → next token

llm · 图文示意

© 2026 Genisource Vibe · 知识点详情