LLMLLM 基础

注意力机制

Attention Mechanism

让模型在处理某个 token 时衡量其他 token 的相关程度——这是 Transformer 的核心引擎。

Tokens
input
Embed
vectors
Attention
context
LLM
next token
tokens → vectors → attention → next token

llm · 图文示意

© 2026 Genisource Vibe · 知识点详情