Genisource Vibe
首页
课程
知识点
设计风格
提示词
工作台
技能
观测
社区
中
EN
知识点
/
注意力机制
上一个
Transformer
下一个
混合专家模型 (MoE)
LLM
LLM 基础
注意力机制
Attention Mechanism
让模型在处理某个 token 时衡量其他 token 的相关程度——这是 Transformer 的核心引擎。
Tokens
input
Embed
vectors
Attention
context
LLM
next token
tokens → vectors → attention → next token
llm · 图文示意
© 2026 Genisource Vibe · 知识点详情