Transformer是目前所有主流 AI 大模型（GPT、Claude、Gemini等）的基础架构，所以掌握好Transformer 至关重要@mikechen
Transformer
Google 在 2017 年提出了 Transformer，论文名称：Attention Is All You Need（2017），这篇论文直接开启了今天的大模型时代。
Transformer 是一种基于 Attention（注意力机制） 的深度神经网络架构。
自 2017 年提出以来，它彻底改变了自然语言处理，并成为大模型时代最核心的算法之一。
为什么需要 Transformer
在 Transformer 之前，NLP 常见架构是 RNN、LSTM、GRU。
它们的问题是：序列必须按顺序计算，难并行，而且长距离依赖容易衰减 。
举一个例子：假设有 100 个人排队买咖啡，假设你去只有一个收银员。
采用之前的RNN（串行计算）
必须：
第1个人
↓
第2个人
↓
第3个人
↓
...
↓
第100个人每个人需要 1分钟，那么：
100个人
↓
100分钟整个队伍才能结束，这就是 串行（Sequential），必须等前一个人买完。
而Transformer，采用并行计算，类似：现在开了 100个收银台。
100个人
↓↓↓↓↓↓↓↓↓↓↓↓↓
100个收银台
↓↓↓↓↓↓↓↓↓↓↓↓↓
几乎同时完成为什么GPU喜欢Transformer？
因为GPU本来就是：
几千个CUDA Core
↓↓↓↓↓↓↓↓↓↓↓↓↓
一起计算Transformer正好全部一起算，所以GPU利用率非常高。