NLP自然语言处理-Transformer介绍

作者：马育民 • • 阅读：10116

介绍

Transformer 是 2017年谷歌团队在论文《Attention Is All You Need》中提出的一种神经网络模型，专门为自然语言处理(NLP) 设计，是当前所有NLP技术的基石，没有之一。

关系梳理（你之前学的NLP知识点衔接）：

  1. Transformer 属于 NLP深度学习阶段的核心模型，彻底替代了之前的RNN/LSTM/GRU等序列模型；
  2. 所有大语言模型（LLM）：GPT系列、LLaMA、文心一言、通义千问、Claude、百川，底层架构全部都是Transformer（只是做了结构微调、堆叠层数、增大参数量）；
  3. 不仅是NLP，Transformer现在已经渗透到计算机视觉(CV)、语音、多模态（文本+图片） 等所有AI领域，成为AI的 通用基础架构

论文《Attention Is All You Need》

我们只需要 注意力机制，就足够解决NLP的核心问题，循环结构可以完全抛弃。

一句话总结

Transformer = 现代AI的地基，学懂Transformer，就看懂了90%的大模型原理。

为什么会诞生Transformer？

在Transformer出现之前（2017年前），NLP的深度学习模型主流是 RNN、LSTM、GRU（循环神经网络），这类模型是当时处理文本的核心，但有致命的3个缺陷，也是Transformer被发明的核心原因：

缺陷1：只能「串行计算」，速度极慢

文本是序列数据（比如一句话：我→爱→中国，有先后顺序），RNN类模型必须从左到右逐个处理每个词，处理完第1个词才能处理第2个，处理完第n个词才能得到整句话的特征。

问题：面对长文本（比如一篇文章、一本书），串行计算的效率极低，无法并行化，GPU的算力优势完全发挥不出来。

缺陷2：长文本「信息遗忘/梯度消失」，理解能力差

LSTM/GRU虽然解决了基础RNN的梯度消失问题，但对于超长文本（比如超过500个词），依然会出现「远距离依赖失效」：句子开头的词和结尾的词，模型无法建立关联。

问题：比如一句话「小明在学校遇到了小红，她给了他一颗糖」，模型无法准确判断「她」是小红、「他」是小明，对长文本的语义理解能力弱。

缺陷3：注意力能力弱，无法聚焦核心信息

人类读句子时，会自动聚焦重点：比如读「我爱吃苹果，不爱吃香蕉」，会重点关注「苹果」「香蕉」「爱」「不爱」；但RNN类模型对每个词的关注度几乎一致，无法对关键信息加权，理解精度低。

Transformer的核心解决思路

抛弃循环结构，完全基于「自注意力机制（Self-Attention）」+「全并行计算」，一举解决以上所有问题：

  1. 所有词同时处理，充分利用GPU并行算力，速度提升百倍；
  2. 能轻松捕捉任意距离的词之间的关联，长文本理解能力拉满；
  3. 用注意力机制给每个词分配「权重」，自动聚焦核心信息，理解精度大幅提升。

概念

Transformer的核心是 注意力机制，所有复杂结构都是基于这3个基础概念搭建的

概念1：词嵌入（Embedding）

把文字变成 机器能看懂的数字，这是所有NLP模型的第一步，也是你之前学过的知识点（Word2Vec），Transformer也完全复用这个逻辑：

  • 人类的文字（我、爱、中国、apple）是离散的符号，计算机无法理解，必须转换成连续的向量（一组数字）；
  • 这个向量就叫「词嵌入向量」，核心特点：语义相近的词，向量也相近。
    例：「苹果」和「水果」的向量相似度高，「苹果」和「电脑」的向量有一定关联，「苹果」和「汽车」的向量几乎无关。
  • Transformer中，除了词嵌入，还会加一个「位置编码（Positional Encoding）」，这是关键补充：
    → 因为Transformer是并行计算，没有顺序概念，模型不知道「我爱吃中国」和「中国爱吃我」的区别，位置编码就是给每个词的向量加一个「位置信息」，让模型能识别文本的顺序。
    → 最终每个词的输入 = 词嵌入向量 + 位置编码向量。

概念2：注意力机制（Attention）

让模型 读懂上下文，聚焦重点，注意力机制是Transformer的灵魂，一句话讲清逻辑：

注意力机制的本质：计算文本中 每个词 和 其他所有词 的关联程度，给关联度高的词分配更高的权重，最终加权求和得到这个词的新特征。

举个通俗例子：句子 小明在学校遇到了小红，她给了他一颗糖

  • 当模型处理词 她 时，会计算 她 和句子中所有词的关联度： 小红 的关联度是90%，小明 是 5%，学校 是 1% ，其他词更低；
  • 给 小红 分配 90% 的权重，其他词分配低权重，加权后得到 她 的新特征，模型就知道 她 指的是小红；
  • 同理，处理 他 时，小明 的权重最高，模型就知道 他 指的是小明。

核心特点：注意力机制能无视词的距离，哪怕一个词在句首，一个词在句尾，也能精准计算关联度，完美解决长文本的远距离依赖问题。

概念3：自注意力（Self-Attention）

注意力机制的升级版，这是Transformer对注意力机制的核心创新

自注意力（Self-Attention）：注意力的计算是在同一句话内部完成的（自己和自己算关联），比如一句话的词只和这句话的其他词算注意力，这是相对「交叉注意力」的概念，Transformer的核心是自注意力。

概念3：多头（Multi-Head ）

注意力机制的升级版，这是Transformer对注意力机制的核心创新

多头注意力（Multi-Head）：把注意力机制做了多份（比如8头、12头），每一头学习不同维度的关联特征。
通俗例子：一句话 我爱吃麻辣火锅 ，8个头的注意力会分别关注：

  - 头1：「我」和「爱吃」的关联（主谓关系）；
  - 头2：「麻辣」和「火锅」的关联（修饰关系）；
  - 头3：「火锅」和「吃」的关联（动宾关系）；
  - 其他头：关注语气、情感、词性等不同特征。

→ 最终把8个头的结果拼接起来，得到的特征会更全面、更丰富，模型的理解能力大幅提升。

特点

Transformer能从2017年一直火到现在，成为所有AI模型的基础，核心原因是它有碾压式的优势，对比之前的所有模型，几乎是全面领先：

优势1：全并行计算，速度极快

彻底抛弃循环结构，所有词同时处理，GPU的算力能被充分利用，处理长文本的速度比RNN/LSTM快百倍甚至千倍，这是最核心的优势。

优势2：完美解决长文本依赖问题

注意力机制能捕捉任意距离的词之间的关联，不管文本多长，句首和句尾的词都能建立联系，长文本理解能力拉满。

优势3：注意力机制可解释性强

我们能直观地看到模型给每个词分配的权重，比如模型为什么认为「她」指的是小红，能看到权重分布，这是RNN类模型完全没有的。

优势4：结构简洁、对称，易扩展

编码器和解码器都是模块化堆叠，想要提升性能，只需要堆叠更多层、增大向量维度、增加注意力头数即可，工程实现简单，所有大模型都是这么做的。

优势5：泛化能力极强，跨领域适配

不仅能做NLP，还能轻松适配CV（图像）、语音、多模态等领域，比如用Transformer做图像分类（ViT模型）、语音识别，效果都远超之前的模型。

优势6：训练稳定，不易过拟合

残差连接+LayerNorm的组合，让模型能堆叠上百层而不出现梯度消失，训练过程非常稳定，能训练出参数量千亿、万亿级的大模型。

两大核心变种（重中之重！理解GPT和BERT的本质）

Transformer的原始结构是「编码器+解码器」，但在实际应用中，我们很少用完整的结构，而是根据任务需求，对结构做了两个核心变种，这两个变种就是 BERT 和 GPT 的核心架构，也是NLP的两大主流方向！

核心结论：所有NLP模型，不是BERT系，就是GPT系，没有例外。

变种1：只用「编码器」→ 自编码模型（代表：BERT）—— 擅长「理解类任务」

  • 核心改动：抛弃解码器，只保留编码器的堆叠结构，训练方式为「自编码」；
  • 核心特点：编码器是双向注意力，能看到文本的全部上下文，所以这类模型也叫「双向模型」；
  • 核心能力：超强的文本理解能力，擅长做「判别式任务」—— 有固定的输入和输出，需要模型理解语义后做判断/提取；
    ✔️ 代表任务：文本分类、情感分析、命名实体识别(NER)、关键词提取、文本相似度计算、句法分析；
  • 代表模型：BERT、RoBERTa、ALBERT、ERNIE（百度）、XLNet，这类模型是所有理解类NLP应用的核心。

变种2：只用「解码器」→ 自回归模型（代表：GPT）—— 擅长「生成类任务」

  • 核心改动：抛弃编码器，只保留解码器的堆叠结构，训练方式为「自回归」；
  • 核心特点：解码器的注意力是掩码单向注意力，只能看到文本的「左边内容」，看不到右边，所以这类模型也叫「单向模型」；
  • 核心能力：超强的文本生成能力，擅长做「生成式任务」—— 没有固定的输出，需要模型基于上下文自主生成文本；
    ✔️ 代表任务：文本续写、机器翻译、写文案、写诗、对话、代码生成、逻辑推理、问答；
  • 代表模型：GPT系列、LLaMA、百川、智谱清言、Claude，这类模型就是我们常说的大语言模型(LLM)，也是当前AI的主流方向。

关键对比（一张表看懂，必考）

模型类型 核心结构 注意力方式 核心能力 代表模型 典型任务
自编码模型 编码器 双向全注意力 文本理解 BERT/ERNIE 情感分析、NER、文本分类
自回归模型 解码器 掩码单向注意力 文本生成 GPT/LLaMA 对话、创作、翻译、推理

里程碑意义 & 后续发展

一、Transformer的里程碑意义（为什么是NLP史上最重要的模型？）

  1. 彻底颠覆了NLP的技术路线：从「循环串行」走向「注意力并行」，NLP的训练效率和效果实现了质的飞跃，为大模型的诞生奠定了基础；
  2. 统一了AI的模型架构：Transformer不再局限于NLP，而是成为CV、语音、多模态等所有AI领域的通用架构，实现了「大一统」；
  3. 开启了大模型时代：正是因为Transformer的并行性和可扩展性，我们才能训练出千亿、万亿参数量的大语言模型，才有了ChatGPT、文心一言等产品，让AI真正走向大众化。

二、Transformer的后续发展（2017-2025，核心演进方向）

Transformer的核心结构从未改变，所有的发展都是在原始结构上做优化和扩展，没有跳出框架，核心演进方向有4个，也是大模型的发展方向：

1. 堆叠层数+增大参数量 → 大语言模型(LLM)

这是最直接的方式：把解码器的层数从6层堆到96层（GPT-3）、128层（GPT-4），向量维度从512增大到8192，参数量从亿级增大到万亿级，模型的能力就会指数级提升。
→ 代表：GPT-3(1750亿)、GPT-4(约1.76万亿)、LLaMA 2(70亿/130亿/700亿)、百川3(7B/13B/70B)。

2. 优化注意力机制 → 解决长文本问题

原始Transformer的注意力计算复杂度很高，处理超长文本（比如1万字）会很慢，因此业界做了很多注意力优化：
→ 代表：稀疏注意力、滑动窗口注意力、长文本Transformer（Longformer、GPT-4超长上下文版），现在的大模型已经能处理几十万字的长文本。

3. 轻量化优化 → 让大模型落地到端侧

大模型的参数量太大，只能在云端运行，因此业界做了很多轻量化优化，让模型能在手机、电脑、嵌入式设备上运行：
→ 代表：量化（把模型的参数从浮点型转成整型）、剪枝（去掉不重要的参数）、蒸馏（用大模型教小模型），比如Phi-3、Qwen-2（通义千问轻量版），参数量只有7B，却有媲美大模型的能力。

4. 多模态融合 → 从文本到万物

Transformer的最新发展是多模态Transformer，把文本、图片、语音、视频的特征都转换成统一的向量，用注意力机制做融合，实现「看图说话、听声写文、图文生成」等能力。
→ 代表：GPT-4V（能看图片）、文心一言4.0、Gemini，这是未来AI的绝对主流方向。

总结

  1. Transformer是2017年谷歌提出的神经网络模型，核心是自注意力机制+并行计算，解决了RNN的串行和长文本问题；
  2. 整体架构是编码器（理解）+解码器（生成），编码器双向注意力，解码器单向掩码注意力；
  3. 两大核心变种：编码器→BERT（理解），解码器→GPT（生成），所有NLP模型都是这两类；
  4. Transformer是现代AI的地基，所有大语言模型、多模态模型的底层都是Transformer；
  5. Transformer的核心优势：并行、快、能处理长文本、结构简洁易扩展，这也是它能火8年的核心原因。

参考：
https://www.zhihu.com/tardis/zm/art/600773858

原文出处：/show_1GW2UPIvxI49.html

吉ICP备15003043号