Transformer 编码器部分开展而来的大模型 BERT 是一个里程碑式的大模型

谈论由 Transformer 编码器部分开展而来的大模型 BERT 。这是一个里程碑式的大模型，它凭仗深远的技能影响力早已成为很多互联网使用（如查找、推荐）的中心，因此学习 BERT 有助于咱们洞悉当时大模型强壮才能的技能奠基与实践价值。

文章谈论的中心问题和结论是啥？

① BERT 是什么，它与 Transformer 有什么联系？

BERT 是一个根据 Transformer 的编码器部分开展而来的模型，旨在经过预练习成为一个“通用”的言语了解模型。BERT 与 GPT（根据 Transformer 解码器开展而来）并列为 Transformer 架构的两个最负盛名的分支。

② BERT 怎么完成其“通用性”并处理多种自然言语处理使命？

BERT 的“通用性”是经过预练习完成的。之后进行简略的微调就能处理多种 NLP 使命。 这种“预练习 + 微调”的范式是 BERT 成功的关键。

③ BERT 是怎么预练习的？

经过“完形填空”和“判断下一句”两个无监督的预练习使命。完形填空指在输入语句中随机隐瞒一部分词再让模型预测这些被隐瞒的词是什么。这迫使模型了解上下文信息来推断词义。判断下一句是指给模型输入两个语句 A 和 B，让模型判断语句 B 是否是语句 A 在原文中的下一句，以此让模型学习语句间的联系和连贯性。

④ BERT 的实践使用价值和影响怎么？

学术上 BERT 的引用量为13万，远高于GPT 的1.3万。职业使用上 BERT “一次练习、屡次复用”的特性非常符合互联网职业快速迭代的需求，已广泛使用于各互联网事务中。美团在其事务中使用 BERT 提升了用户谈论情感分析的准确性、查找词目的辨认准确率以及查找词改写准确率，并估算能带来显著的年营收增长。

“BERT 饱览了人间一切情话，只为在你每一次轻唤时都能恰如其分地温柔。”

中咱们聊到，Transformer 以注意力机制为中心搭建了编码器-解码器（Encoder-Decoder）架构，编码器担任将输入转化成机器可了解的代码，解码器担任将代码转化成人类可了解的输出。这种彻底以注意力机制构建起的编码器-解码器架构彻底处理了 RNN 健忘和练习慢的老大难问题，且在多项言语翻译使命上取得了最佳成绩。

在此之后，大量根据 Transformer 的模型被提出，其中最负盛名的两个模型就是 BERT 和 GPT。前者根据 Transformer 的编码器开展而来，后者则根据 Transformer 的解码器部分开展而来。本文将详细谈论 BERT。

诶~我好像听到屏幕前有人说“GPT 我知道，但从来没听说过 BERT ？没觉得它很有名啊？”确实，BERT 并不能像 GPT 那样能够做个非技能人群也能轻松使用的聊天机器人，所以在技能圈外名望没有 GPT 大。但在技能圈内 BERT 的名望但是 GPT 的 10 倍。截止到2025年5月，BERT 的原始论文引用量为13万，十倍于 GPT 的1.3万

BERT 在技能圈内之所以能这么火热的一个重要原因是它只需求经过简略的调整便可处理一堆自然言语使命。这一特性使得研究者们纷繁根据 BERT 进行优化改造，在处理实践问题的一起，也为学术成果的产出提供了便当。换句话说，BERT 真实完成了 NLP 学者们长期以来的理想 —— 打造一个 “通用” 的言语模型。

从通用言语模型说起

BERT 呈现前，处理一类使命需求专门规划一种模型。比方在之前的文章中咱们用 RNN 处理文本生成类使命，用 Transformer 处理翻译类使命。可一旦遇到新使命还得从头规划一个模型，这未免也太麻烦了。

BERT 呈现后，处理一类使命只需求在 BERT 的基础上简略改改即可。有了 BERT 之后，咱们只需求在 BERT 的基础上外装一些“配件”就能处理问题。比方一个马达，给它外装四个轮子能够当车用，外装个搅拌棒能够当搅拌机用，外装个圆盘刀片能够当切割机用。类似地，经过外装一些简略的结构，BERT 就能一起胜任阅读了解、文本分类、语义匹配等多种使命，所以被称为 “通用”。

BERT 能做到“通用”首要得益于根据 Transformer 编码器的规划。回忆一下，Transformer 是一个选用编码器-解码器架构的翻译模型，其中编码器担任了解原文的语义，解码器担任将语义翻译成目标言语。所以 Transformer 的编码器本就是一个强壮的语义了解器，要是把它独自拿出来再增强一下，那这语义了解才能岂不是能飞天？诶，没错，BERT 就是这么做的，而且成功了。所以下面咱们来看下 BERT 的详细规划