1 BERT模型介绍
学习目标
- 了解什么是BERT
- 掌握BERT的架构
- 掌握BERT的预训练任务
思考题：Bert模型的架构以及每一部分的作用？
思考题：Bert模型两大预训练任务，并谈一谈你的理解？
1 BERT简介
BERT是2018年10月由Google AI研究院提出的一种预训练模型.
- BERT的全称是Bidirectional Encoder Representation from Transformers.
- BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类, 并且在11种不同NLP测试中创出SOTA表现. 包括将GLUE基准推高至80.4% (绝对改进7.6%), MultiNLI准确度达到86.7% (绝对改进5.6%). 成为NLP发展史上的里程碑式的模型成就.
2 BERT的架构
总体架构: 如下图所示, 最左边的就是BERT的架构图, 可以很清楚的看到BERT采用了Transformer Encoder block进行连接, 因为是一个典型的双向编码模型.
从上面的架构图中可以看到, 宏观上BERT分三个主要模块.