3 BERT系列模型介绍

BERT系列模型¶

学习目标¶

• 了解不同类型的BERT系列模型.
• 掌握BERT系列模型之间的区别和联系.

1 AlBERT模型¶

学习目标¶

• 了解AlBERT模型的架构.
• 掌握AlBERT模型的优化点.

1.1 AlBERT模型的架构¶

• AlBERT模型发布于ICLR 2020会议, 是基于BERT模型的重要改进版本. 是谷歌研究院和芝加哥大学共同发布的研究成果.
• 论文全称<< A Lite BERT For Self-Supervised Learning Of Language Representations >>.
• 从模型架构上看, AlBERT和BERT基本一致, 核心模块都是基于Transformer的强大特征提取能力.

• 在本篇论文中, 首先对比了过去几年预训练模型的主流操作思路.
• 第一: 大规模的语料.