3 BERT系列模型介绍
BERT系列模型¶
学习目标¶
- 了解不同类型的BERT系列模型.
- 掌握BERT系列模型之间的区别和联系.
1 AlBERT模型¶
学习目标¶
- 了解AlBERT模型的架构.
- 掌握AlBERT模型的优化点.
1.1 AlBERT模型的架构¶
- AlBERT模型发布于ICLR 2020会议, 是基于BERT模型的重要改进版本. 是谷歌研究院和芝加哥大学共同发布的研究成果.
- 论文全称<< A Lite BERT For Self-Supervised Learning Of Language Representations >>.
- 从模型架构上看, AlBERT和BERT基本一致, 核心模块都是基于Transformer的强大特征提取能力.
- 在本篇论文中, 首先对比了过去几年预训练模型的主流操作思路.
- 第一: 大规模的语料.