2 BERT模型特点

学习目标¶

• 理解BERT模型的优点和原因.
• 理解BERT模型的缺点和原因.
• 理解在MLM任务中采用80%, 10%, 10%策略的原因.
• 掌握利用BERT处理长文本的任务如何构造训练样本.

思考题：BERT模型的优点和缺点?

思考题：BERT的MLM任务中为什么采用了80%, 10%, 10%的策略?

思考题：长文本预测任务如果想用BERT来实现, 要如何构造训练样本?

1 BERT模型优缺点¶

1.1 BERT的优点¶

• 通过预训练, 加上Fine-tunning, 在11项NLP任务上取得最优结果.
• BERT的根基源于Transformer, 相比传统RNN更加高效, 可以并行化处理同时能捕捉长距离的语义和结构依赖.
• BERT采用了Transformer架构中的Encoder模块, 不仅仅获得了真正意义上的bidirectional context, 而且为后续微调任务留出了足够的调整空间.

1.2 BERT的缺点¶

• BERT模型过于庞大, 参数太多, 不利于资源紧张的应用场景, 也不利于上线的实时处理.
• BERT目前给出的中文模型中, 是以字为基本token单位的, 很多需要词向量的应用无法直接使用. 同时该模型无法识别很多生僻词, 只能以UNK代替.
• BERT中第一个预训练任务MLM中, [MASK]标记只在训练阶段出现, 而在预测阶段不会出现, 这就造成了一定的信息偏差, 因此训练时不能过多的使用[MASK], 否则会影响模型的表现.
• 按照BERT的MLM任务中的约定, 每个batch数据中只有15%的token参与了训练, 被模型学习和预测, 所以BERT收敛的速度比left-to-right模型要慢很多(left-to-right模型中每一个token都会参与训练).

2 BERT的MLM任务¶

2.1 BERT的MLM任务中为什么采用了80%, 10%, 10%的策略?¶

• 首先, 如果所有参与训练的token被100%的[MASK], 那么在fine-tunning的时候所有单词都是已知的, 不存在[MASK], 那么模型就只能根据其他token的信息和语序结构来预测当前词, 而无法利用到这个词本身的信息, 因为它们从未出现在训练过程中, 等于模型从未接触到它们的信息, 等于整个语义空间损失了部分信息. 采用80%的概率下应用[MASK], 既可以让模型去学着预测这些单词, 又以20%的概率保留了语义信息展示给模型.