7 NLP中的常用预训练模型

学习目标¶

• 了解当下NLP中流行的预训练模型.
• 掌握如何加载和使用预训练模型.

上面的只使用解码器.

1 当下NLP中流行的预训练模型

• BERT
• GPT
• GPT-2
• Transformer-XL
• XLNet
• XLM
• RoBERTa
• DistilBERT
• ALBERT
• T5
• XLM-RoBERTa