8 Transformers库使用

学习目标

• 了解并掌握管道方式完成基本NLP任务
• 了解并掌握自动模型方式完成基本NLP任务
• 了解并掌握具体模型方式完成基本NLP任务

1 了解Transformers库

• Huggingface总部位于纽约，是一家专注于自然语言处理、人工智能和分布式系统的创业公司。他们所提供的聊天机器人技术一直颇受欢迎，但更出名的是他们在NLP开源社区上的贡献。Huggingface一直致力于自然语言处理NLP技术的平民化(democratize)，希望每个人都能用上最先进(SOTA, state-of-the-art)的NLP技术，而非困窘于训练资源的匮乏。同时Hugging Face专注于NLP技术，拥有大型的开源社区。尤其是在github上开源的自然语言处理，预训练模型库 Transformers，已被下载超过一百万次，github上超过24000个star。

• Huggingface Transformers 是基于一个开源基于 transformer 模型结构提供的预训练语言库。它支持 Pytorch，Tensorflow2.0，并且支持两个框架的相互转换。Transformers 提供了NLP领域大量state-of-art的 预训练语言模型结构的模型和调用框架。

• 框架支持了最新的各种NLP预训练语言模型，使用者可快速的进行模型调用，并且支持模型further pretraining 和 下游任务fine-tuning。举个例子Transformers 库提供了很多SOTA的预训练模型，比如BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet, CTRL。

• 社区Transformer的访问地址为：https://huggingface.co/，见下图。

  

• 备注

  • 1 点击 Model链接可查看、下载预训练模型。点击Datasets链接可查看、下载数据集。点击Docs链接可以阅读预训练模型的编程文档，十分方便
  • 2 SOTA（state-of-the-art）是指目前对某项任务“最好的”算法或技术

2 Transformers库三层应用结构¶

• 管道（Pipline）方式：高度集成的极简使用方式，只需要几行代码即可实现一个NLP任务。
• 自动模型（AutoMode）方式：可载入并使用BERTology系列模型。
• 具体模型（SpecificModel）方式：在使用时，需要明确指定具体的模型，并按照每个BERTology系列模型中的特定参数进行调用，该方式相对复杂，但具有较高的灵活度。

3 管道方式完成多种NLP任务¶

注意：若虚拟机中已经安装transformers，以下安装步骤不需再次执行

# 注意在执行clone之前，要查看当前是在那个目录下，比如$HOME/nlpdev/目录下
# 克隆huggingface的transfomers文件
git clone <https://github.com/huggingface/transformers.git>

# 进行transformers文件夹
cd transformers

# 切换transformers到指定版本
git checkout v4.19.0

# 安装transformers包
pip install .

# 安装datasets数据库，
# 注意workon xxx虚拟机开发环境，在虚拟机开发环境下安装
pip install datasets