1 认识文本预处理

学习目标¶

• 了解文本预处理相关内容

1 文本预处理及其作用

• 文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标.

2 文本预处理中包含的主要环节

• 文本处理的基本方法
• 文本张量表示方法
• 文本语料的数据分析
• 文本特征处理
• 数据增强方法

2.1 文本处理的基本方法

• 分词
• 词性标注 (标注是动词还是名词还是什么)
• 命名实体识别(给一段文本,抽出里面的地名/人名等等信息)

2.2 文本张量表示方法

• one-hot编码(稀疏词向量表示)

• Word2vec(word to vector)(稠密词向量表示)
• Word Embedding(稠密词向量表示)