2 fasttext模型架构

学习目标

• 了解fasttext的模型架构.
• 了解fasttext模型中层次化的softmax.
• 了解负采样.

1 Fasttext模型架构¶

FastText 模型架构和 Word2Vec 中的 CBOW 模型很类似, 不同之处在于, FastText 预测标签, 而 CBOW 模型预测中间词.

FastText的模型分为三层架构:

• 输入层: 是对文档embedding之后的向量, 包含N-gram特征
• 隐藏层: 是对输入数据的求和平均
• 输出层: 是文档对应的label

2 层次softmax(hierarchical softmax)¶

• 为了提高效率, 在fastText中计算分类标签概率的时候, 不再使用传统的softmax来进行多分类的计算, 而是使用哈夫曼树, 使用层次化的softmax来进行概率的计算.

2.1 哈夫曼树

• 概念: 当利用n 个结点试图构建一棵树时, 如果构建的这棵树的带权路径长度最小, 称这棵树为“最优二叉树”, 有时也叫“赫夫曼树”或者“哈夫曼树”.
• 特点: 权值越大的节点距离根节点也较近.

2.2 哈夫曼树相关概念

• 二叉树: 每个节点最多有2个子树的有序树, 两个子树分别称为左子树、右子树. 有序的意思是: 树有左右之分, 不能颠倒.