196 人赞同了该文章
熵-Entropy 可以用来描述系统多样性，不确定性和随机性。而 Renyi Entropy 瑞丽熵 是熵的推广，总之就是用来衡量系统不确定性的指标。
我还是喜欢雷尼散度这个词.
熵 我们都遇到过很多种了，比如 香农熵 和 Hartley熵 之类，它们其实都可以由 Renyi Entropy 的推广得到。
其中， $\alpha \geq 0$ 和 $\alpha \neq 1$ 。那 Renyi Entropy 是怎么得到其他熵的呢？肯定是不同的 $\alpha$ 对应不同的熵。
如果将 $p$ 看成向量，括号里的形式实际上可以被看成向量的 $\alpha -$ 范数：
当 $\alpha = 0$ 时， $H_{0} \left(\right. X \left.\right)$ 实际上就是 Hartley熵
当 $\alpha \rightarrow 1$ 时， $H_{1} \left(\right. X \left.\right)$ 实际上就是 Shannon熵
这个实际上是$\frac{0}{0}$ 形的，可以用洛必达法则
这样就得到了 香农熵