最大散度

Max-Divergence（最大散度）其实是 KL-Divergence 的一个“更严格、更保守”的版本。

如果说 KL 是在看 平均差多少，那 Max-Divergence 看的是 最坏情况下能差多少。

先用一个直觉抓住它。

一句话直觉版

KL-Divergence：平均来看，你错得有多离谱

Max-Divergence：最极端的一次，你可能错得有多离谱

就像：

• KL：平均损失
• Max：最坏损失（worst-case）

这也是为什么 差分隐私（Differential Privacy） 里，最早就是用 Max-Divergence 来定义隐私强度的。

数学定义是什么

Max-Divergence（也叫 Rényi divergence of order ∞）定义是：

$D_{\infty}(P\|Q)=\log\max_x\frac{P(x)}{Q(x)}$

我们逐个拆。

3. $\frac{P(x)}{Q(x)}$

表示：