Доказательство вогнутости энтропии Шеннона по распределению вероятностей

Здравствуйте! В предыдущем уроке мы разложили энтропию последовательности на условные энтропии отдельных шагов:

$$H(X_{1:n})=\sum _{t=1}^{n}H(X_t\mid X_{<t}).$$

Теперь сменим точку зрения. Вместо того чтобы спрашивать, как неопределённость распределяется внутри последовательности, будем рассматривать энтропию как функцию самого распределения $p$. Главный результат урока: если смешать два распределения, энтропия смеси будет не меньше средней энтропии исходных распределений. Это свойство называется вогнутостью энтропии Шеннона.

Оно формализует интуицию: когда источник может быть одним из нескольких режимов, а режим скрыт, предсказание обычно становится труднее. В ML это лежит за поведением смесей распределений, энтропийной регуляризацией и многими следствиями Jensen-подобных неравенств.

---

Энтропия как функция точки на симплексе

Пусть алфавит конечен:

$$\mathcal{X}=\{1,\dots ,k\}.$$

Распределение задаётся вектором вероятностей

$$p=(p_1,\dots ,p_k),p_i\ge 0,\sum _{i=1}^k{p}_i=1.$$

Все такие векторы образуют вероятностный симплекс ${\Delta }^{k-1}$. Энтропия Шеннона в битах:

$$H(p)=-\sum _{i=1}^k{p}_i{\log }_2{p}_i.$$

Мы принимаем стандартное соглашение:

$$0{\log }_{2}0=0.$$

Оно корректно, поскольку

$$\underset{u\to 0^{+}}{\lim }u{\log }_{2}u=0.$$

Таким образом, энтропия определена и для распределений с нулевыми вероятностями.

Возьмём два распределения $p$ и $q$ на одном алфавите и коэффициент смешивания

$$0\le \lambda \le 1.$$

Их смесь равна

$$r=\lambda p+(1-\lambda )q,$$

то есть покомпонентно:

$$r_i=\lambda p_i+(1-\lambda )q_i.$$

Например, если $p$ и $q$ — два предсказания классификатора, то $r$ можно получить, случайно выбирая, какое из них использовать: $p$ с вероятностью $\lambda$, $q$ с вероятностью $1-\lambda$.

Вогнутость энтропии означает:

$$\boxed{H(\lambda p+(1-\lambda )q)\ge \lambda H(p)+(1-\lambda )H(q)}$$

Геометрически значение функции в точке между $p$ и $q$ лежит не ниже хорды, соединяющей значения функции в этих двух точках.

---

Доказательство через вторую производную

Вся структура доказательства содержится в одном слагаемом энтропии. Определим для $u\in (0,1]$:

$$h(u)=-u{\log }_{2}u=-\frac{u\ln u}{\ln 2}.$$

Тогда

$$H(p)=\sum _{i=1}^{k}h(p_i).$$

Вычислим производные:

$$h^{\prime }(u)=-\frac{\ln u+1}{\ln 2},$$ $$h^{\prime \prime }(u)=-\frac{1}{u\ln 2}.$$

При $u>0$ имеем:

$$h^{\prime \prime }(u)<0.$$

Следовательно, $h$ является строго вогнутой функцией на $(0,1]$. По определению это означает, что для любых $a,b>0$ и $0<\lambda <1$

$$h(\lambda a+(1-\lambda )b)\ge \lambda h(a)+(1-\lambda )h(b),$$

причём равенство возможно только при $a=b$.

Теперь применим это покомпонентно к вероятностям $p_i$ и $q_i$:

$$h(\lambda p_i+(1-\lambda )q_i)\ge \lambda h(p_i)+(1-\lambda )h(q_i).$$

Суммируем неравенства по всем $i$:

$$\begin{array}{rl}H(\lambda p+(1-\lambda )q)& =\sum _{i=1}^{k}h(\lambda p_i+(1-\lambda )q_i)\\ & \ge \sum _{i=1}^k\left[\lambda h(p_i)+(1-\lambda )h(q_i)\right]\\ & =\lambda \sum _{i=1}^{k}h(p_i)+(1-\lambda )\sum _{i=1}^{k}h(q_i)\\ & =\lambda H(p)+(1-\lambda )H(q).\end{array}$$

Это и требовалось доказать.

Граница симплекса, где некоторые вероятности равны нулю, не создаёт проблемы. На внутренности симплекса доказательство следует из $h^{\prime \prime }(u)<0$; затем результат распространяется на границу непрерывностью функции $h$, поскольку $h(0)=0$.

Важно, что это доказательство устанавливает более сильное утверждение: энтропия строго вогнута. Если

$$0<\lambda <1$$

и

$$p\ne q,$$

то хотя бы в одной координате $p_i\ne q_i$, и там покомпонентное неравенство строго. Поэтому:

$$\boxed{H(\lambda p+(1-\lambda )q)>\lambda H(p)+(1-\lambda )H(q)}$$

для любых различных $p$ и $q$. Условия равенства пригодятся в следующем уроке, где мы докажем максимальность энтропии равномерного распределения.

---

Бинарный случай: самая наглядная геометрия

Для бернуллиевской случайной величины достаточно одной вероятности:

$$P(X=1)=u,P(X=0)=1-u.$$

Её энтропия — бинарная энтропия:

$$h_2(u)=-u{\log }_{2}u-(1-u){\log }_2(1-u).$$

На графике легко увидеть, что точка на кривой над серединой любого отрезка оказывается выше прямой между концами этого отрезка. Например, рассмотрим два источника:

$$p=\mathrm{Bernoulli}(0.1),q=\mathrm{Bernoulli}(0.9).$$

Оба имеют одинаковую энтропию:

$$H(p)=H(q)=h_2(0.1)\approx 0.469\text{ бита}.$$

Возьмём равную смесь:

$$r=\frac{1}{2}p+\frac{1}{2}q.$$

Вероятность единицы в смеси:

$$r(1)=\frac{1}{2}\cdot 0.1+\frac{1}{2}\cdot 0.9=\mathrm{0.5.}$$

Значит,

$$H(r)=h_2(0.5)=1\text{ бит}.$$

Итак,

$$1>\frac{1}{2}\cdot 0.469+\frac{1}{2}\cdot 0.469=\mathrm{0.469.}$$

Сама каждая компонента почти предсказуема: первая обычно выдаёт ноль, вторая обычно выдаёт единицу. Но если перед каждым семплом скрыто выбирается один из этих режимов, итоговый наблюдатель видит честный бит. Неопределённость заметно возрастает.

Не следует интерпретировать это как утверждение, что «смешивание всегда добавляет шум в каждую отдельную компоненту». Компоненты не меняются. Меняется доступная информация о том, какой именно механизм сгенерировал наблюдение.

---

Второе доказательство: скрытая переменная режима

Калькулясное доказательство короткое, но вероятностное доказательство лучше показывает, почему энтропия вогнута.

Пусть скрытая переменная режима $Z$ выбирается так:

$$P(Z=1)=\lambda ,P(Z=0)=1-\lambda .$$

Условно на режиме генерируем $X$:

$$X\mid Z=1\sim p,X\mid Z=0\sim q.$$

Маргинальное распределение $X$ равно смеси:

$$P(X=i)=\lambda p_i+(1-\lambda )q_i=r_i.$$

Поэтому

$$H(X)=H(r).$$

Если режим известен, условная энтропия равна средней энтропии компонент:

$$\begin{array}{rl}H(X\mid Z)& =P(Z=1)H(X\mid Z=1)+P(Z=0)H(X\mid Z=0)\\ & =\lambda H(p)+(1-\lambda )H(q).\end{array}$$

Из уже знакомого свойства «условие не увеличивает энтропию» следует:

$$H(X)\ge H(X\mid Z).$$

Подставляя две полученные идентичности, сразу получаем:

$$H(r)\ge \lambda H(p)+(1-\lambda )H(q).$$

Это доказательство следует читать так:

• $H(X\mid Z)$ измеряет неопределённость исхода, если механизм известен;
• $H(X)$ измеряет неопределённость, если механизм скрыт;
• незнание режима не может сделать задачу предсказания проще.

Разность

$$H(X)-H(X\mid Z)$$

позднее появится как взаимная информация $I(X;Z)$: количество информации о скрытом режиме, которое несёт наблюдённый исход $X$. Здесь достаточно понимать, что она неотрицательна.

---

Численная проверка в PyTorch

Для работы с моделями полезно проверять такие свойства не только символически, но и на реализациях. Код ниже вычисляет энтропию для батча распределений, создаёт смесь и проверяет вогнутость.

import torch


def entropy_bits(p: torch.Tensor, dim: int = -1) -> torch.Tensor:
    """
    Shannon entropy in bits for one distribution or a batch of distributions.
    Assumes p is normalized along `dim`.
    """
    p = torch.as_tensor(p, dtype=torch.float64)

    if (p < 0).any():
        raise ValueError("Probabilities must be non-negative.")

    sums = p.sum(dim=dim)
    if not torch.allclose(sums, torch.ones_like(sums), atol=1e-12):
        raise ValueError("Probabilities must sum to 1.")

    log_p = torch.where(p > 0, p.log2(), torch.zeros_like(p))
    return -(p * log_p).sum(dim=dim)


p = torch.tensor([0.70, 0.20, 0.10], dtype=torch.float64)
q = torch.tensor([0.05, 0.15, 0.80], dtype=torch.float64)
lam = 0.35

r = lam * p + (1.0 - lam) * q

h_p = entropy_bits(p)
h_q = entropy_bits(q)
h_r = entropy_bits(r)
weighted_average = lam * h_p + (1.0 - lam) * h_q

print(f"H(p)              = {h_p:.6f} bits")
print(f"H(q)              = {h_q:.6f} bits")
print(f"H(r)              = {h_r:.6f} bits")
print(f"Weighted average   = {weighted_average:.6f} bits")
print(f"Concavity gap      = {h_r - weighted_average:.6f} bits")

assert h_r >= weighted_average - 1e-12

Вы должны увидеть положительный Concavity gap. Он равен нулю в тривиальных случаях:

• $\lambda =0$ или $\lambda =1$, когда смесь фактически выбирает одну компоненту;
• $p=q$, когда скрытый режим не меняет распределение наблюдаемого исхода.

Для разных распределений и нетривиального смешивания зазор будет строго положительным. Численно это полезный инвариант при тестировании кода для энтропии, ансамблей или смесей категориальных распределений.

Можно также провести небольшой мысленный эксперимент с вероятностями выходных токенов двух языковых моделей. Если одна модель уверенно предпочитает один токен, а другая — другой, равновзвешенное усреднение их вероятностей часто имеет существенно большую энтропию. Однако высокая энтропия такого усреднённого предсказания сама по себе ещё не говорит, хороша ли модель: она может отражать содержательную неоднозначность, разногласие моделей или просто плохую спецификацию.

---

Что именно утверждает и не утверждает вогнутость

Вогнутость — свойство функции от распределения:

$$p\mapsto H(p).$$

Она не означает, что энтропия растёт при каждом возможном преобразовании распределения. Например, если преобразование делает распределение более концентрированным, энтропия обычно уменьшается. Утверждение относится строго к операции выпуклого смешивания:

$$r=\lambda p+(1-\lambda )q.$$

Также важно различать две величины:

$$H(\lambda p+(1-\lambda )q)$$

и

$$\lambda H(p)+(1-\lambda )H(q).$$

Первая — энтропия наблюдателя, который не знает, какая компонента выбрана. Вторая — средняя энтропия наблюдателя, которому выбранная компонента раскрыта. Разница между ними измеряет цену неизвестности о компоненте.

Это же различие встречается в практических системах:

Ситуация	Что соответствует компоненте	Почему смесь может быть более энтропийной
Ансамбль классификаторов	Предсказание отдельной модели	Модели расходятся в вероятностях классов
Mixture model	Латентный кластер	Кластер наблюдения неизвестен
Режимы среды в RL	Скрытое состояние или тип задачи	Одинаковое действие может быть хорошим в разных режимах
Генерация текста	Несколько правдоподобных продолжений	Контекст допускает разные семантические ветви

В следующих модулях появятся более специальные величины для такого расхождения: KL-дивергенция, Jensen–Shannon divergence и взаимная информация. Их смысл будет опираться именно на эту картину: усреднение распределений и усреднение их энтропий — разные операции.

---

Итог

Энтропия Шеннона вогнута по распределению вероятностей:

$$H(\lambda p+(1-\lambda )q)\ge \lambda H(p)+(1-\lambda )H(q).$$

Ключевые выводы:

• энтропия является суммой функций $h(u)=-u{\log }_{2}u$;
• поскольку

$$h^{\prime \prime }(u)=-\frac{1}{u\ln 2}<0,$$

каждое слагаемое строго вогнуто, а значит строго вогнута и вся энтропия;

• альтернативное вероятностное доказательство представляет смесь как результат скрытого выбора режима $Z$, после чего использует неравенство

$$H(X)\ge H(X\mid Z);$$

• при $0<\lambda <1$ равенство возможно только если $p=q$;
• разность между энтропией смеси и средней энтропией компонент отражает неопределённость о скрытом режиме.

В следующем уроке мы используем вогнутость, чтобы строго доказать: на фиксированном конечном алфавите максимальную энтропию имеет равномерное распределение, и точно сформулируем условие равенства.