Вычисление и интерпретация энтропии дискретного распределения

Здравствуйте! В прошлом уроке мы вывели собственную информацию отдельного события:

$$I_b(x)=-{\log }_{b}P(X=x).$$

Редкий исход несёт больше информации, а логарифм делает информацию составных независимых событий аддитивной. Теперь сделаем следующий шаг: до наблюдения исхода мы не знаем, какой именно surprisal получим. Энтропия Шеннона — это средний surprisal, заданный распределением возможных исходов.

К концу урока вы сможете вычислять энтропию конечного дискретного распределения вручную и в PyTorch, корректно обращаться с нулевыми вероятностями и переводить результат между битами и натами.

---

Энтропия как математическое ожидание surprisal

Пусть дискретная случайная величина $X$ принимает значения $x_1,\dots ,x_n$ с вероятностями

$$p_i=P(X=x_i),\sum _{i=1}^n{p}_i=1.$$

Если реализовался исход $x_i$, его собственная информация равна

$$I_b(x_i)=-{\log }_b{p}_i.$$

Но до реализации мы не хотим характеризовать один конкретный исход: нас интересует средняя неопределённость источника. Как и для любой случайной величины, берём ожидание:

$$\begin{array}{rl}{H}_b(X)& ={\mathbb{E}}_{X\sim p}[I_b(X)]\\ & =\sum _{i=1}^n{p}_i\left(-{\log }_b{p}_i\right)\\ & =-\sum _{i=1}^n{p}_i{\log }_b{p}_i.\end{array}$$

Это энтропия Шеннона распределения $p$. Индекс $b$ подчёркивает основание логарифма; часто его опускают, если единица уже понятна из контекста.

Ключевой смысл формулы — не в механическом выражении $-\sum p\log p$, а в том, что каждый исход даёт вклад

$$p_i{\log }_b\frac{1}{p_i}.$$

Редкий исход имеет большой surprisal, но случается редко. Частый исход приносит мало информации при реализации, зато сильно влияет на среднее, поскольку возникает часто. Энтропия учитывает оба факта одновременно.

Полезно держать в голове различие объектов:

Объект	Формула	Что характеризует
Surprisal конкретного исхода	$-{\log }_b{p}_i$	Насколько неожиданным оказался этот исход
Энтропия распределения	$-{\sum }_i{p}_i{\log }_b{p}_i$	Средняя неожиданность до наблюдения исхода

Так, если модель присвоила правильному классу вероятность $0.01$, конкретный loss для этого примера велик. Но это ещё не утверждение об энтропии распределения модели: она зависит от вероятностей всех классов, а не только наблюдённой метки.

---

Вычисление: вероятности, surprisals, вклады

Рассмотрим распределение трёх исходов:

$$p=(0.7,0.2,0.1).$$

Возьмём логарифм по основанию $2$, то есть будем измерять результат в битах.

Исход	Вероятность $p_i$	Surprisal $-{\log }_2{p}_i$	Вклад $p_i(-{\log }_2{p}_i)$
$x_1$	$0.7$	$0.515$	$0.360$
$x_2$	$0.2$	$2.322$	$0.464$
$x_3$	$0.1$	$3.322$	$0.332$

Складываем последний столбец:

$$H_2(X)=0.360+0.464+0.332\approx 1.157\text{ бит}.$$

Заметьте важную деталь. Исход $x_3$ наиболее информативен, если он произошёл: его surprisal составляет $3.322$ бита. Однако его вклад в среднюю неопределённость не максимален: вероятность $0.1$ уменьшает вес этого большого surprisаl. В данном примере крупнейший вклад даёт исход с вероятностью $0.2$.

Бинарный случай

Если $X\in \{0,1\}$, а

$$P(X=1)=p,P(X=0)=1-p,$$

то энтропию удобно записывать как бинарную энтропийную функцию:

$$h_2(p)=-p{\log }_{2}p-(1-p){\log }_2(1-p).$$

Для монеты, где орёл выпадает с вероятностью $0.9$, получаем:

$$\begin{array}{rl}{h}_2(0.9)& =-0.9{\log }_2(0.9)-0.1{\log }_2(0.1)\\ & \approx 0.469\text{ бит}.\end{array}$$

Это не значит, что каждый бросок «занимает 0.469 физического бита». Это средняя неопределённость одного броска. Её операционную связь с достижимой средней длиной кодирования мы строго разберём в модуле о сжатии.

График показывает три базовых свойства:

1. Детерминированность даёт нулевую энтропию. При $p=0$ или $p=1$ исход заранее известен.
2. Перестановка меток ничего не меняет. Распределения $(0.9,0.1)$ и $(0.1,0.9)$ имеют одну и ту же энтропию.
3. Равновероятная бинарная переменная имеет максимальную неопределённость. При $p=0.5$:

$$h_2(0.5)=-2\cdot \frac{1}{2}{\log }_2\frac{1}{2}=1\text{ бит}.$$

Позднее мы докажем общую теорему: на фиксированном конечном числе исходов энтропия максимальна при равномерном распределении. Здесь пока важна вычислительная и интуитивная сторона этого факта.

---

Нулевые вероятности и крайние распределения

В формуле энтропии формально возникает выражение $0\log 0$, если некоторый исход имеет нулевую вероятность. Сам логарифм нуля не определён, но соответствующий вклад в энтропию определяют через предел:

$$\underset{p\to 0^{+}}{\lim }p{\log }_{b}p=0.$$

Поэтому принимается соглашение

$$0{\log }_{b}0=0.$$

Оно содержательно естественно: исход с вероятностью ноль не происходит в модели распределения и не влияет на средний surprisal.

Например, распределения

$$(1,0,0)\text{и}(1)$$

имеют одинаковую энтропию:

$$H=0.$$

Формально первое распределение задано на трёх метках, но две из них не принадлежат его фактическому носителю. Энтропия зависит от вероятностной массы, а не от числа записанных в массиве категорий.

Для равномерного распределения на $K$ исходах расчёт особенно прозрачен:

$$p_i=\frac{1}{K}.$$

Тогда каждый исход имеет одинаковый surprisal:

$$-{\log }_b\frac{1}{K}={\log }_{b}K,$$

а среднее той же константы остаётся константой:

$$H_b(X)={\log }_{b}K.$$

В двоичных единицах:

• $K=2$: $H_2(X)=1$ бит;
• $K=4$: $H_2(X)=2$ бита;
• $K=256$: $H_2(X)=8$ бит.

Это объясняет, почему слово «бит» уместно: равномерный выбор из двух вариантов несёт ровно один бит неопределённости. Но не стоит делать обратный неверный вывод, что энтропия всегда равна логарифму мощности алфавита. Это верно только для равномерного распределения. Например, алфавит из $256$ токенов с почти всей массой на одном токене может иметь энтропию значительно меньше $8$ бит.

---

Биты и наты: одна величина, разные масштабы

Основание логарифма меняет лишь единицу измерения, но не меняет распределение и не меняет качественные сравнения неопределённости.

При основании $2$:

$$H_2(X)=-\sum _i{p}_i{\log }_2{p}_i,$$

энтропия измеряется в битах.

При естественном логарифме:

$$H_e(X)=-\sum _i{p}_i\ln p_i,$$

энтропия измеряется в натах.

Связь следует из формулы смены основания:

$${\log }_{2}p=\frac{\ln p}{\ln 2}.$$

Следовательно,

$$H_2(X)=\frac{H_e(X)}{\ln 2},H_e(X)=(\ln 2)H_2(X).$$

Для уже рассмотренного распределения $(0.7,0.2,0.1)$:

$$H_2(X)\approx 1.157\text{ бит},$$ $$H_e(X)\approx 1.157\cdot \ln 2\approx 0.802\text{ ната}.$$

В ML наты встречаются особенно часто, потому что log-likelihood, negative log-likelihood и большинство реализаций cross-entropy используют $\ln$. Биты удобнее для связи с кодированием, compression rate и сравнением с равновероятными двоичными вопросами.

При сравнении чисел всегда проверяйте единицы. Значение $1.0$ не является универсальной «одной единицей неопределённости»:

$$1\text{ бит}=\ln 2\text{ ната}\approx 0.693\text{ ната}.$$

---

Надёжное вычисление в PyTorch

На практике энтропия часто считается для вероятностных векторов модели. Важные требования к реализации:

• вероятности неотрицательны;
• сумма вероятностей по классовой оси равна единице;
• нулевые вероятности не должны порождать nan;
• основание логарифма должно быть явным, если результат выводится пользователю или сопоставляется с другой метрикой.

import math
import torch


def discrete_entropy(
    probs: torch.Tensor,
    dim: int = -1,
    base: float = math.e,
) -> torch.Tensor:
    """Shannon entropy for categorical probability vectors."""
    probs = torch.as_tensor(probs, dtype=torch.float64)

    if not torch.isfinite(probs).all():
        raise ValueError("Probabilities must be finite.")
    if (probs < 0).any():
        raise ValueError("Probabilities must be non-negative.")
    if base <= 0.0 or math.isclose(base, 1.0):
        raise ValueError("Logarithm base must be positive and not equal to 1.")

    total_mass = probs.sum(dim=dim)
    if not torch.allclose(
        total_mass,
        torch.ones_like(total_mass),
        atol=1e-10,
        rtol=1e-10,
    ):
        raise ValueError("Probabilities must sum to 1 along `dim`.")

    # The clamp prevents log(0); torch.where implements 0 log 0 = 0.
    tiny = torch.finfo(probs.dtype).tiny
    safe_probs = probs.clamp_min(tiny)

    terms = torch.where(
        probs > 0,
        probs * safe_probs.log(),
        torch.zeros_like(probs),
    )

    return -terms.sum(dim=dim) / math.log(base)

Проверим распределение из ручного расчёта:

p = torch.tensor([0.7, 0.2, 0.1])

h_bits = discrete_entropy(p, base=2.0)
h_nats = discrete_entropy(p, base=math.e)

print(f"{h_bits.item():.4f} bits")
print(f"{h_nats.item():.4f} nats")
print(torch.allclose(h_nats, h_bits * math.log(2.0)))

Ожидаемый вывод:

1.1568 bits
0.8018 nats
True

Функция работает и для батча распределений. Если тензор имеет форму [batch, num_classes], энтропия по умолчанию вычисляется вдоль последней оси и возвращает один результат на объект:

batch_probs = torch.tensor([
    [0.5, 0.5],
    [0.9, 0.1],
    [1.0, 0.0],
])

print(discrete_entropy(batch_probs, base=2.0))

Результаты соответственно близки к

$$(1.0,0.469,0.0)$$

бит. В дальнейшем такая операция станет основой для анализа предиктивной неопределённости классификаторов, распределений токенов и политик в RL. Но сама по себе высокая или низкая энтропия ещё не означает, что модель хороша, калибрована или полезна: она описывает форму её распределения.

---

Итог

Энтропия Шеннона — ожидаемая собственная информация:

$$\boxed{H_b(X)=-\sum _{x}P(X=x){\log }_{b}P(X=x)}$$

Главные ориентиры:

• surprisal относится к реализованному исходу, энтропия — к распределению до наблюдения;
• каждый вклад имеет вид $p_i(-\log p_i)$, поэтому редкость и частота исхода уравновешивают друг друга;
• используется соглашение $0\log 0=0$;
• в битах применяется ${\log }_2$, в натах — $\ln$;
• перевод единиц задаётся равенством

$$H_e(X)=(\ln 2)H_2(X).$$

В следующем уроке мы перейдём от одного распределения к паре случайных величин: научимся вычислять совместную и условную энтропию из совместного распределения.