Совместная и условная энтропия по совместному распределению

Здравствуйте! В прошлом уроке мы перешли от surprisal отдельного исхода к энтропии $H(X)$: средней неопределённости одной дискретной случайной величины. Теперь объектом станет пара переменных. Это позволяет строго отделить две разные идеи:

• сколько неопределённости содержится в совместном исходе $(X,Y)$;
• сколько неопределённости о $X$ остаётся после того, как $Y$ уже известно.

К концу урока вы сможете брать заданную таблицу $P(X,Y)$, находить маргинальные и условные распределения, а затем вычислять $H(X,Y)$, $H(X\mid Y)$ и $H(Y\mid X)$ несколькими согласованными способами.

---

Совместное распределение: таблица как распределение одной составной величины

Пусть $X$ принимает значения $x\in \mathcal{X}$, а $Y$ — значения $y\in \mathcal{Y}$. Совместное распределение задаёт вероятность каждой пары:

$$p_{XY}(x,y)=P(X=x,Y=y).$$

Его удобно представлять таблицей: строки соответствуют значениям $X$, столбцы — значениям $Y$. Каждая ячейка — вероятность одного атомарного совместного исхода. Все ячейки должны быть неотрицательны, а их сумма должна быть равна единице:

$$\sum _x\sum _y{p}_{XY}(x,y)=1.$$

Например, пусть $T$ обозначает температуру, а $M$ — влажность. Совместное распределение может быть таким:

$P(T,M)$	$M=\text{low}$	$M=\text{high}$	$P(T)$
$T=\text{cold}$	$0.1$	$0.2$	$0.3$
$T=\text{mild}$	$0.4$	$0.1$	$0.5$
$T=\text{hot}$	$0.1$	$0.1$	$0.2$
$P(M)$	$0.6$	$0.4$	$1.0$

Последний столбец и последняя строка получаются маргинализацией:

$$p_T(t)=\sum _m{p}_{TM}(t,m),p_M(m)=\sum _t{p}_{TM}(t,m).$$

То есть, чтобы забыть одну из переменных, мы складываем вероятности по её возможным значениям.

Например,

$$P(T=\text{mild})=0.4+0.1=0.5,$$ $$P(M=\text{low})=0.1+0.4+0.1=\mathrm{0.6.}$$

Совместная энтропия

Пару $(X,Y)$ следует рассматривать как одну дискретную случайную величину, чьи исходы — пары значений. Поэтому формула не требует нового принципа:

$$H(X,Y)=-\sum _x\sum _y{p}_{XY}(x,y){\log }_2{p}_{XY}(x,y).$$

Здесь единица измерения — биты. Для таблицы температуры и влажности:

$$\begin{array}{rl}H(T,M)& =-[4\cdot 0.1{\log }_{2}0.1+0.2{\log }_{2}0.2+0.4{\log }_{2}0.4]\\ & \approx 2.322\text{ бита}.\end{array}$$

Это средний surprisal совместного наблюдения. Если вы одновременно узнали температуру и влажность, именно $H(T,M)$ характеризует неопределённость такого парного исхода до наблюдения.

Полезные проверки результата:

$$H(X,Y)\ge H(X),H(X,Y)\ge H(Y).$$

Добавление переменной не может уменьшить неопределённость полного совместного объекта: из пары $(X,Y)$ можно восстановить и $X$, и $Y$.

При независимости

$$p_{XY}(x,y)=p_X(x)p_Y(y),$$

и тогда

$$H(X,Y)=H(X)+H(Y).$$

В нашем примере переменные не независимы. Например,

$$P(T=\text{mild},M=\text{low})=0.4,$$

но

$$P(T=\text{mild})P(M=\text{low})=0.5\cdot 0.6=\mathrm{0.3.}$$

Поэтому совместная энтропия меньше суммы маргинальных:

$$H(T,M)\approx 2.322<H(T)+H(M).$$

---

---

Условные распределения: что остаётся неизвестным после наблюдения

Совместная таблица отвечает на вопрос о неопределённости пары. Однако во многих ML-задачах требуется другой вопрос: насколько неопределённа метка, если признаки уже наблюдались? Или: насколько неопределённо следующее действие политики, если известно состояние?

Для этого нужна условная вероятность. При $p_Y(y)>0$:

$$p_{X\mid Y}(x\mid y)=\frac{p_{XY}(x,y)}{p_Y(y)}.$$

Фиксировав конкретное $Y=y$, мы получаем полноценное распределение по $X$. Его энтропия:

$$H(X\mid Y=y)=-\sum _x{p}_{X\mid Y}(x\mid y){\log }_2{p}_{X\mid Y}(x\mid y).$$

Это ещё не $H(X\mid Y)$, а энтропия при конкретном условии. Общая условная энтропия усредняет эти величины с весами вероятности условия:

$$\boxed{H(X\mid Y)=\sum _y{p}_Y(y)H(X\mid Y=y)}$$

Эквивалентная запись сразу через совместное распределение:

$$\boxed{H(X\mid Y)=-\sum _x\sum _y{p}_{XY}(x,y){\log }_2{p}_{X\mid Y}(x\mid y)}$$

Это ожидаемый surprisal $X$ после того, как $Y$ стало известно.

На схеме особенно важно не спутать два объекта:

$$H(X\mid Y=\text{blue})$$

и

$$H(X\mid Y).$$

Первый относится к одному конкретному срезу распределения. Второй усредняет все срезы, причём частые значения $Y$ должны влиять сильнее редких.

---

Полный расчёт из совместной таблицы

Вернёмся к температуре $T$ и влажности $M$. Уже найдены маргинальные распределения:

$$p_T=(0.3,0.5,0.2),p_M=(0.6,0.4).$$

Их энтропии:

$$H(T)=H(0.3,0.5,0.2)\approx 1.485\text{ бита},$$ $$H(M)=H(0.6,0.4)\approx 0.971\text{ бита}.$$

Энтропия температуры при известной влажности

Начнём с $H(T\mid M)$. Для $M=\text{low}$ берём первый столбец и нормируем его на $P(M=\text{low})=0.6$:

$$p_{T\mid M}(\cdot \mid \text{low})=\left(\frac{0.1}{0.6},\frac{0.4}{0.6},\frac{0.1}{0.6}\right)=\left(\frac{1}{6},\frac{4}{6},\frac{1}{6}\right).$$

Поэтому

$$H(T\mid M=\text{low})=H\left(\frac{1}{6},\frac{4}{6},\frac{1}{6}\right)\approx 1.252\text{ бита}.$$

А при высокой влажности:

$$p_{T\mid M}(\cdot \mid \text{high})=\left(\frac{0.2}{0.4},\frac{0.1}{0.4},\frac{0.1}{0.4}\right)=(0.5,0.25,0.25),$$ $$H(T\mid M=\text{high})=H(0.5,0.25,0.25)=1.5\text{ бита}.$$

Теперь взвешиваем по вероятности каждого уровня влажности:

$$\begin{array}{rl}H(T\mid M)& =0.6\cdot 1.252+0.4\cdot 1.5\\ & \approx 1.351\text{ бита}.\end{array}$$

Знание влажности уменьшает среднюю неопределённость температуры:

$$H(T\mid M)\approx 1.351<H(T)\approx \mathrm{1.485.}$$

Но это уменьшение происходит в среднем. Обратите внимание:

$$H(T\mid M=\text{high})=1.5>H(T).$$

Конкретное наблюдение $M=\text{high}$ в этом примере делает температуру слегка более неопределённой, чем безусловно. Это не противоречит общему неравенству $H(T\mid M)\le H(T)$: редкие и частые условия усредняются с разными весами.

Энтропия влажности при известной температуре

Теперь меняем направление условия. Для холодной температуры:

$$p_{M\mid T}(\cdot \mid \text{cold})=\left(\frac{0.1}{0.3},\frac{0.2}{0.3}\right)=\left(\frac{1}{3},\frac{2}{3}\right),$$ $$H(M\mid T=\text{cold})\approx 0.918\text{ бита}.$$

Аналогично:

$$H(M\mid T=\text{mild})=H(0.8,0.2)\approx 0.722,$$ $$H(M\mid T=\text{hot})=H(0.5,0.5)=1.$$

Взвешенное среднее:

$$\begin{array}{rl}H(M\mid T)& =0.3\cdot 0.918+0.5\cdot 0.722+0.2\cdot 1\\ & \approx 0.836\text{ бита}.\end{array}$$

Итак,

$$H(T\mid M)\approx 1.351,H(M\mid T)\approx \mathrm{0.836.}$$

Условная энтропия обычно несимметрична: знать влажность и предсказывать температуру — не то же самое, что знать температуру и предсказывать влажность.

---

Самая полезная формула-проверка

Условные вероятности удовлетворяют факторизации:

$$p_{XY}(x,y)=p_Y(y)p_{X\mid Y}(x\mid y).$$

Подставим её в совместную энтропию:

$$\begin{array}{rl}H(X,Y)& =-\sum _{x,y}p(x,y){\log }_2\left(p_Y(y)p(x\mid y)\right)\\ & =-\sum _{x,y}p(x,y){\log }_2{p}_Y(y)-\sum _{x,y}p(x,y){\log }_{2}p(x\mid y).\end{array}$$

Первое слагаемое равно $H(Y)$, второе — $H(X\mid Y)$. Поэтому:

$$\boxed{H(X,Y)=H(Y)+H(X\mid Y)}$$

Аналогично:

$$\boxed{H(X,Y)=H(X)+H(Y\mid X)}$$

Для примера:

$$H(T,M)=H(M)+H(T\mid M)\approx 0.971+1.351\approx 2.322,$$ $$H(T,M)=H(T)+H(M\mid T)\approx 1.485+0.836\approx \mathrm{2.322.}$$

Эти равенства полезнее, чем просто вычислительная экономия. Они позволяют обнаружить ошибки в нормировке, перепутанную ось таблицы или неверное направление условия.

Краткая памятка для таблицы, в которой строки — $X$, а столбцы — $Y$:

Требуется найти	Операция
$p_X(x)$	Сложить строку
$p_Y(y)$	Сложить столбец
$p(X\mid Y=y)$	Разделить столбец $y$ на его сумму
$p(Y\mid X=x)$	Разделить строку $x$ на её сумму
$H(X,Y)$	Посчитать энтропию всех ячеек
$H(X\mid Y)$	Энтропия каждого нормированного столбца, затем среднее с весами $p_Y$
$H(Y\mid X)$	Энтропия каждой нормированной строки, затем среднее с весами $p_X$

Если маргинальная вероятность условия равна нулю, например $p_Y(y)=0$, то $p(X\mid Y=y)$ не определено обычным делением. На практике это не создаёт вклада в $H(X\mid Y)$, поскольку такой случай имеет нулевой вес $p_Y(y)$. В коде важно обработать его без деления на ноль и без nan.

---

PyTorch: расчёт и автоматические проверки тождеств

Ниже функция для одной двумерной таблицы, где строки соответствуют $X$, а столбцы — $Y$. Она возвращает совместную энтропию, маргинальные энтропии и обе условные энтропии.

import math
import torch


def entropy(probs: torch.Tensor, dim=None, base: float = 2.0) -> torch.Tensor:
    """Entropy of a normalized discrete distribution."""
    probs = torch.as_tensor(probs, dtype=torch.float64)

    if (probs < 0).any() or not torch.isfinite(probs).all():
        raise ValueError("Probabilities must be finite and non-negative.")

    tiny = torch.finfo(probs.dtype).tiny
    log_probs = probs.clamp_min(tiny).log()

    terms = torch.where(
        probs > 0,
        probs * log_probs,
        torch.zeros_like(probs),
    )

    return -terms.sum(dim=dim) / math.log(base)


def joint_entropy_summary(
    p_xy: torch.Tensor,
    base: float = 2.0,
) -> dict[str, torch.Tensor]:
    """
    Rows are X values; columns are Y values.
    p_xy[i, j] = P(X=x_i, Y=y_j).
    """
    p_xy = torch.as_tensor(p_xy, dtype=torch.float64)

    if p_xy.ndim != 2:
        raise ValueError("Expected a 2D joint-probability table.")
    if not torch.allclose(
        p_xy.sum(),
        torch.tensor(1.0, dtype=p_xy.dtype),
        atol=1e-12,
        rtol=1e-12,
    ):
        raise ValueError("Joint probabilities must sum to 1.")

    p_x = p_xy.sum(dim=1)
    p_y = p_xy.sum(dim=0)

    h_xy = entropy(p_xy, base=base)
    h_x = entropy(p_x, base=base)
    h_y = entropy(p_y, base=base)

    # Conditional entropies from the two-variable chain rule.
    h_x_given_y = h_xy - h_y
    h_y_given_x = h_xy - h_x

    return {
        "p_x": p_x,
        "p_y": p_y,
        "H(X)": h_x,
        "H(Y)": h_y,
        "H(X,Y)": h_xy,
        "H(X|Y)": h_x_given_y,
        "H(Y|X)": h_y_given_x,
    }

Применим её к таблице температуры и влажности:

p_tm = torch.tensor([
    [0.1, 0.2],  # cold
    [0.4, 0.1],  # mild
    [0.1, 0.1],  # hot
])

summary = joint_entropy_summary(p_tm)

for name, value in summary.items():
    print(f"{name}: {value}")

Ожидаемые ключевые значения:

p_x: tensor([0.3000, 0.5000, 0.2000], dtype=torch.float64)
p_y: tensor([0.6000, 0.4000], dtype=torch.float64)
H(X): 1.4855
H(Y): 0.9710
H(X,Y): 2.3219
H(X|Y): 1.3510
H(Y|X): 0.8365

В production-коде или экспериментальном ноутбуке полезно не только получить метрики, но и проверять структуру распределения:

result = joint_entropy_summary(p_tm)

assert torch.allclose(
    result["H(X,Y)"],
    result["H(Y)"] + result["H(X|Y)"],
)

assert torch.allclose(
    result["H(X,Y)"],
    result["H(X)"] + result["H(Y|X)"],
)

assert result["H(X|Y)"] <= result["H(X)"] + 1e-12
assert result["H(Y|X)"] <= result["H(Y)"] + 1e-12

Две крайние конструкции полезны как unit tests.

Независимые переменные. Если $p_{XY}=p_X{p}_Y^{\mathsf{T}}$, знание $Y$ не меняет распределение $X$, поэтому:

$$H(X\mid Y)=H(X).$$

p_x = torch.tensor([0.7, 0.3])
p_y = torch.tensor([0.25, 0.75])

p_independent = torch.outer(p_x, p_y)
independent = joint_entropy_summary(p_independent)

print(independent["H(X)"])
print(independent["H(X|Y)"])

Детерминированная зависимость. Если $Y=X$ для честного бинарного $X$, то после наблюдения $Y$ неопределённости о $X$ не остаётся:

$$H(X\mid Y)=0.$$

p_equal = torch.tensor([
    [0.5, 0.0],
    [0.0, 0.5],
])

equal = joint_entropy_summary(p_equal)

print(equal["H(X,Y)"])  # 1 bit
print(equal["H(X|Y)"])  # 0 bits
print(equal["H(Y|X)"])  # 0 bits

---

Итог

Из совместного распределения $p_{XY}$ можно систематически получить все нужные энтропийные величины:

$$H(X,Y)=-\sum _{x,y}p(x,y){\log }_{2}p(x,y),$$ $$H(X\mid Y)=\sum _{y}p(y)H(X\mid Y=y),$$ $$H(X\mid Y)=H(X,Y)-H(Y).$$

Главные ориентиры:

• совместная энтропия — неопределённость пары $(X,Y)$ как одного объекта;
• условная энтропия — средняя неопределённость одной переменной после наблюдения другой;
• $H(X\mid Y)$ и $H(Y\mid X)$ в общем случае различаются;
• энтропия при конкретном условии $H(X\mid Y=y)$ может быть больше безусловной $H(X)$, хотя усреднённая величина $H(X\mid Y)$ не превосходит $H(X)$;
• тождества

$$H(X,Y)=H(Y)+H(X\mid Y)$$

и

$$H(X,Y)=H(X)+H(Y\mid X)$$

служат одновременно определением, способом расчёта и сильной проверкой реализации.

В следующем уроке мы расширим это двухпеременное разложение на последовательности случайных величин и применим цепное правило энтропии — основу для анализа авторегрессивных моделей и источников данных.