Вывод логарифмической формы собственной информации из аддитивности и монотонности

Здравствуйте! Начинаем курс с самого малого объекта теории информации: не со средней неопределённости распределения, а с информации, принесённой одним наблюдённым событием. В этом модуле мы постепенно перейдём от этой величины к энтропии Шеннона, условной энтропии и цепным правилам.

Сегодняшняя цель фундаментальна: показать, что формула

$$I(x)=-\log P(x)$$

не является произвольным соглашением. Если мера «удивления» зависит от вероятности события, возрастает для более редких событий и складывается для независимых наблюдений, то она неизбежно имеет логарифмический вид — с точностью до выбора масштаба, то есть единицы измерения.

---

От «удивления» к функциональному уравнению

Пусть событие $X=x$ имеет вероятность

$$p=P(X=x).$$

Ищем функцию $s(p)$, которая измеряет собственную информацию, или surprisal, наблюдения этого события:

$$I(X=x)=s(P(X=x))=s(p).$$

Здесь уже заложено важное предположение: содержание информации зависит только от вероятности, а не от семантической метки события. Если модель считала токен Paris вероятностью $0.01$, то факт его появления несёт столько же self-information, сколько появление любого другого события с вероятностью $0.01$.

Потребуем от $s$ три естественных свойства.

1. Достоверное событие не сообщает нового.

   $$s(1)=0.$$

   Если событие ожидалось с вероятностью $1$, его наступление не меняет знания наблюдателя.

2. Редкое событие информативнее частого. Функция $s(p)$ должна быть строго убывающей по $p$:

   $$p_1<p_2⟹s(p_1)>s(p_2).$$

3. Независимые наблюдения должны складываться по информации. Если $A$ и $B$ независимы, то

   $$P(A\cap B)=P(A)P(B).$$

   Узнать оба результата должно означать получить сумму информации:

   $$s(P(A\cap B))=s(P(A))+s(P(B)).$$

   Поэтому для любых допустимых $p,q\in (0,1]$ необходимо

   $$s(pq)=s(p)+s(q).$$

Последнее равенство — центральное функциональное уравнение. Вероятности независимых событий перемножаются, а информация о них должна складываться. Логарифм — именно та операция, которая переводит произведение в сумму.

Обычная интуиция «редкое значит информативное» сама по себе ещё не фиксирует формулу. Например,

$$r(p)=\frac{1}{p}-1$$

тоже убывает по $p$ и даёт ноль при $p=1$. Но она не согласуется с композицией независимых наблюдений:

$$r\left(\frac{1}{2}\cdot \frac{1}{2}\right)=3,r\left(\frac{1}{2}\right)+r\left(\frac{1}{2}\right)=2.$$

То есть она неверно измеряет «объём» двух независимых фактов. Аддитивность резко сужает пространство возможных мер.

---

Вывод: монотонное решение обязано быть логарифмом

Теперь выведем форму $s$ аккуратно, не просто проверим её постфактум.

Из аддитивности сразу следует нормировка для достоверного события:

$$s(1)=s(1\cdot 1)=s(1)+s(1),$$

откуда

$$s(1)=0.$$

Чтобы превратить умножение вероятностей в сложение аргументов, введём новую функцию:

$$g(t)=s(e^{-t}),t\ge 0.$$

Это не трюк, а естественная замена координат: любая вероятность $p\in (0,1]$ единственным образом представляется как

$$p=e^{-t},t=-\ln p.$$

Подставим $p=e^{-u}$ и $q=e^{-v}$ в аддитивность:

$$\begin{array}{rl}g(u+v)& =s\left(e^{-(u+v)}\right)\\ & =s(e^{-u}{e}^{-v})\\ & =s(e^{-u})+s(e^{-v})\\ & =g(u)+g(v).\end{array}$$

Итак, $g$ удовлетворяет аддитивному уравнению Коши на неотрицательной полуоси:

$$g(u+v)=g(u)+g(v).$$

Само по себе уравнение Коши допускает патологические решения, если не накладывать никаких условий регулярности. Здесь регулярность уже даёт наша содержательная аксиома монотонности:

• $e^{-t}$ строго убывает по $t$;
• $s(p)$ строго убывает по $p$;
• следовательно, $g(t)=s(e^{-t})$ строго возрастает по $t$.

Монотонной аддитивной функции достаточно, чтобы получить линейность. Обозначим

$$c=g(1).$$

Тогда для натурального $n$

$$g(n)=ng(1)=nc.$$

Для рационального числа $m/n$ имеем

$$ng\left(\frac{m}{n}\right)=g(m)=mc,$$

значит,

$$g\left(\frac{m}{n}\right)=\frac{m}{n}c.$$

Наконец, рациональные числа можно приблизить к любому вещественному $t\ge 0$ снизу и сверху. Монотонность $g$ зажимает $g(t)$ между соответствующими значениями на рациональных приближениях. Поскольку на рациональных аргументах функция уже равна $ct$, получаем для всех $t\ge 0$:

$$g(t)=ct.$$

Возвращаемся к вероятности. Так как $t=-\ln p$,

$$s(p)=g(-\ln p)=-c\ln p=c\ln \frac{1}{p}.$$

Строгое убывание требует $c>0$. Следовательно, единственное семейство мер собственной информации, согласованных с аксиомами, имеет вид

$$\boxed{I(x)=c\ln \frac{1}{P(x)}}$$

для некоторой положительной константы $c$.

Эту константу удобнее записать как выбор основания логарифма. Если выбрать $b>1$ так, что

$$c=\frac{1}{\ln b},$$

то получаем привычную форму:

$$\boxed{I_b(x)=-{\log }_{b}P(x)={\log }_b\frac{1}{P(x)}.}$$

---

Масштаб информации: биты, наты и нормировка

После вывода остаётся свобода масштаба. Она не меняет сравнений и аддитивности, но меняет численное значение информации.

Основание $b$	Нормировка	Единица
$2$	$I_2(1/2)=1$	бит
$e$	$I_e(1/e)=1$	нат
$10$	$I_{10}(1/10)=1$	хартли

В ML наиболее часто встречаются две конвенции:

• наты, когда loss записан через естественный логарифм, как в большинстве библиотек и выводов правдоподобия;
• биты, когда важна интерпретация через двоичные вопросы, сжатие или bits per token.

Перевод между ними — обычное изменение масштаба:

$$I_{\text{bits}}(x)=\frac{I_{\text{nats}}(x)}{\ln 2}.$$

Например, событие с вероятностью $0.01$ имеет информацию

$$-{\log }_2(0.01)\approx 6.64$$

бит, или

$$-\ln (0.01)\approx 4.61$$

ната. Это одно и то же наблюдение в разных единицах.

Важны и граничные случаи:

$$I(1)=-{\log }_{b}1=0.$$

При $p\to 0^{+}$ собственная информация неограниченно растёт:

$$\underset{p\to 0^{+}}{\lim }-{\log }_{b}p=+\infty .$$

Строго говоря, $\log 0$ не определён. Интерпретация предела такова: если модель приписала реализовавшемуся событию нулевую вероятность, наблюдение бесконечно сильно противоречит модели. В реальных нейросетевых моделях softmax обычно оставляет вероятности положительными, но численно очень малые вероятности уже соответствуют большим отрицательным log-probability и большим loss.

---

Почему это уже язык ML

Для модели, предсказывающей категориальное распределение $q$, собственная информация наблюдённого класса $y$ равна

$$-\log q(y).$$

Это и есть negative log-likelihood для одного наблюдения. Она не оценивает качество модели в среднем и ещё не является энтропией: это стоимость конкретного факта, который модель заранее считала вероятностью $q(y)$.

Логарифм особенно важен для последовательностей. Если авторегрессионная модель задаёт вероятность текста через условные вероятности, то вероятность всей последовательности равна произведению:

$$p(x_{1:T})=\prod _{t=1}^{T}p(x_t\mid x_{<t}).$$

Взяв отрицательный логарифм, получаем сумму token-level surprisals:

$$-\log p(x_{1:T})=\sum _{t=1}^T-\log p(x_t\mid x_{<t}).$$

Здесь не предполагается независимость токенов: зависимость учтена через условный контекст $x_{<t}$. Полный разбор этого равенства для language models появится в модуле об энтропии и оценке языковых моделей; пока существенен принцип: логарифм делает вероятностную композицию аддитивной и поэтому превращает likelihood последовательности в удобную сумму оптимизационных слагаемых.

Небольшая проверка на Python фиксирует это свойство численно:

import math

def surprisal(p: float, base: float = 2.0) -> float:
    if not 0.0 < p <= 1.0:
        raise ValueError("p must lie in (0, 1].")
    return -math.log(p, base)

p_a = 0.4
p_b = 0.1

joint = surprisal(p_a * p_b)
separate = surprisal(p_a) + surprisal(p_b)

print(surprisal(0.5))   # 1.0 bit
print(surprisal(0.01))  # about 6.64 bits
print(joint, separate)  # equal up to floating-point error

assert math.isclose(joint, separate, rel_tol=1e-12)

Здесь joint измеряет информацию совместного наступления двух независимых событий с вероятностями $0.4$ и $0.1$. Важно не подменять это утверждение независимыми маргиналами, когда события зависимы. Для зависимых событий разложение должно использовать условную вероятность:

$$I(A\cap B)=-\log P(A)-\log P(B\mid A).$$

Именно эта идея позднее станет основой условной энтропии и цепного правила.

---

Итог

Собственная информация события с вероятностью $p$ определяется не эстетическим выбором формулы, а структурой требований:

• она зависит от вероятности события;
• редкие события должны приносить больше информации;
• информация независимых наблюдений должна складываться;
• монотонность исключает патологические решения функционального уравнения.

Поэтому неизбежно получается семейство логарифмических мер:

$$I_b(x)=-{\log }_{b}P(x).$$

Основание задаёт единицу: чаще всего биты при $b=2$ и наты при $b=e$. Для ML это тот же объект, который на одном наблюдении выглядит как negative log-likelihood, а для последовательностей превращает произведение вероятностей в сумму token-level вкладов.

В следующем уроке мы усредним self-information по всем возможным исходам распределения и получим энтропию Шеннона — среднюю неопределённость в битах или натах.