Энтропия

Определять распределения, максимизирующие энтропию при фиксированном конечном носителе.

Проверять существование префиксного кода с помощью неравенства Крафта—Макмиллана.

Связывать ожидаемую длину оптимального кода с энтропией источника.

Строить код Хаффмана для заданного распределения и измерять его избыточность.

Реализовать упрощённое арифметическое кодирование для дискретного источника.

Оценивать размер типичного множества с помощью асимптотического свойства равновероятности.

Оценивать энтропийную скорость последовательности по результатам практического сжатия.

Разлагать cross-entropy на энтропию истинного распределения и KL-дивергенцию.

Доказывать неотрицательность KL-дивергенции с помощью неравенства Йенсена.

Сравнивать последствия минимизации прямой и обратной KL-дивергенции на мультимодальных распределениях.

Вычислять Jensen—Shannon divergence и сопоставлять её свойства со свойствами KL-дивергенции.

Вычислять взаимную информацию из совместного и маргинальных распределений.

Преобразовывать взаимную информацию между эквивалентными формами через энтропии и KL-дивергенцию.

Применять неравенство обработки данных к цепочке представлений модели.

Вычислять дифференциальную энтропию стандартных непрерывных распределений.

Объяснять зависимость дифференциальной энтропии от замены координат.

Доказывать максимальность энтропии гауссовского распределения при фиксированной дисперсии.

Оценивать дискретную энтропию по выборке и измерять смещение plug-in оценки.

Применять поправку Миллера—Мэдоу к оценке дискретной энтропии.

Оценивать взаимную информацию с помощью дискретизации и анализировать чувствительность к разбиению.

Решать задачу максимизации энтропии при линейных ограничениях методом множителей Лагранжа.

Выводить экспоненциальную форму распределения из принципа максимума энтропии.

Выводить распределение Гиббса из ограничения на среднюю энергию.

Вычислять среднюю энергию и энтропию через производные логарифма статистической суммы.

Связывать минимизацию свободной энергии с компромиссом между энергией и энтропией.

Различать математическое содержание энтропии Шеннона, Гиббса и термодинамической энтропии.

Выводить softmax cross-entropy как отрицательное лог-правдоподобие категориальной модели.

Реализовать численно устойчивую softmax cross-entropy через log-sum-exp в PyTorch.

Вывести градиент cross-entropy по логитам и интерпретировать его геометрию.

Представлять label smoothing как смешивание целевого распределения с высокоэнтропийным prior.

Измерять калибровку классификатора совместно с predictive entropy.

Разделять алеаторическую и эпистемическую неопределённость с помощью ансамбля моделей.

Сопоставлять predictive entropy и mutual information как критерии выбора примеров в active learning.

Разлагать лог-правдоподобие последовательности на токенные условные лог-правдоподобия.

Вычислять perplexity из средней token-level cross-entropy.

Сравнивать модели при разной токенизации с помощью bits per byte.

Оценивать условную энтропию следующего токена по позициям и типам контекста.

Диагностировать переуверенность языковой модели по энтропии и калибровке предсказаний.

Формулировать knowledge distillation как минимизацию cross-entropy между распределениями учителя и ученика.

Сравнивать прямую и обратную KL-дивергенцию в задачах дистилляции и аппроксимации распределений.

Вычислять влияние temperature scaling на распределение токенов.

Выводить зависимость энтропии softmax-распределения от температуры.

Реализовать greedy, temperature, top-k и nucleus sampling для одной модели.

Сравнивать стратегии декодирования по энтропии, разнообразию и качеству генераций.

Диагностировать схлопывание и чрезмерную случайность генерации по траектории токенной энтропии.

Спроектировать адаптивную стратегию декодирования на основе локальной энтропии модели.

Выводить градиент энтропийного бонуса для категориальной политики.

Формулировать maximum-entropy RL как регуляризованную задачу оптимизации политики.

Выводить soft Bellman backup для дискретного пространства действий.

Получать KL-регуляризованное обновление политики относительно reference policy.

Сопоставлять entropy bonus и KL penalty как способы управления исследованием и дрейфом политики.

Различать token-level и sequence-level оценки KL при постобучении языковой модели.

Диагностировать collapse, reward hacking и избыточный дрейф политики по entropy/KL-метрикам.

Реализовать небольшой PyTorch-эксперимент с KL-регуляризованным обновлением языковой политики.

Построить карту связей между surprisal, entropy, cross-entropy, KL-divergence, mutual information, perplexity и free energy.

Создать PyTorch-ноутбук для измерения entropy, cross-entropy, KL и mutual information на синтетических распределениях и выходах модели.

Провести контролируемый эксперимент о влиянии temperature и KL-регуляризации на разнообразие и качество генерации.

Сформулировать границы применимости физических аналогий при объяснении информационной энтропии в ML.