Максимально-энтропийное распределение вероятностей

Helgus ~ µастер ~ Kласс: Это незавершённая статья по ивентологии и её применениям

В теории вероятностей, статистике и теории информации максимально-энтропийное распределение вероятностей является распределением вероятностей, чья энтропия является, по крайней мере, столь же большой, как и у всех других членов указанного класса распределений.

Если ничего не известно о распределении за исключением того, что оно принадлежит определенному классу, то максимально-энтропийное распределение вероятностей из этого класса часто выбирается как дефолт (неплатеж) в соответствиии с принципом максимальной энтропии. Оправдание двойное: во-первых, максимизация энтропии минимизирует количество априорной информации, содержащейся в распределение; во-вторых, многие физические системы имеют тенденцию изменяться по направлению к состояниям с максимальной энтропией в течение долгого времени.

Примеры максимально-энтропийных распределений вероятностей

Задано среднее: экспоненциальное (показательное) распределение и распределение Пуассона

Среди всех непрерывных распределений вероятности на $[0,\infty)$ и средним $\mu$, экспоненциальное распределение с параметром $\lambda = 1/\mu$ имеет наибольшую энтропию.

Среди всех лог-вогнутых распределений вероятности с заданным средним распределение Пуассона имеет наибольшую энтропию.

Заданы среднее и дисперсия: нормальное распределение

Нормальное распределение $N(\mu, \sigma^2)$ имеет максимальную энтропию среди всех вещественно-значных распределений с данным средним $\mu$ и дисперсией $\sigma^2$. Поэтому, если все, что Вы знаете о распределении, — это среднее и дисперсия, то «разумно» предположить, что распределение нормально.

...продолжение следует...