Javascript must be enabled in your browser to use this page.
Please enable Javascript under your Tools menu in your browser.
Once javascript is enabled Click here to go back to �нтеллектуальная Кобринщина

Количество информации. Формула Шеннона

Формула Хартли определяет количество необходимой информации для выявления определенного элемента множества при условии, что все элементы равновероятны. Однако может быть так, что какие-то элементы более вероятны (чаще встречаются), а какие-то меньше. Например, в русском языке буква «а» употребляется чаще, чем буква «ю».

В случае, когда вероятность элементов не одинакова, для определения количества информации, достаточной для выявления элемента, используют формулу Шеннона. Ее можно получить из формулы Хартли.

k = logN (формула Хартли)

1/N – вероятность каждого исхода, если все они равновероятны.

-1/N * log1/N – вклад в k (общую неопределенность, количество информации) одного исхода.

При неравновероятных исходах пусть вклад каждого обозначается буквой P с индексным номером: 1, 2, 3, 4 …. N.

Получаем формулу:

k = -P1logP1 – P2logP2 – P3logP3 – … – PNlogPN

Чем больше k, тем больше информации содержится в системе. Максимальное значение k имеет лишь тогда, когда все исходы равновероятны.