В теории информации информация может рассматриваться как уменьшение неопределенности наших знаний об окружающем мире. Получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности.
Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации («да» или «нет», 0 или 1).
Неопределенность знаний о некотором событии - это количество возможных результатов события.
Таким образом, с точки зрения на информацию как на снятую неопределенность количество информации зависит от вероятности получения данного сообщения. Причем, чем больше вероятность события, тем меньше количество информации в сообщении о таком событии.
Иными словами, количество информации в сообщении о каком-то событии зависит от вероятности свершения данного события.
Наиболее просто определить количество информации в случае, когда все исходы события могут реализовать с равной долей вероятности. В этом случае для вычисления информации используется формула Хартли, которая была получена в 1928 году и имеет вид:
2I = N или I = log2 N, где I - количество информации, N - количество равновероятных событий (число возможных выборов).
Иногда формулу Хартли записывают в другом виде. Так как наступление каждого из N возможных событий имеет одинаковую вероятность p = 1/N, то N=1/p и формула имеет вид:
I = log2(1/p) = log21- log22 p=0- log2 p=- log2 p.
В более сложной ситуации, когда исходы события ожидаются с разной степенью уверенности, требуются более сложные вычисления по формуле Шеннона:
I = p1 log
2
(1/ p
1
) + p
2
log
2
(1/ p
2
) + . . . + p
N
log
2
(1/ p
N ) или
I= -( p 1
log
2
p
1
+ p
2
log
2
p
2
+ . . . + p
N
log
2
p
N ), где I - количество информации, N - количество возможных событий, Pi - вероятность отдельных событий
Очевидно, что Хартли является общей формулы Шеннона, так как при равновероятных событиях p1=p2=...= pN=1/N.