Основы теории информации были заложены Клодом Шеноном в 1948 году в
лаборатории Белла. Эта теория оказалась настоящим сюрпризом, поскольку
все привыкли воспринимать информацию лишь качественно. Для наших целей
сжатия данных нам необходимо освоить только одно
теоретико-информационное понятие, а именно, энтропию. Под
энтропией символа а, имеющего вероятность Р, подразумевается количество
информации, содержащейся в а, которая равна — Р log2P.
Например, если вероятность Расимвола а равна
0.5, то его энтропия — ...
