§ № Алфавитный подход к измерению информации
В чём состоит суть алфавитного подхода к измерению информации? Что такое бит с точки зрения алфавитного подхода?
Решение
При алфавитном подходе сообщение рассматривают как последовательность символов некоторого алфавита. Его информационный объём зависит от числа символов и информационного веса одного символа , а не от смысла текста: . При равномерном двоичном кодировании алфавита мощности выбирают такое целое , чтобы ; когда используются все кодовые комбинации, . Один двоичный разряд принимает одно из двух значений, или , поэтому его информационный вес равен биту.
Ответ
Алфавитный подход измеряет объём по числу и весу символов: . Бит — информационный вес одного двоичного разряда.