§. № Информационный вес символа
Что нужно знать для определения информационного веса символа алфавита некоторого естественного или формального языка?
Решение
Нужно знать мощность алфавита , то есть сколько различных символов может встретиться в сообщении. Для каждого символа подбирают отдельное двоичное кодовое слово одинаковой длины. Из двоичных разрядов составляется разных слов, поэтому должно выполняться . Минимальная целая разрядность , при которой кодов хватит для всего алфавита, и есть информационный вес символа в битах. Например, для алфавита из символов , значит, вес символа равен битам.
Ответ
Нужно знать мощность алфавита и определить минимальное , для которого .
