< Previous | Contents | Next >
rл. 1. ДИСI<РЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ 33
вать статистическую экономию, возможную благодаря знанию ча стот букв, но ничего больше. Источник с максимальной «энтропией» будет тогда первым приближением к английскому тексту и его
«энтропия» определит необходимую пропускную способность ка
нала.
В качестве простого примера использования некоторых из по лученных результатов рассмотрим источник, создающий последо вательность букв, выбранных из ряда А, В, С, D с вероятно стями 1; 2, 1 4 , 1/ 8 , 1/ 8 , причем последовательные символы выбираются независимо. Имеем
Н= _ ( .!.1 0 !.+. !_1 0 !+_ !_1 0 !_) _ двоичных единиц
2 g 2 2 - 4 g 2 4 8 g 2 8 - 4 символ
Таким образом, для кодирования сообщений этого источника двоичными знаками в пределе достаточно в среднем ¼ знака на
символ.
В этом случае можно действительно достигнуть предельного значения, применяя следующий..код(полученный по_методу второго доказательства теоремы 9):
А о
в 10
с 110
D 111.
Среднее число двоичных знаков, применяемых для кодирования последовательности из N символов, будет
Легко видеть, что двоич·ные знаки О, 1 имеют вероятности ½,
½, так что. «энтропия» для кодированных последовательностей равна одной двоичной единице на символ. Так как в среднем имеем 7 / 4 двоичных знаков на букву оригинала, то «энтропия» на единицу времени будет той же самой. Максимально возможная с<энтропия» для первоначального ряда равна log24=2 и имеет место, когда А, В, С, D обладают вероятностями 1 / 4, 1/ 4, 1/ 4 , 1/ 4• Отсюда относительная «энтропия» равна 7 / 8• Мы можем перевести двоичные последовательности в первоначальный ряд сцмволов в соотношеIJИИ
2 к 1 по следующей таблице:
00 А'
01 В'
10 С'
11 D'
