< Previous | Contents | Next >
30 ЧАСТЬ 1. СТАТИСТИЧЕСI<АЯ ТЕОРИЯ ПЕРЕДАЧJi.1; СИГНАЛОВ
ностей для всех маловероятных сообщений. Для этоrо потребуется
Т1 = (- + Cfl) N,
где q> мало.
Средняя скорость передачи символов сообщения в 1 с ек►
будет тоrда больше, чем
[ (_1
о) - +о 1 ]- 1 = [ (1 - о) ( + л) + а ( f- <fl) ]- 1
При возрастании No, л и Cfl стремятся к нулю, а скорость прибли
жается к
с
--:Г.
Друrой подход к такому кодированию и иной метод дЬказа тельства теоремы состоят в следующем. Расположим сообщения длиной N в порядке убывания вероятностей, и пусть эти вероят ности будут Р1;;;. Р2> р3....-;,.рп.
=
=
=
s-1
Пусть Ps Pt; это значит, что Ps есть накопленная вероят-
ность вп' лоть до P1s-i включительно. Произведем сначала кодирq13_ание- по двоичной системе. Кодовая комбинация для сообщения s получает ся путем разложения Рs как двоичного числа. Разложение будет содержать ms позиций, где ms есть целое число, удовлетворяющее соотношению
Таким образом, высоковероятные сообщения представляются короткими кодовыми комбинациями, а маловероятные - длин ными. Из этих неравенств вытекает
1
-2;,s, -<-Ps < 2тs- 1 ·
Новая комбинация для Ps будет отличаться от всех последующих одним или более из своих ms знаков, так как все остающиеся Р1,
по краиu неиu
мере, на -- 1 б ольше, и потому их двоичное разложе-
2тs
ние отличается первыми ms знаками. Следовательно, все кодовые комбинации различны, и по ним можно восстановить сообщение. Если кана111ьные последовательности не всегда являются после довательностями двоичных знаков, они моrут быть записаны дво ичными знаками произвольным образом, а двоичный код пре образован в сигналы, годные для канала.
