< Previous | Contents | Next >
36 ЧАСТЬ 1. СТАТИСТИЧЕСI<АЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
описывающих источник и шумы. Соответственно этому может быть вычислен ряд различных «энтропий».
Во-первых, существует «энтропия» Н(х) источника или «энтро
пия» на входе канала (они равны, если передатчик не синrулярен).
«Энтропия» на выходе канала, т. е. «энтропия» принимаемого сиг нала, будет обозначаться через Н(у). В случае отсутствия шумов Н(у)=Н(х). «Энтропия» совместного ·события для входа и выхода будет обозначаться через Н(х, у). Наконец, имеются две условные
«энтропии» Н,(у) и Ну(х), «энтропия» на выходе при известном эффекте на входе, и наоборот.
Между этими величинами имеет место соотношение
Н(х, у)= Н(х) + Н,.(у) = Н(у) + Ну(х).
Все эти «энтропии» могут измеряться за 1 сек. или на символ.
11. НЕНАДЕЖНОСТЬ И ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА
При наличии шумов, вообще говоря, невозможно на основании принятого сигнала восстановить исходное сообщение или передан ный сигнал с полной определенностью. Однако имеются некоторые способы передачи сообщений, которые являются оптимальными в отношении борьбы с шумами. Эта задача и рассматривается ниже. Предположим, что имеется два возможных сигнала О и 1 и что передача осуществляется со скоростью в 1000 символов в 1 сек.
с вероятностями р0 = р1= - Таким образом, данный источник
создаt'т сообщения со скоростью 1000 двоичных единиц в 1 сек. Во время передачи шумы вносят ошибки таким образом, что в сред нем один из ста принятых сигналов неправилен (О вместо 1 или
1 вместо О).
Какова скорость передачи сообщений? Конечно, меньше, 'чем 1000 двоичных единиц в 1 сек., так как около одного процента принятых символов неправильны. Сразу же хочется сказать, что эта скорость составляет 990 двоичных единиц в 1 сек., т. е. просто вычесть число ошибок. Однако ·это неправильно, здесь не учиты вается, что получатель не знает, где именно .произошла ошибка. Можно рассмотреть крайний случай и предположить, что шумы столь велики, что принятые символы совершенно не зависят от пе реданных. ВерЬятность приема 1 равна ½ при передаче любого сообщения и аналогично для О. Тогда около половины всех при нятых символов будут правильными благодаря одной то.1ько слу чайности, и можно считать, что система способна передавать 500 двоичных единиц, в то время как в действительности данные вовсе не передаются. Можно было бы получить столь же «хорошую» передачу, отказавшись вообще от канала и подбрасывая монету
в точке приема.