< Previous | Contents | Next >
_гл. II. ДИСКРЕТНЫЙ КАНАЛ с ШУМАМИ 39
рости передачи по каналу коррекции. Если пропускная спососн:>сть этого канала меньше, чем величина ненадежности, правая часть будет больше нуля и Н 112(х) >О. Но это есть неопределенность того, что было передано, когда известен как принятый сигнал, так и
сигнал коррекции. Если эта неопределенность больше нуля, ча стота ошибок не может быть сколь угодно малой.
Пр им ер. Предположим, что в последовательности двоичных чисел ошибки происходят хаотически, вероятность того, что цифра неправильна, равна р, а вероятность того, что она правильна, рав на q= 1-р. Эти ошибки могут быть исправлены, если известно их положение. Таким образом, канал коррекции должен давать только сведения об этих положениях. Это сводится к передаче сообщений источника, который дает двоичные цифры с вероят ностью р для 1 (правильно) и q для О (неправильно). Необходимая пропускная способность канала коррекции
- [р Iogp +q lcg q] равна ненадежности исходной системы.
Скорость передачи R может быть записана в двух различных
формах на основании приведенных выше тождеств. Имеем
R = Н( ) _:_ Н 11(х) = Н(у) - Нх(У) = Н(х) + Н(у) - Н(х, у).
Первое выращ,ение всегда интерпретируется как количество пере данных данных за вычетом неопределенности того, что было передано. Второе выражение измеряет количество принятых дан_ных за вы четом той части, которая обусловлена шумами. Третье выражение есть сумма количества переданных и количества принятых данных за вычетом «энтропии» совместных событий. Так.им образом, все три выражения имеют определенное интуитивное значение.
Пропускная способность канала с шумами должна быть макси мальн возможной скоростью передачи, т. е. скоростью при_долж ном согласовании источника с каналом.
Определим поэтому пропускную способность канала как
C=max [Н(х)- Н 11(х)],
где максимум взят по отношению ко всем возможным источникам сообщений, которые могут быть использованы как входные источ ники канала. Если канал без шумов, то Н 11( х)= О. Тогда это опре деление эквивалентно тому, которое всегда давалосьдля канала без шумов, ибо по теореме 8 максимум «энтропии» для канала равен его ,;пропускной способности.
12. ОСНОВНАЯ TF.OPEMA ДЛЯ ДИСКРЕТНОГО КАНАЛА
ПРИ НАЛИЧИИ ШУМОВ
Мсжет показаться неожиданным, что рассматривается вопрос об определенной пропускной способности канала при наличии шу мов, так как в этом случае невозможно передавать сооfщения с до-