< Previous | Contents | Next >
ГJi. П. ДИСКРЕТНЫЙ КАНАЛ С ШУМАМИ / 37
Очевидно, правильная поправка к количеству переданных данных равна количеству данных, отсутствующих в принятом сигнале, или иначе - неопределенности при приеме сигнала относи тельно того, что именно было в действительности передано. На ос новании предыдущих рассуждений относительно «энтропии» как меры неопределенности представляется рациональным использовать условную«энтропию» сообщения (при условии знания принятого сиг нала) в качестве меры этих отсутствующих данных. Как увидим ниже, такое определение будет правильным.
Следуя этой идее, действительная скорость передачи может быть найдена путем вычитания из скорости создания сообщений (т. е. «энтропии» источника) условной «энтропии» Ну(х)
Условная «энтропия» Н у(х) будет называться н.ен.адежн.остью.
Она измеряет среднюю неопределенность принятого сигнала.
В рассмотренном выше примере, если был принят нуль, то апостериорная вероятность того, что был передан нуль, равна 0,99, а что была передана единица,- 0,01. Если же была принята единица, то эти цифры поменяются местами.
Отсюда
с.и МР'1-1
с.и МР'1-1
с.и МР'1-1
Н у(х) = - (0,99 lcg 0,99 + 0,0l log0,01) = 0,081 двоичных единиц
или 81 двоичная единица в I сек. Можно сказать, что система передает со скоростью 1000-81 =919 двоичных единиц в I сек. В том крайнем cJiyчae, когда при передаче какого-то знака равно вероятен прием как О, так и 1, апостериорные вероятности равны
½, 1/2 И
Н (х=) _ ( !_ 1с _!+ _! 1с !_)= I двоичных единиц
11 2 g 2 2 g 2 символ
1
или 1000 двоичных единиц в 1 сек. Скорость передачи, как и сJ1едо вало ожидать, равна в этом случае нулю.
Следующая теорема дает непосредственную интуитивную ин терпретацию ненадежности и подтверждает, что она является един ственной подходящей мерой.
Рассмотрим систему связи и наблюдателя (или вспомогательный прибор), который может наблюдать как то, что передается, так и то. что принимается (с ошибками из-за шумов). Этот наблюдатель от мечает ьшибки в воспроизводимом сообщении и передает данные в точку приема через «канал коррекции», чтобы дать возможность в точке приема. исправить ошибки. .Схематически это показано на фиг. 7 '