< Previous | Contents | Next >
ГЛ. 11. ДИСКРЕТНЫЙ КАНАЛ С ШУМАМИ 41'
Не существует способа кодирования, обеспечивающего ненадеж ность меньшую, чем Н-С.
Метод доказательства первой части этой теоремы состоит не в указании способа кодирования, обеспечивающего требуемые свойст f, , а в доказательстве того, что такой код должен сущест вовать ..в_ определенной группе кодов. В действительности частота ошибок по этой группе усредняется, и будет показано, что это сред нее значение может быть сделано меньше, чем е. Если среднее зна чен-ие совокуuности чисел меньше, чем е, то в ней должно суще ствовать, по крайней мере, одно число, которое меньше е. Это и устанавливает искомый результат.
Пропускная способност\ анала с шумами была определена как
С= ml:I [Н(х)-,Ну(х)],
где х относится ко входу, а у - к выходу. Максимум отыскивается по всем источникам, которые могут быть использованы на входе канала. Если максимум в действительности не достига·ется ни при каком источнике, то пусть S11 означает источник, обеспечивающий приблизительно максимальную скорость.. Предполагая, что S 0 используется как источник на входе канала, рассмотрим возможные передаваемые и принимаемые последовательности бо:11ьшой дли тельности Т. Можно утверждать следующее:
1. Передаваемые последовательности распадаются на два класса: класс с большой вероятностью, содержащий около 2тн,х\ членов, и остающиеся последовательности с малой общей вероятностью.
2. Аналогично и принимаемые последовательности распадаются на высоковерqятную совокупность приблизительно из 21 HIY > членов и маловероятную совокупность из остальных последователь- ностей. •
3. Каждый высоковероятный выходной эффект может быть создан примерно 2тuyix> входными эффектами. Возможность всех остальных случаев имеет малую полную вероятность.
4. Каждый высоковероятный входной эффект может привести примерно к 2тнх<У> выходным эффектам. Все другие результаты имеют малую полную вероятность.
Все е и о, связанные в этих утверждениях со словами «малый»
и «приблизительно», стремятся к нулю, когда Т заставляем увели чиваться, а свойства S0 приближаем к свойствам оптимальног() источника.
Фиг. 9 иллюстрирует сказанное. На графике входные последо вательности представлены точками слева, а выходные - точками справа. Расходящиеся линии («веер») наверху изображают ряд возможных случаев для типичного выходного эффекта. Нижний
«веер» представляет возможные случаи для типичного входного эф фекта. В обоих примерах отброшены последовательности «малой вероятности».