< Previous | Contents | Next >

32 ЧАСТЬ I. СТАТИСТИЧЕСКА.Я ТЕОРИ.Я ПЕРЕДАЧИ: СИГНАЛОВ "'

ществляющий 'Кодирование, согласовывает источник с каналом в статистическом смысле. Источник, рассматриваемый через четы­ рехполюсник со стороны канала, должен иr,;еть ту же самую стати­ стическую структуру, какую имеет источник, обеспечивающий максимум «энтропии» в канале.

Содержание теоремы 9 сводится к то у, что, хотя точное согла­ сование в общем случае невозможно, к нему можно подойти сколь угодно близко. Отношение действительной скорости передачи к пропускной способности канала может быть названо эффектив­ ностью кодирующей системы. Она, конечно, равна отношению дей­ ствительной «энтропии» канальНJ;,IХ символов к максимально воз­ можной «энтропии».

Вообще говоря, идеальное или близкое к этому кодирование требует длительных временнь1х задержек в передатчике и при­ емнике. В случае отсутствия шумов, который и рассматривается, главное назначение этих задержек состоит в рациональном согла­ совании вероятностей с соответствующими длительностями после­ довательностей. При хорошем коде логарифм обратной величины вероятности длинного сообщения должен быть пропорционален длительности соответствующего сигнала; действительно

--""'-·-

log1-

--1- - с

должно быть мало для всех длинных сообщений за исключением

их небольшой части.

Если источник может давать только одно определенное сообще­ ние, его «энтропия» равна нулю, и канал не нужен. Например, счетная машина, спроектированная для вычисления последова­ тельных цифр числа 1t, дает определенную последовательность без всяких элементов случайности. Для «передачи» этой последова­

тельности в другую точку не нужно никакого канала. Во второй точке можно построить другую машину, вычисляющую ту же са­ мую последовательность. Однако это может быть непрактично. В этом случае можно игнорировать статистические сведения об источнике или только часть их. Можно рассматривать цифры числа 1t как случайную последовательность и сконструировать систему, способную передавать любую последовательность цифр. Подобным же образом можно использовать некоторые из ста­ тистических сведений об английском тексте при составлении кода. В этом случае рассматривается источник с максимальной «энтро­ пией», подчиненный статистическим условиям, которые пожелали сохранить. «Энтропия» этого источника определяет необходимую и достаточную пропускную способность канала. В примере с числом 1t оставлены только те сведения, что все цифры выбираются из ряда 0,1,... ,9. В случае английского текста можно пожелать использо-

< Previous | Contents | Next >