< Previous | Contents | Next >
28 ЧАСТЬ I. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
ние а1 может создать х, который превращает 1 в 2, и эта линия дает вероятность этого х в данном случае. Линия обозначается группой из у1 символов, создаваемых четырехполюсником.
«Энтропия» выходного эффекта может быть вычислена как взвешенная сумма по всем состояниям. Если суммировать сна чала по . то получающиеся члены меньше или равны соответствую щим членам для а, следовательно, <<энтропйю> не возрастает. При соединим выход несингулярного четырехполюсника к обратному четырехполюснику. Если Н , Н и Н суть «энтропии» выходных эффектов соответственно источника, первого и второго четырех
полюсников, то Н > Н > Н; = Н'1 и, следовательно:
' н = н· ·
Пусть имеется система с ограничениями, наложенными на возможные последовательности того типа, который можно пред ставить линейным графиком фиг. 2. Если вероятности p<f} припи- саны различным линиям, соединяющим состояние i с состоянием
j, то эта система будет источником. Существует один частный способ назначить вероятности, который дает максимум «энтропии» (см. Приложение 4).
Теорема 8
Пусть система с ограничениями, рассматриваемая как канал, обладает пропускной способностью C=logW. Если положим
В- _z<s)
p(s=) }_ W ij
ij В1 '
где / 1 - длительность s-ro символа, ведущего от состояния i к
1}
состоянию j, а В; удовлетворяет условию
в.w
в.w
в.w
- {s)
В;= ij,
..:... J
s,J
то «энтропия» Н имеет максимум и равна пропускной спо.:о.: ности с.
Путем надлежащего назначения вероятностей переходов «энт ропия» символов в канале может быть доведена до максимума, равного пропускной способности канала.
8. ОСНОВНАЯ ТЕОРЕМА ДЛЯ КАНАЛА БЕЗ ШУМОВ
Проверим теперь правильность интерпретации величины Н, как скорости создания данных, путем доказательства того, что Н определяет пропускную способность канала, необходимую при наиболее эффективном кодировании.
