< Previous | Contents | Next >
ГЛ. 1. ДИСКРЕТНЫЕ СИСТЕМЫ ВЕЗ ШУМОВ 15
Можно себе представить, что дискретный источник создает сообщение символ за символом. Последовательные символы вы бираются соответственно некоторым вероятностям, зависящим, вообще говоря, как от предыдущего выбора, так и от данного рас сматр.иваемого символа, о котором идет речь.
Математическая модель системы, которая создает такую последо вательносtь символов, управляемую совокупностью вероятностей, известна под названием стохастического процесса. Поэтому можно считать, что дискретный источник может быть представлен неко торым стохастическим процессом. Обратно, любой стохастический nроцесс, который дает· дискретну19 последовательность символов, выбираемых и:! конечного ряда, может рассматриваться как описы вающий некоторый дискретный источник. Это включает такие случаи, 1<ак:
1. Источники непрерывных сообщений, которые превращены
в дискретные путем квантования. Например, квантованная речь. от передатчика с кодовой импульсной модуляцией или квантованный телевизионный сигнал.
2. Математические случаи, когда просто абстрактно опреде ляется некоторый стохастический процесс, создающий последов тельность символов ,Приведем примеры источников последнего типа.
А. Пусть имеются пять букв А, В, С, D, Е, которые выбираются с вероятностью 0,2 каждая, независимо от предыдущей буквы. Это привело бы к последовательности такого примерно вида:
BDCBCECCCADCBDDAECEEA
А В В D А ЕЕ С А СЕ ЕВ А ЕЕ.С ВСЕ А D
Этот пример был построен при помощи таблицы случайных чисел.
Б. Используются те же пять букв, но с вероятностями 0,4, О,1, 0,2, 0,2, ф, l с_рответственно. Следующие друг за другом буквы выбираются ;независимо от предыдущих. Типичное сообщение от такого источни;tа имеет вид
AAACDCBDCEAADADACEDA EADCABEDADDCECAAAAAD
f
В. tолее сложная структура получается, если последующие символы не выбираются независимо, так что их вероятности за:. висят от предшествующих букв. В простейшем случае выбор за висит только от непосредственно предшествующей буквы, а не от ранее стоящих букв.Тогда статистическая структура может быть описана набором вероятностей перехода P;{j), т. е. вероятностей того, что за буквой i последует буква j. Индексы i и j охватывают все возможные символы. Другой эквивалентный способ описания структуры состоит в задании вероятносtей двухбуквенных сочета-