< Previous | Contents | Next >
24 ЧАСТЬ I. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕдАЧИ СИГНАЛОВ
выбрано 2, то они будут выражены в двоичных единицах на символ или за секунду.
Если последовательные символы независимы, то Н просто раа
няется - Р; lcg Р;, rде Р;- вероятность символа i. Предполо жим, что в этом случае мы рассматриваем длинное сообщение из N символов. Оно будет содержать с большой вероятностью около p1N появлений первого символа, p2N появлений второго и т. д. Отсюда вероятность данного частного сообщения будет при ближенно равна
или
р -- p1P,N p2P1N•••
logp = NLpllog Р;•
i
1ogp=-NH,
log1-
H---vр-·
Поэтому Н приближенно равна логарифму обратной величины вероятности типичной длинной последовательности, деленному на число символов в последовательности. Тот же результат сохра няется и для любого источника.
Формулируя более точно, имеем (см. Приложение 3):
Теорема 3
Для любых заданных е>О и о>О можно найти такое N0, что
последовательности любой длины N -:;;::.N0 распадаются на два класса:
1. Группа последовательностей, общая вероятность которых меньше, чем е.
2. Остаток, все члены которого обладают вероятностями, удовлетворяющими неравенству
llog _!_
llog _!_
llog _!_
---f--н <о.
log 1 -
Другими словами, почти достоверно, что -i/---- весьма бли зко к Н, когда N велико.
Близкий результат справедлив для любого числа последователь ностей с различными вероятностями.
Рассмотрим опять последовательности длины N. Расположим их в порядке уменьшения вероятностей. Введем n(q) - числ() последовательностей, которые мы должны взять из этой совокуп ности, начиная с наиболее вероятной последовательности, чтобы
