< Previous | Contents | Next >
ГЛ. 1. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ 25
накопить полную вероятность q для взятых нами последователь ностей.
Теорема 4
1m N = ,
1m N = ,
1m N = ,
1. log n(q) Н
N-oo
когда. q не равно нулю или единице.
log п( q) можно истолковать как число двоичных единиц, требуе мых для описания последовательности, когда рассматриваются только наиболее вероятные последовательности с общей вероят-
ностью q. Тогда log ;<ч) есть число двоичных единиц на символ,
необходимых для описания последовательностей. Теорема гласит, что для больших N оно не зависит от q и равно Н. Быстрота ·воз• растания логарифма числа сравнительно вероятных последователь ностей определяется величиной Н, независимо от истолкования термина «сравнительно вероятный». Благодаря этим результатам, доказанным в Приложении 3, можно в большинстве случаев рас сматривать длинные последовательности, как если бы их было 2нN, каждая с вероятностью 2-нN_
Следующие две rеоремы показывают, что Н и Н' могут быть определены предельными переходами непосредственно из ста тистики последовательностей сообщений без рассмотрения веро ятностей состояний и вероятностей нереходов между состоя ниями.
Теорема 5
Пусть р(В1) - вероятность появления на выходе источника последовательности символов В1• Пусть
GN=--1;v p(B;)logp(B;),
i
где суммирование распространяется на все последовательности В1, содержащие N символов. Тогда GN является монотонно убы вающей функцией от N и
Теорема 6
Пусть р(В1, Si) - вероятность появления последовательности
в1, сопровождаемоиu
символом S j, а р81
(Si.) =
р(В;, Sj)
р(В;)
- условная
вероятность того, что S; следует за В1• Пусть
FN=
у
-•,j
p(B 1,Si ) log p8i (Si )'
