< Previous | Contents | Next >
ПРИЛОЖЕНИЯ 83
Для доказательства теорем 5 и 6 прежде всего заметим, что F N монотонно убывает, так как увеличение N увеличивает индекс условной «энтропии». Простая подстановка значения Рв (Sj) в фор
t
мулу для FN показывает, что
рN =NGN-(N-1.)GN- 1 •
Суммируя по всем N, получим
GN =ir LFN.
Следовательно, G.v:;;,,. FN и GN монотонно убывает. Они должны также сходиться к одному и тому же пределу. Пользуясь теоремой 3, видим, что
Приложение 4
Допустим, что имеется ряд ограничений, наложенных на после довательности символов, причем последовательности - с конеч ными состояниями и поэтому могут быть представлены линейным· графиком, как на фиг 2. Пусть L\j> будут длительности различных символов, которые могут случиться при переходе из состояния i в состояние j. Какое распределение вероящостей Pi для различных состояний и вероятностей pjj> выбора символа s в состоянии i, переходящем в состояние j, дает максимальную скорость создания сообщений при данных ограничениях? Ограничения определяют дискретный канал, а максимальная скорость должна быть меньше или равна пропускной способности С этого канала. Действительно, если все группы большой длительности равновероятны, то в ре зультате получилась бы именно эта скорость, а если они возмо ны, то такая скорость была бы наилучшей. Ниже будет показано, что эта <;корость может быть получена путем надлежащего выбора Р, и rU>
Рассматриваемая скорость равна
_ i Pif}Iogp\j>
i, J,'-$--,--,----,--,---
--"t, Pip< .>z<f)
4',,J tJ IJ
i, j 1 s
Пусть
р (s.).
В· -z<f)
W
W
W
=-J- IJ
IJ В1