< Previous | Contents | Next >
34 ЧАСТЬ 1. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
Этот двойной процесс кодирует первоначальное сообщение в те же самые символы, но со средним коэффициентом сжатия 7 / 8•
В качестве второго примера рассмотрим источник, дающий последовательность букв А и В с вероятностями р для А и q для В.
Если p<(q, имеем
Н = -logpP( l - p)t-p=
1-р
е
е
е
= - р log р (1 - р)---;- =
= plog --,;·
В этом случае можно построить хорошую систему кодирования сообщений в канале, передающем только О,1, путем посылки спе циальной последовательности, скажем 0000, для редкого симвьла А и затем последовательности, указывающей число букв В, следую щих за ним. Это чис.,10 может быть указано путем представления в двоичной системе, причем все числа, содержащие специаЛ'Ьную последовательность, исключаются. Все числа до 16 изображаются как обычно; 16 передается следующим после шестнадцати двоич ным числом, которое не содержит четырех нулей, а именно: 17=
=10001 и т. д.
Можно показать, что при р-0 кодирование приб.gижается к идеальному, если только длина специальной последовательности выбрана правильно.