< Previous | Contents | Next >
26 ЧАСТц 1. СТАТИСТИЧЕС!<АЯ ТЕОРИЯ ПЕРЕдАЧИ СИГНАЛОВ --
где суммирование распространено по всем группам В1 из N-1 символов и по всем символам Sj. Тогда FN является монотонно убывающей функцией от N
N
F,v=NG,v-(N-I)GN-1, G,v = t- FN, FN <.GN
1
и
Все эти результаты получены в Прилож€нии 3. Они показывают, что ряд приближений к Н может быть найден путем рассмотрения однDй только статистической структуры последовательностей, ох ватывающих 1,2,... , N символов. F,v является наилучшим прибли жением. В самом деле, F,v есть «энтропия» N-го приближения к сточнику рассмотренного выше типа. Если статистическое вли яние, распростра яющееся больше чем на N символов, отсутст
:вует, т. е. если условная вероятность появления следующего символа, при условии знания предшествовавших (N - 1) сим JЗОЛОВ, не изменяется при ознакомлении с любыми символами, стоящими ранее, го F,v=H.
FN является, конечно, условной «энтропией>> следующего сим вола, когда известны предыдущие (N-1) символов, тогда как G,v- «энтропия>> на символ для групп из N символов.
Отношение «энтропии» источника к ее максимальному значе нию, которое она может иметь при тех же символах, называется относительной «энтропией» источника. Как будет показано ниже, это - максимальная сжатость, которая может быть достигнута кодированием при помощи того же самого алфавита.
Единица минус относительная «энтропия)} есть избыточность.
Избыточность обычного английского текста, если не рассматривать статистиtfескую структуру, относящуюся более чем к 8 буквам, составляет примерно 50%. Это значит, что когда пишут по-англий ски, то половина знаков текста определяется структурой языка и лишь половина выбирается по желанию пишущего.
Число 50% было найдено несколькими независимыми методами, которые все дают сходные результаты. Одним из таких методов (>ыло вычисление «энтропии» приближений к английскому тексту. Другой состоял в исключении из образцов английского текста некоторой части букв, после чего делалась попытка их восстановить. Если бы их удалось восстановить, когда 50% текста исключено, избыточность должна бы быть больше, чем 50%. Третий метод связан с некоторыми известными выводами криптографии.