< Previous | Contents | Next >
ГЛ. I. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ 19
она будет продолжаться бесконечно согласно своей статистиче ской структуре.
Для примера можно взять два процесса, описанных выше, и
предположить р1 = 0,2 и Р2=0,8. Последовательность от смешан ного источника
L =0,2 L1+О, L2
может быть получена путем выбора первым L1 f!ЛИ L2 с вероятно стями 0,2 и 0,8, а затем создания последовательности, определенной этим выбором.
Если не оговорено противное, то будем предполагать, что хkточ
ник является эргодическим. Такое предположение позволяет ото ждествлять средние значения, нзятые по последовательности, со средними значениями, взятыми по совокупности возможных последовательностей (вероятность отклонения равна нулю). На пример, относительная частота буквы А в частной бесконечной последовательности будет с вероятностью единица равняться ее относительной частоте в совокупности посл довательностей.
Если Р1 - вероятность состояния i; а p;(j) - вероятность пе рехода в состояние j, то, чтобы процесс был стационарным, Pi должно, очевидно, удовлетворять условиям равновесия
Pi= P1 p;(j).
i
В эргодическом случае можно показать, что при любых начальных условиях вероятности Р j{N) пребывания в состоянии j после N символов приближаются к равновесным значениям при N -+ ао .
5. ВЫБОР, НЕОПРЕДЕЛЕННОСТЬ И «ЭНТРОПИЯ:•
Дискретный источник сообщений был представлен выше в виде цепи Маркова. Возникает вопрос, можно ли определить в .!1JИНЫ, которые измеряли бы в определенном смысле, сколько "д! х
«создаст» такой процесс, или лучше, с какой скоростью «создаю,-ся» данные? ·-)(1?
Пусть имеется набор возможных событий, вероятности появле ниs, которых суть р1 , р2, ••• , рп•Эти вероятности известны, но это все, что знаем относительно того, какое произойдет событие. Можно ли найти меру того, чему равна «возможность выбора» или какова неопределенность исхода при выборе события из этой группы? Если такая мера существует,- обозначим ее Н(р1 ,Р2, ••• р.,.),
то целесообразно потребовать, чтобы она обладала след,.,. ·чми
·свойствами:
1. Н должна быть непрерывн относительно Р;·
n
n
n
2. Если все р1 одинаковы, р.= .!.. , то Н должна быть монотонно
I
возрастающей функцией от п. В случае равновероятных событий