< Previous | Contents | Next >
ГЛ. 1. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ 23
Она равна
Н х(У) = - p(i, j) log pzU).
i.J
Эта 5.еличина показывает, какова в среднем неопределенн::,сть зна чения у при известном х. Подставляя значение p;(j), получим
Нх(У)= - p(i, j) log p(i,j)+ p(i,j) log p(i,j) =Н(х,у)- Н(х)
i,J l,j j
или
Н(х, у)= Н(х) + Нх(у).
Неопределенность (или «энтропия») совместного события (х, у) есть неопределенность события х плюс неопределенность события у, когда х известно.
6. Из 3 и 5-ro пунктов имеем
Н(х) +Н(у) > Н(х, у) = Н(х) + Нх(у).
Отсюда
Н(у) >- Нх(у).
Неопределенность события у никогда не возрастает вследствие знания события х. Она уменьшается, если только события х и у не являются независимыми.- В противном случае она не изме няется.
6. «ЭНТРОПИЯ» l'IСТОЧНИКА СООБЩЕНИЙ
Рассмотрим дискретный исто"lник с конечным числом состояний, вроде рассмотренных выше. Для каждого возможного состояния j имеется совокупность вероятностей pi(j) создания различных воз можных символов j. Для каждого состояния сущест _ует «энтропия» Н1• «Энтропия» источника определяется как среднее значение этих Н1, каждому из которых приписан вес, в соответствии с вероят ностью появления соответствующего состояния
Н = Р1Н1 = - } Р1 P1( j) log p;(j) .
i iJ
Это - «энтропия» источника на символ текста. Если процесс Мар кова развивается с определенной скоростью, то можно говорить также об «энтропии» в секунду
Н'= fД;,
i
где f1 - средняя частота (появлений в секунду) состояния i. Оче
видно,
Н'= тН,
rде m ,- среднее число символов, создаваемых за 1 сек.
Н или Н' измеряют количество данных, создаваемое источником
на символ или за секунду. Если в качестве основания логарифмов
