< Previous | Contents | Next >
22 ЧАСТЬ 1. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕдАЧИ СИГНАЛОВ
2. При заданном п Н максимальна и равна log п, когда все р1
одинаковы ( : ).· Это и интуитивно соответствует состоянию наиболь
шей неопределенности.
3. Пусть имеются два события х и у с т возможностями для первого и п - для второго. Пусть p(i,j) означает вероятность сов местного появления i-го значения для первого и j ro значения для второго события. «Энтропия» совместного события равна
тогда как
Н(х,у) = -
p(i, j) log p(i,j),
i,J
Н(х) = - p(i, j) lcg p(i,j),
i,J j
Н(у) = - p(i, j) log p(i,j).
i,j i
Легко показать, что Н(х, у) -< Н(х) + Н(у),
причем равенство имеет место только в случае независимых собы тий [т. е. если p(i,j)=p(i)p(j)].
<
<
<
4. Всякое изменение в сторону выравнивания вероятностей Р1, Р2, ... , рп увеличивает Н. Так, если р1 Р2 и увеличиваем р1 , одновременно уменьшая р2 на такую же величину, так что р1 и р2 приближаются друг к другу, то Н увеличивается.
В более общем виде, если над вероятностями осуществляется операция «выравнивания» вида
р;= aiJpi'
J
где аи=}; аи=1 и все а;1 ;;;.О, то Н увеличивается. (За исключе-
; J
нием того частного случая, в котором такое преобразование сводит" ся к одной только перестановке р1, когда Н, конечно, сохраняется неизменной.)
5. Пусть имеются два случайных события х и у, как в пункте
3, не обязательно независимых. Для каждого частного. зна чения i, которое может принимать х, имеется условная вероятность p;(j) того, что у имеет значение j. Она равна
1 = Е p(i,j) •
1 = Е p(i,j) •
1 = Е p(i,j) •
Р1( ") p(i,j)
j
Мы определяем условную «энтропию» величины у, Нх(У) как сред нее значение «энтропии» у для каждого значения х, вычисленное с учетом весов, соответствующих вероятностям частных значений х.