< Previous | Contents | Next >
56 ЧАСТЬ I. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕдАЧИ СИГНАЛОВ
При помощи подобных ж:е вычислений найдем, что максимум
«энтропии» имеет место, когда р(х1, ••• ,хп) является п-мерным нор· мальным распределением с моментаh1и второго порядка Аи.
6. «Энтропия» одномерного нормального распределения, стандарт ное отклонение которого есть а, равна
H(x)=log -vz;ёа.
Ход вычислений таков:
-хВ
2.а 2
2.а 2
2.а 2
2 1
2 1
2 1
у2= а
у2= а
у2= а
p(X)=_rl- е -. - -logp(x) = log -v.rп21=t a + - х1 ,
Н(х)= - J p(x)_log р(х) dx= Jp(x)logy 2 а dx+ J р(х) :а: dx=
=1ogV21ta+ ;:. = log а + logye =log a.
Подобным же образом п-мерное нормальное распределение с квадратичной формой a;j дается уравнением
р(Х1, ••• , Xn)
l au i'1•
( 2 it}n / 2
ехр( - 2 l
аи Х; Xj),
а «энтропия» может быть вычислена как
Н = log (2 1t e)n/ 21 Щj 1- '1•,
где \a;j\ есть определ,итель, элементы которого au.
7. Если х ограничено половиной оси [р(х)=О прих<О], а первый момент х равен
а= J00
о
р(х)х dx,
то максимум «энтропии» имеет место, когда
и равен он
Jt
Jt
Jt
р(Х)=l-е. - а
а
logea.
8. Между «энтропиями» для непрерывного и дискретного слу аев ,имеется одно существе1;1 ое различие. В дискретно <:1учае
«энтропия» измеряет абсоftют1:f.:_ым образом беспорядочныи ха рактер случайной переменной. В непрерывном случае измерение является относительным к координатной системе. Если изменить координаты, то «энтропия» в общем случае также изменится. Дей ствительно, при переходе к к юрдинатам у1, ••• ,уп новое значение
«энтропии» будет