< Previous | Contents | Next >
ГЛ. III. НЕПРЕРЫВНЫЕ СООБЩЕНИЯ
причем знак равенства будет тогда (и только тогда), когда х и у независимы, т. е. р(х,у) = р(х)р(у) (за исключением, возможно, ряда точек с нулевой вероятностью).
3. Рассмотрим обобщенную операцию усреднения следующего
-типа:
r,це
р' (у)=Jа(х, у)р(х) dx,
Jа(х, у) dx= Jа(х, у) dy= 1, а(х,у):;>О.
Тогда «энтропия» усредненного распределения р'(у) равна больше «энтропии» первоначального распределения р(х).
4. fu\e f
и
или
5. Пусть р(х) будет одномерное· распределение. Распределение р(х), обеспечивающее максимальную «энтропию», при условии, что стандартное отклонение х равно а, есть нормальное распределение. Чтобы это показать, необходимо разыскать максимум
H(x)=-Jp(x) log р(х) dx,
накладывая в качестве ограничен;й соотношения
а2= J р(х)х2 dx и 1 = J р(х) dx.
Согласно вариационному исчислению это приводит к необходимости нахождения максимума для
J [- р(х) lcg р(х)+л р(х )х2+ р.p(x)J dx.
У словием этого является
- l- log'p(x)+ л x2 + p.= 0,
и, следовательно, подбирая постоянные для удовлетворения упо-. мянутых ограничений, найдем
1 -xs
р(х) = --=- е 2 ""
y2-n:a
Подобным же образом обстоит дело и в случае п измерений, когда моменты второго порядка распределения р(х 1 , ••• ,хп):
A;j= J... J i XJ p(xl'• • . , Xn) dx1 ••• dxn.