< Previous | Contents | Next >
54 ЧАСТЬ I. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕдАЧИ СИГНАЛОВ
вероятностей р( х1, • •_. ,хп) в соответствующем п-мерном пространстве. Если ансамбль не ограничен по времени, то можно считать, что 2TW координат в данном интервале Т представляют часть функции в интервале Т, а распределение вероятностей р( х1, •• ,хп) дает ста тистическую структуру ансамбля для интервалов такой длитель ности.
19. «ЭНТРОПИЯ• НЕПРЕРЫВНОГО РАСПРЕДЕЛЕНИЯ
«Энтропия» дискретной группы вероятностей р1, ••• ,р" опреде пялась как
Н=- L P1 1og p1•
Аналогичным образом определим «энтропию» непрерывного рас пределения с функ ией плотности распределения р(х) как
00
Н =- J р(х) log р(х) dx.
В случае п-мерного распределения р(х1, ••• , х,,) имеем
Н =- f ... S р(Х1, ••• , х,,) log р(х1, ••• , Xn) dx1 • • • dxn.
Если имеются два аргумента х и у (которые сами могут быть много мерными), то «энтропия» совместного события и условная «энтро пия» даются уравнениями
Н(х, у)=- JJр(х, у) log р(х, у) dx dy,
Нх(у) =-JJ р(х, у) log р(х, У) dxdy,
р(х)
11
11
11
H (x)= - J J p(x, y)1og р(х,у) dxdy,
р(у)
где
J
J
J
р(х)= Jp(x, у) dy,
rP{Y),= р(х, у) dx.
\
«Энтропия» непрерывного распределения имеет многие свойства
дискретного случая. В частности:
1. Если х ограничено некоторым объемом v в своем простран стве, то Н(х) максимальна и равна log v, когда р(х) постоянно и
равно ..!
V
в этом объеме.
2. При любых двух переменJJ:ых х, у имеем
Н(х, у)-< Н(х)+Н(у),