< Previous | Contents | Next >
ГЛ. 111. НЕПРЕРЫВНЫЕ СООБЩЕНИЯ 57
Н(у)= s...s р(х1, . . . , хп)J (:) logp(x1,• • . ,Xn)J(: )dY1• •• dyn,
где J ( ; ) есть якобиан преобразования координат. Разлагая ло
J··J
J··J
J··J
гарифм и меняя переменные на х1, ••• ,хп, получим
Н(у) = Н(х)- р(Х1, . . • ,xп)log J ( : ) dx1 dx:.
Таким образом, новое значение «энтропии» равно старому за вычетом ожидаемого логарифма якобиана. В непрерывном случае
«энтропия» может рассматриваться как мера случайности отно сительно принятого стандарта, а именно выбранной координат ной системы, в которой каждому малому элементу объема dx1••• dxn придан равный вес. При изменении координатной системы
«энтропия» .в новой системе является мерой случайности, когда ращшм элементам объема dy 1••• dyn в новой системе придан одина ковый вес.
Несмотря на зависимость от координатной системы, понятие
«энтропии» является столь же важным в непрерывном случае, как и в дискретном. Это объясняется тем, что скорость создания сообщений и пропускная способность канала определяются раа носmь'О двух «энтропий», а эта разность не зависит от координатной системы, так как каждый из двух членов изменяется одинаково.
«Энтропия» непрерывного распределения может быть отрица тельной. Шкала и ерений устанавливает произвольный нуль, соот ветствующий равномерному распределению по единичному объему. Распределение, более сосредоточенное чем это, будет иметь мень шую «энтропию», и следовательно, она отрицательна. Однако скорость создания сообщений и пропускная способность канала всегда будут не отрицательны.
9. Частным случаем изменения координат является линейное преобразование
При этом якобиан есть просто определитель 1au;-1 и
Н(у) = Н(х) + log I ai1 1-
В случае вращения координатной системы (или любого другого преобразования, сохраняющего измерения) J=l и Н(у)=Н(х).
J
20. «ЭНТРОПИЯ» АНСАМБЛЯ: ФУНКЦИЙ
Рассмотрим эргодический ансамбль функций с ог :э.ниченной полосой частот шириной W гц. Пусть
р(х1, ... , хп)