< Previous | Contents | Next >
ГЛ. 1. ПРИНЦИП ,«OБPATHOl'J. ВЕРОЯТНОСТИ" 247
полученных при приеме каждого сигнала, причем этим данным придан вес в соответствии с вероятностью появления сигналов.
В нашем примере «красный» и «зеленый» сигналы встречаются одинаково часто (см. табл. 1) и поэтому
I = (О,0510+0,0466)=0,0488 двоичной единицы.
S Sl=Cpylv=
S Sl=Cpylv=
S Sl=Cpylv=
Общее выражение получается, если применить оператор к уравнению (14):
р (х)
р(у) py(x)1og-p(x) dxdy.
(15)
Это то же самое, что и среднее от lx,y по всем х и по всем у,
Ssl=Cpx,ylx,y=
Ssl=Cpx,ylx,y=
Ssl=Cpx,ylx,y=
которое по уравнению (12) имеет симметричную форму:
р(х, у)
p(x,y)1og p(x)p(Y)dxdy.
(16)
Еще другая форма / получается в том случае, если сначала разделить логарифм в уравнении (15) на две части
l=CPy S Py(x)1ogpy(x)dx - 5Sp(y)py(x)1ogp(x) dxdy.
Интегрирование по у может быть выполнено при помощи урав
нения (4); тогда
где
l=H(x)-Hy(x),
Н(х)=- J р(х) log р(х) dx,
Ну(х)=-Сру ру(х) log ру(х) dx.
(17)
(18)
(19)
Шэннон называет Н(х) «энтропией» распределения р(х), и урав нение (17) тогда утверждает, что среднее количество данных, приходящихся на сигнал, равно разности априорной и апостериор н6'й «энтропий». Из симметрии уравнения (16) следует, что/ может быть также написано в форме
/ l-=H(y)-Hx(Y) (20)
путем перемены местами х и у.
Из этого последнего выражения Шэннон получает свою теорему 17 -. один из основных результатов теории передачи сиг- 1tалов. Она утверждает, что среднее количество данных, которое может быть передано за время Т по каналу с полосой частот W при наличии гауссовых шумов с равномерным спектром средней мощностью N, может достигать, но никогда не превосходит
/ макс.= WT log ( 1 + ), (21) где Р - средняя мощность принимаемых сигналов.