(ll)< Previous | Contents | Next >
ГЛ. 1. ПРИНЦИП сОВРАТНОЯ ВЕРОЯТНОСТИ• 245
где постоянные А и В могут быть выбраны произвольно. Тогда из уравнений (6), (8) и (10) количество данных может быть записа но в форме
(ll)
а чтобы увеличение вероятности н_стинного сообщения представля
.цо положительцое количество данных, А принимается равным -1. Наконец, для краткости записи вместо J будем писать / ,,,у, чтобы отметить, что это есть количество полученных данных, когда передано некоторое сообщение х, а принят некоторый сигнал у.
Тогда, пользуясь уравнением (1):
lx,y =Iog
Ру (х) I
р(х) = og
р(х, у)
р(х)р(у)
(12)
Это основное выражение для количества данных в теории Шэннона.
К сожалению, когда принимается сигнал, искаженный шумами, наблюдатель не в состоянии полностью судить об истинном сооб щении. Кроме того, с точки зрения наблюдателя, интуитивно чувствуется, что тот же самый принятый сигнал всегда представ ляет одно и то же количество данных независимо от действительно переданного сообщения.
Поэтому единственный способ определить увеличение коли чества данных для наблюдателя заключается в усреднении lx,y по всем случаям, в которых фиксирован один лишь сигнал у. Как показано в § 1, в этих условиях передаваемые сообщения по являются с относительными частотами, определяемыми Ру(х). Тогда увеличение количества данных /У. для наблюдателя можно определить, усредняя lx,y и принимая Ру(х)_за весовой коэффициент:
р (х)
р (х)
р (х)
1y=Cpz lx,y = "-' ру(х) log-p(x), () 3)
х
если сообщения дискретны.
Часто сообщения образуют континуум, как, например, в случае рае{::юfmий до самолета или показаний измерительного прибора. Рqtпределение вероятностей х представляется тогда непрерывны ми кривыми плотности вероятностей, но теория без труда может быть распространена и на этот случай.
Если р(х) - плотность распределения, то р(х) ох есть вероят ность того, что х лежит между х и х+ох. Если разбить область значений хна элементы шириной ох, то может быть использована дискретная теория и тогда, полагая ох--+О:
ly= Sру(х) log
P.v (х) dx
р(х) , ·
(14)