< Previous | Contents | Next >
58 ЧАСТЬ J. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕдАЧИ СИГНАЛОВ
s
s
s
будет функция плотности распределения: для амплитуд х1 , ••• ,хп в п последовательных точках. Определим «энтропию» ансамбля функ ций на степень свободы как
Н' = - lim -1 sp(x1, . • • , Хп) log р(Х1, • • • , хп) dx1. • • dxn.
,n-+ оо n
Можно также определить «энтропию» Н за 1 сек. путем деления не на п, а на время Т в секундах для п значений. Так как n=2TW, то Н = 2WH'.
Для «белых» термических шумов распределение р является нор мальным и поэтому
Н' = log V21teN ,
Н = Wlog21teN.
При данной средней мощности N «белые» шумы имеют максималь но возможную «энтропию». Это следует из отмеченных выше мак симальных свойств нормального распределения.
«Энтропия» непрерывного стохастического процесса имеет мно го свойств, аналогичных свойствам энтропии дискретных процессов. В дискретном случае «энтропия» была связана с логарифмом вероятности длительных последовательностей и с числом сравни тельно вероятных последовательностей большой дли.тельности. В непрерывном случае «энтропия» подобным же образом связана с логарифмом плотности вероятностей для длинной серии «образ цов» сигнала и с объемом сравнительно высокой вероятности в функциональном пространстве.
Более точно, если положить, что р(х1,... ,хп) является непрерыв ным при всех xl и для всех п, то для сравнительно больших п
11< /-H'l<e
при любом выборе (х1, ... ,хп) за исключением группы, полная веро ятность которой меньше 8, причем 8 и е произвольно малы. Это следует из эргодических свойств при разделении пространства на больwое число малых ячеек.
Связь Н с объемом может быть установлена следующим образом. При тех же самых предположениях рассмотрим п-мерное простран ство, соответствующее р(х1, ... ,хп)- Пусть Vп(q) будет наименьший: объем в этом пространстве, который заключает в себе полную ве роятность q. Тогда
если только q не равно О или 1.