ТЕОРИЯ ПЕРЕДАЧИ ЭЛЕК1ШЧ ЕСКИХ СИГНАЛОВ ПРИ НАЛИЧИИ ПОМЕХ
СБОРНИК ПЕРЕВОДОВ Под редакцией
Н. А. ЖЕЛЕЗ НОВ A ^
\
Г*-
\
управление научной информации
ИЗДАТЕЛЬСТВО ИНОСТРАННОЙ ЛИТЕРАТУРЫ Москва —1 953
ПРЕДИСЛОВИЕ
вогвременный этап развития радиотехники характеризуется широкие применением методов теории вероятностей для решения многих радиотехнических задач. В связи с этим представляет интерес попытка создания общей статистической теории передачи электрических сигналов в системах связи, радиолокации, теле­механики при наличии помех.
Характерной особенностью этой теории является то, что сиг­налы на входе канала рассматриваются не как заданные функции времени, а как множество возможных функций времени, опре­деленных вместе с вероятностями их появления. Другой отличи­тельной чертой теории является то, что воздействие помех оце-
сигнал
нивается не по отношению- на выходе канала, а по некоторо-
помеха
му статистическому параметру, характеризующему достоверность полученных данных.* Так, например, процесс радиолокационного измерения дальности оценивается ненадежностью измерения, под которой понимается вероятность того, что во множестве резуль­татов наблюдения измеренное значение дальности не лежит вбли­зи истинного значения. v
Основные результаты теории сводятся к установлению пре­дельных соотношений для пропускной способности "Канала, огра­ниченной отношением интенсивностей сигн^а и помех, а также полосой радиочастот, занимаемой каналом. Утверждается, что предельная пропускная способность может быть достигнута при сколь угодно малой частоте ошибок в воспроизведении передан­ных сигналов. Это обеспечивается выбором «надлежащего метода кодирования передаваемых сообщений.'
Таким образом, открывается возможность оценки различных систем передачи электрических сигналов при наличии помех путем сравнения действительно достигаемой пропускной способ­ности с предельно возможной.
Предлагаемый вниманию читателя сборник состоит из трех частей. Первая часть посвящена статистической теории передачи электрических сигналов при наличии помех различных типов. Рассматривается как система с дискретными сигналами, так и си­стема с непрерывными сигналами.
4
предисловие
Во второй части излагается теория внутренних помех радио­канала — флуктуационных «шумов», ограничивающих предельную пропускную способность радиоканала. Эти материалы не только необходимы для изучения I и III частей сборника,но и представляют также самостоятельный интерес.
Третья часть сборника служит иллюстрацией применения ста­тистических методов к практическим задачам радиолокации — исследованию точности и достоверности измерений дальности до стационарной цели, проектированию радиолокационных прием­ников на основе статистических методов и т. д.
Следует отметить, что в развитии статистических методов ис­следования процессов передачи и приема электрических сигналов при наличии помех вклад нашей отечественной науки исключи­тельно велик. Необходимый для этого математический аппарат был создан трудами знаменитых русских4 математиков П. Л. Че-бышева, А. А/ Маркова, А. М. Ляпунова, трудами советских ученых А. Н. Колмогорова, А. Я. Хинчина, С. Н. Бернштейна и др. Значение этих работ настолько велико, что без них ,нельзя себр представить современной теории вероятностей.
При изучении системы с дискретными сигналами используются случайные процессы с прерывным временем (цепи Маркова), на| званные по имени создателя теории цепей А. А. Маркова. |
Исключительное значение в радиотехнике имеют стационарны^ случайные процессы, теория которых была разработана А. Я. Хин-чиным и А. Н. Колмогоровым. В принадлежащей А. Я. Хинч^ну теории корреляции стационарных случайных процессов содержится мощный математический аппарат, широко используемый при ре-л шении разнообразных радиотехнических задач. Большое значение имеет, например, теорема о связи между спектральной плотно-! стью случайного процесса и его функцией корреляции, лежащая в основе теории внутренних помех радиоканала.
Применение статистических методов к задачам помехоустой­чивости радиоприема было заложено работами В. И. Сифорова, выполненными в середине 30-х годов.
Проблема пропускной способности канала связи была поставлена В. А. :Котельниковым еще в 1933 г. Тогда же В. А. Котельников доказал теорему о том, что непрерывная функция времени с огра- ■ ничейным спектром полностью определяется заданием ряда чи­сел, связанных со значениями этой функции в дискретные мо­менты времени. Эта замечательная теорема имеет фундаменталь- j ное значение для современной теории передачи электрических сигналов. Следует заметить, что в иностранной технической ли-, гературе она была сформулирована значительно позднее.
Вопрос о пропускной способности канала получил дальнейшее развитие в работах Д. В. Агеева (1938 г.), указавшего на существен­ную роль помех в ограничении пропускной способности.
предисловие
5
Идеи о геометрической трактовке процессов передачи и приема сигналов при наличии в канале внутренних шумов, широко ис­пользуемые в статистической теории связи, также были впервые рысказаны и применены для рассмотрения практических вопросов В. А. Котельниковым еще в 1946 г.
Большое значение для развития теории внутренних помех в (радиоканале имела монография В. Л. Грановского «Электрические флуктуации», вышедшая в свет в 1936 г.
Существенным вкладом в теорию флуктуационных шумов яви­лись труды М. А. Леонтовича, В. И. Бунимовича и других совет­ских ;|уЧеных. В работах В. И. Бунимовича, начатых в 1940 г., полуЙил развитие метод исследования преобразования сигнала и румов нелинейной системой.
Нужно сказать, что статистическая теория передачи электри­ческих сигналов при наличии помех находится еще на начальном атапе своего развития, однако это новое направление в современной радиотехнике представляет безусловный интерес. Можно не сомне­ваться, что статистические методы сыграют важную роль в ре­шении основной проблемы современной радиотехники — разра­ботке способов передачи и приема сигналов, обеспечивающих большую помехоустойчивость, чем существующие методы.
Следует отметить, что включенные в этот сборник работы иностранных авторов не лишены недостатков.
Прежде всего нужно указать на тенденциозное замалчивание работ советских авторов, значение которых для развития статис­тических методов в радиотехнике исключительно велико. Только у Райса имеется ссылка на статью А. Я. Хинчина по теории корреляции стационарных случайных процессов, другие труды советских ученых обойдены молчанием.
В работе Шэннона проявляется стремление автора придать изложению формальный характер, оторванный от практических задач. Это в известной мере затрудняет усвоение материала и Применение его на практике.
I Терминология Шэннона тоже в ряде случаев вызывает возра­жения. Так, автор на основании чисто внешнего сходства мате­матической формулы называет величину Ht через которую опреде­ляется пропускная способность канала, «энтропией». Таким образом, понятие энтропии отрывается от конкретного физического содер­жания, которое в него вкладывается в статистической физике. Это открывает дорогу различным формалистическим построениям, чем действительно и занялись вскоре после опубликования работы Шэнйрна некоторые иностранные авторы.
р В работах Вудворда и Девиса по применению статистических методов в радиолокации проявляется субъективное понимание климатической вероятности. Некоторые рассуждения в тексте Щ части свидетельствуют о том, что авторы иногда пытаются
6
предисловие
трактовать вероятность как величину, характеризующую «степень уверенности» наблюдателя.
Искусственность такого подхода очевидна из самого характера рассматриваемого физического процесса радиолокационного изме­рения дальности при наличии помех. Распределение апостериорных вероятностей для различных значений дальности до цели после приема сигнала характеризует объективный характер связи между приемом сигнала и результатами измерения дальности, а вовсе не субъективные впечатления наблюдателя. Это подтверждается хотя бы тем, что можно построить систему измерения дальности до цели, которая на основании расчета распределения апостериорных вероятностей выдает наивероятнейшее значение дальности, полно­стью исключая субъективную оценку наблюдателя.
Необходимо отметить, что терминология статистической теории передачи электрических сигналов и ряд ее понятий используются некоторыми зарубежными математиками и инженерами для спе­куляций, связанных с пресловутой «кибернетикой». ф
Так, например, Н. Винер, С. Гольдман и др., исходя из внеш­ней, поверхностной аналогии и спекулируя на нечеткости и двусмысленности некоторых терминов и понятий, пытаются пере­нести закономерности радиосвязи на биологические и психологи­ческие явления, говорят о «пропускной способности» человеческого мозга и т. д. Естественно, что все эти попытки придать кибернетике-наукообразный характер с помощью заимствованных из другой области терминов и понятий отнюдь не делают кибернетику нау­кой — она остается лжетеорией, созданной реакционерами от нау­ки и философствующими невеждами, находящимися в плену идеа­лизма и метафизики. В то же время досужие упражнения философ­ствующих лжеученых набрасывают тень йа статистическую теорию передачи сигналов при наличии помех, результаты и выводы кото­рой сами по себе имеют большое научное и прикладное значение.
Это обстоятельство пришлось учесть при подготовке к печати настоящего сборника. При редактировании сборника были произ­ведены небольшие сокращения, причем текст был освобожден от некоторых ненаучных идеалистических построений, никак не связанных с основным материалом. Ряд неудачных и двусмыслен­ных терминов был заменен с целью устранения возможности не­правильного толкования некоторых понятий.
Из текста статей исключены исторические справки, носящие тенденциозный и поверхностный характер. Ссылки авторов на кни­ги, имеющиеся в русском переводе, заменены ссылками на соот­ветствующие советские издания. Кроме того, сборник дополнен кратким указателем литературы, составленным редактором.
Ленинград Я. А. Железное.
Сентябрь 1952 г.
ЧАСТЬ I
СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ ЭЛЕКТРИЧЕСКИХ СИГНАЛОВ1*
к. шэнной
ВВЕДЕНИЕ
Развитие различных методов модуляции, таких, как импульсно-кодовая и временная импульсная модуляции, которые уменьшают требования к отношению сигнал/шум за счет расширения полосы частот, повысило интерес к общей теории связи 2K
В настоящей работе мы расширим теорию с тем, чтобы включить в нее некоторое число новых факторов, в частности влияние шумов в канале и возможность улучшения связи за счет использования статистической структуры исходного сообщения и свойств око­нечного получателя сообщений.
Основная задача связи заключается в точном или приближенном воспроизведении в одной точке сообщения, выбранного в неко­торой другой точке. Существенно, что действительное сообщение является одним, выбранным из определенного множества возможных сообщений. Система должна быть спроектирована таким образом, чтобы она обеспечивала передачу любого возможного сообщения, а не только того, которое действительно будет выбрано, так как последнее в момент проектирования еще не известно.
Если число сообщений во множестве конечно, то это число или некоторая мано^нная функция от него может быть принята за меру количества д^ных5^передаваемых тогда,когда из множества выбирается одно сообщение, причем все возможности выбора рав­новероятны.
1I С Е. Shannon and W. Weaver «The Mathematical Theory of Communication», The University of Illinois Press, 3—89, 1949.
2) Термины «связь» и «система связи» понимаются автором весьма ши­роко. Системой связи может быть любая система, предназначенная для пе­редачи и приема сигналов, будь то система радиосвязи, радиолокации, телемеханики и пр. (Прим. ред.) i
8) В оригинале применяется термин «информация». Поскольку, однако, автор в дальнейшем придает ему специальное значение, устраняя семанти­ческие аспекты этого термина, мы от него отказались. (Прим. ред.)
8
часть i. статистическая теория передачи сигналов
Как было указано Хартлеем г), наиболее естественно выбрать логарифмическую функцию. Хотя это определение должно быть существенно обобщено при рассмотрении статистических свойств сообщений, а также при наличии непрерывной совокупности сообще­ний, мы будем во всех случаях пользоваться логарифмической мерой.
Логарифмическая мера обладает рядом существенных преиму­ществ.
1. Она практически наиболее удобна. Параметры, имеющие техническое значение, как, например, время, ширина полосы частот, число реле и т. п., имеют тенденцию изменяться линейно с логарифмом числа возможностей. Например, добавление одного реле к существующей группе удваивает число возможных положе­ний реле. Это прибавляет единицу к логарифму этого числа при основании 2. Удвоение времени, грубо говоря, возводит число воз­можных сообщений в квадрат, т. е. удваивает логарифм и т. д.
2. Она ближе к нашему интуитивному представлению о подхо­дящей мере. Это обстоятельство тесно связано с первым, так как мы интуитивно измеряем величины путем линейного сравнения с принятыми эталонами. Каждый, например, чувствует, что две перфорированные карточки содержат вдвое больший запас сведений, а два идентичных канала имеют удвоенную пропускную способ­ность.
3. Она более удобна с математической точки зрения. Многие предельные переходы весьма просты при применении логарифмов, но потребовали бы сложных приемов при использовании самого числа возможностей.
соответствует выбору единицы
ерения количества данных. При основании 2 получаются
изм
единицы, которые могут быть названы «двоичными единицами». Прибор с двумя состояниями равновесия, например реле или спусковая схема, может запасти одну двоичную единицу. N таких приборов могут запасти N единиц, так как общее число возможных состояний равно 2 V и Iog2 2V = N. Если же выбрано основание IOr то единицы могут быть названы «десятичными единицами». Так как
Iog2AI =
Iogio M Iogi0 2
= 3,32 Iog10M,
то десятичная единица равна примерно Щ двоичных единиц. Числовое колесо арифмометра имеет десять положений равновесия и поэтому обладает способностью запасти одну десятичную единицу. При аналитических расчетах, когда приходится интегрировать и дифференцировать, иногда удобнр применять основание е. Полу-ча лциеся при этом единицы могут быть названы «натуральными
1) BSTJt 535, July 1928.
введение
9
единицами». Переход от основания а к основанию Ь требует лишь умножения на log^a.
В дальнейшем под системой связи будем подразумевать систему, схематически показанную на фиг. 1. Она состоит из пяти основных частей:
1. Источнику создающий сообщение или последовательность сообщений, .которые должны быть переданы на приемный конец. (Сообщение может быть различного типа, например: а) последова­тельность букв, как в системах телеграфа или телетайпа; б) одиноч­ная функция времени /(/), как в телефонии или радиотелефонии;
Источник Передатчик
Приемник Получатель
Сигнал [
] Приним. сигнал
Сообщения
Сообщения
Источник шумов
Фиг. 1. Схема общей системы связи.
в) функция времени и других переменных, как в черно-белом теле­видении, где сообщение можно рассматривать как функцию f(x,y,'t) от двух пространственных координат и времени (интенсив­ность света в точке (х, у) в момент t на экране приемной трубки);
г) две (или более) функции времени, скажем,/(/), g(t)9 h(t)f как это бывает в случае передачи «трехмерного» звука, или если система рассчитана на обслуживание нескольких индивидуальных каналов по многократному способу; д) несколько функций от нескольких переменных — в цветном телевидении сообщение состоит из трех функций f(xtyyt)y g(xfyyt)f h(xyyyt)y определенных в трехмерном континууме. Мы можем рассматривать эти три функции как со­ставляющие векторного поля в некоторой области; подобно этому несколько источников черно-белого телевидения будут давать сообщения, состоящие из нескольких функций от трех переменных; е) различные комбинации перечисленных случаев, например, в телевидении с каналом звукового сопровождения.
2. ПереЭлтчиКу который преобразует сообщение таким образом, что получается сигнал, пригодный для передачи по каналу. В лефонии эта операция состоит просто в преобразовании звукового-давления в пропорционально изменяющийся электрический ток.
10
часть i. статистическая теория передачи сигналов
В телеграфии имеется операция кодирования, которая дает после­довательность точек, тире и пробелов, соответствующих сооб­щению. В системах многоканальной кодовой импульсной модуляции значения различных речевых функций должны быть зафиксированы в некоторые дискретные моменты времени, компрессированы, кван­тованы по амплитудам, закодированы и, наконец, соответствующим образом смешаны для образования сигнала. Системы с вокодером 1>, телевидение и частотная модуляция являются другими примерами сложных операций — преобразования сообщения в сигнал.
3. Канал — среда, используемая для передачи сигнала от пере­датчика к приемнику. Это может быть пара проводов, коаксиальный кабель, полоса радиочастот, луч света и т. д.
4. Приемник обычно выполняет операции, обратные осуще­ствленным в передатчике, восстанавливая сообщение из сигнала.
5. Получатель — это лицо (или аппарат), для которого предназначено сообщение.
В дальнейшем будет рассмотрено несколько общих проблем, относящихся к системам связи. Для этого прежде всего необхо­димо описать различные элементы при помощи математических величин, должным образом идеализированных по сравнению со своими физическими оригиналами.
Системы связи можно грубо подразделить на три главные ка­тегории: дискретные, непрерывные и смешанные. Под дискретной системой будем понимать систему, в которой как сообщение, так и сигнал представляют собой последовательность дискретных символов2^. Типичным случаем является телеграфия,где сообщение — последовательность букв, а сигнал — последовательность точек, тире и пробелов. В непрерывной системе как сигнал, так и сообще­ние рассматриваются как непрерывные функции, например в радио­телефонии и телевидении. В смешанных системах имеются как непрерывные, так и дискретные переменные, примером чего может служить передача речи посредством кодовой импульсной моду­ляции.
Рассмотрим сначала дискретный случай. Он имеет применение не только в теории связи, но также в теории счетных машин и в других областях. Кроме того, дискретный случай является основой для рассмотрения непрерывного и смешанного случаев, которые исследуются во второй половине работы.
1I Вокодер — устройство «синтетической телефонии», в которой подле­жащие передаче сигналы синтезируются на приемном конце. По каналу передаются только «командные сигналы», получаемые в результате анализа звуков передаваемой естественной речи. Эти сигналы управляют процессом синтеза (высотой, силой тонов, ритмом речи и т. д.) (Прим. ред.)
2) Символами здесь и в дальнейшем автор называет элементы сообщения или сигнала, например буквы, точки, тире и т. д. (Прим. ред.)
Глава I ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ
1. ДИСКРЕТНЫЙ КАНАЛ БЕЗ ШУМОВ
Телеграф и телетайп являются двумя простейшими примерами дискретного канала. Вообще же дискретный канал означает систему, в которой может быть передана из одной точки в другую последовательность наборов из конечного ряда элементарных символов Si,...,S„. Предполагается, что символ Si имеет длитель­ность во времени t£ секунд (не обязательно, чтобы все символы об­ладали одинаковой длительностью, например точки и тире в теле­графии). Не обязательно также, чтобы все возможные последова­тельности символов Si могли передаваться системой; могут допу­скаться только некоторые последовательности. Это будут возможные сигналы для канала. Например, в телеграфии предполагаются следующие символы:
1. Точка, состоящая из замыкания линии на некоторую едини­цу времени и последующего размыкания на такое же время. • 2. Тире, состоящее из замыкания на три единицы времени и размыкания на одну единицу.
3. Пробел между буквами, состоящий, скажем, из размыкания на три единицы.
4. Пробел между словами — размыкание линии на шесть еди­ниц времени.
Необходимо наложить ограничения на допустимые последо­вательности, чтобы пробелы не следовали друг за другом, так как два промежутка между буквами дают промежуток между словами.
Теперь рассмотрим вопрос о том, каким образом можно изме­рить пропускную способность такого канала.
В случае телетайпа, где все символы обладают одинаковой длительностью и допустимы все последовательности из 32 символов, ответ очень прост. Каждый символ представляет собой пять двоич­ных единиц. Если система передает п символов в 1 сек., естественно сказать, что канал обладает способностью передачи в 5 п двоичных единиц в секунду. Это не означает, что канал телетайпа будет всег­да передавать сообщения с такой скоростью. Это — максималь­но возможная скорость, и будет ли в действительности достиг­нут этот максимум, зависит от источника сообщений на входе канала.
12
часть i. статистическая теория передачи сигналов
В более общем случае символов различной длительности и при ограничении допустимых последовательностей можно дать сле­дующее определение:
Определение: Пропускная способность С дискретного канала выражается формулой
г-оо 1
M(T) — число допустимых сигналов длительностью Т. Легко видеть, что в случае телетайпа это определение сводится к предыдущему. Можно показать, что рассматриваемый предел существует как конечное число в большинстве представляющих интерес случаев. Предположим, что допустимы все последователь­ности символов SitS2t Sn и что эти символы имеют длитель­ности Z,, Z2 ,...,Zrr Какова тогда пропускная способность канала? Если N(I) означает число последовательностей длительностью ty то
N(f) = N(t -Z1)+N (Z -12) +... + N(t - Z n),
т. е. общее число равно сумме чисел последовательностей, окан­чивающихся символами S1, S2,..., Snt а эти числа соответственно равны /V(Z-Z1), N{t—Z.),..., N(t—tn).
Согласно хорошо известному положению исчисления конечных разностей AZ(Z) при больших Z асимптотически приближается к AXtot где А—постоянная, а X0—наибольший вещественный корень характеристического уравнения
X''1 +Х~'2 +. ..+Х~'л =1
и, следовательно:
C=Iim ISiJiL=Icg X0.
t-* оо 1
При наличии ограничений, наложенных на допустимые после­довательности, часто все же можно получить уравнение в конечных, разностях того же типа и найти С из характеристического урав­нения. В упомянутом случае телеграфии
^ [N (t)=N (Z —2)+N (Z —4)+/V (Z — 5)+N (t — 7)+
+ /V(Z-8)+/V(Z-10),
в чем можно убедиться, подсчитывая последовательности сим­волов с учетом последнего или следующего за последним символа. Отсюда С есть — Iog [х0, где [л0— положительный корень уравнения
1=112 + [А4 + (А5+Г17 + |А8 + 1А10.
Решая это уравнение, найдем C=O,539.
гл. i. дискретные системы без шумов
13
Весьма общий вид ограничений, которые могут быть наложены на допустимые последовательности, состоит в следующем. Вообра­зим некоторое число возможных состояний аъа2 ...,ат.В каждом со­стоянии могут быть переданы только некоторые символы из ряда Si,...,Sn (различные наборы для разных состояний). Когда один из этих символов передан, состояние переходит в некоторое новое состояние в зависимости как от старого состояния, так и от передан­ного символа. Простейшим примером этого является телеграфия. Имеются два состояния в зависимости от того, был ли последним
Тире
пРо6ел между словами
Фиг. 2. Графическое представление ограничений, наложенных на телеграфные символы.
переданным символом пробел или нет. Если был пробел, то после этого могут быть переданы только точка или тире, и состояние непременно изменится. Если нет, то может быть передан любой символ и состояние либо изменится, если передан пробел, либо в прртивном случае не изменится.
Все это может быть иллюстрировано графиком, показанным на фиг. 2. Точки разветвления соответствуют состояниям, а линии указывают символы, возможные в данном состоянии, а также ре­зультирующие состояния. В Приложении 1 показывается, что если условие относительно допустимых последовательностей может быть задано в такой форме, то существует определенное значение про­пускной способности, которое может быть вычислено согласно сле­дующей теореме.
14
часть i. статистическая теория передачи сигналов
Теорема 1
Пусть Ь'$ означает длительность s-ro символа, который воз­можен в состоянии / и ведет к состоянию /. Тогда пропускная спо­собность канала С равна Iog Wf где W— наибольший вещественный корень уравнения в виде определителя
V» As)
=Of
где 8^ = 1, если /=/, и нуль в противном "случае.
Например, в случае телеграфии определитель имеет еид
I — 1 (W-*+W-*) {W-*+W-*) (W-*+W~*—])
=0.
Разложение этого определителя дает уравнение, которое приводи­лось выше для этого случая.
2. ИСТОЧНИК ДИСКРЕТНЫХ СООБЩЕНИЙ
Мы уже видели, что при весьма общих условиях логарифм числа возможных сигналов в дискретном канале линейно возра­стает со временем. Пропускная способность может быть определена указанием скорости этого возрастания: числа двоичных единиц в секунду, требуемого для задания отдельного применяемого сигнала.
Рассмотрим теперь источник сообщений. Как следует матема­тически описывать источник и какое количество данных, измерен­ное в двоичных единицах в секунду, создает такой источник? Знание статистических свойств источников имеет большое значение для уменьшения необходимой пропускной способности канала путем рационального кодирования сообщений. Например, в теле­графии передаваемые сообщения состоят из последовательностей букв. Эти последовательности, однако, не вполне хаотичны. Вообще говоря, они образуют фразы и имеют статистическую структуру,, скажем, английского языка. Буква E появляется много чаще, чем Qy последовательность TH чаще, чем XPy и т. д. Наличие такой струк­туры позволяет экономить время (или пропускную способность канала) путем рационального кодирования последовательностей сообщений в последовательности сигналов.
В ограниченных пределах это всегда делается в телеграфии: самый короткий символ в канале — точка применяется для наи­более частой в английском языке буквы Ey в то время как редкие буквы Qy Xy Z выражаются более длинными последовательностями тире и точек. Еще отчетливее проводится этот принцип в некоторых коммерческих кодах, где наиболее обычные слова и фразы изобра­жаются кодовыми группами из четырех или пяти букв, что дает значительную экономию среднего времени.
гл. i. дискретные системы без шумов
15
Можно себе представить, что дискретный источник создает сообщение символ за символом. Последовательные символы вы­бираются соответственно некоторым вероятностям, зависящим, вообще говоря, как от предыдущего выбора, так и от данного рас­сматриваемого символа, о котором идет речь.
Математическая модель системы, которая создает такую последо­вательность символов, управляемую совокупностью вероятностей, известна под названием стохастического процесса. Поэтому можно считать, что дискретный источник может быть представлен неко­торым стохастическим процессом. Обратно, любой стохастический процесс, который дает дискретную последовательность символов, выбираемых иаг конечного ряда, может рассматриваться как описы­вающий некоторый дискретный источник. Это включает такие случаи, как:
1. Источники непрерывных сообщений, которые превращены в дискретные путем квантования. Например, квантованная речь от передатчика с кодовой импульсной модуляцией или квантованный телевизионный сигнал.
2. Математические случаи, когда просто абстрактно опреде­ляется некоторый стохастический процесс, создающий последовав телыюсть символов\Приведем примеры источников последнего типа.
A. Пусть имеются пять букв Л, By Cy Dy Ey которые выбираются с вероятностью 0,2 каждая, независимо от предыдущей буквы. Это привело бы к последовательности такого примерно вида:
BDCBCECCCADCBDDAECEEA ABBDAEECACEEBAE ЕС BCEAD
Этот пример был построен при помощи таблицы случайных чисел.
Б. Используются те же пять букв, но с вероятностями 0,4, 0,1, 0,2, 0,2, 0,1 соответственно. Следующие друг за другом буквы выбираются "независимо от предыдущих. Типичное сообщение от такого источника имеет вид
AAACDCBDCEAADADACEDA EADCABEDADDCECAAAAAD
B. Ъолее сложная структура получается, если последующие символы не выбираются независимо, так что их вероятности за­висят от предшествующих букв. В простейшем случае выбор за­висит только от непосредственно предшествующей буквы, а не от ранее стоящих букв.Тогда статистическая структура может быть описана набором вероятностей перехода PiH) 9 т. е. вероятностей того, что за буквой i последует буква /. Индексы / и / охватывают все возможные символы. Другой эквивалентный способ описания структуры состоит в задании вероятностей двухбуквенных сочета-
16
часть i. статистическая теория передачи сигналов
ний р (/,/), т. е. относительных частот двухбуквенного сочетания {/, /). Частоты появления букв р(1) (вероятность буквы вероятности переходов р,(/) и вероятности двухбуквенных сочета­ний p{ij) связаны следующими соотношениями:
р(0= ZpC /)= 2 р(/>0=2р(/)ру(0>
JJj P(Ij) =P(I) PiU),
2л(У)=2р(0=2р(/./)=1.
J i U
В качестве частного примера предположим, что имеются три буквы с таблицами вероятностей
Pi(I)
А
/ В
С
/
А
0
4
5
1
5
А
; в
1
2
1 2
0
В
с
1
2
2 5
1
10
С
P(i) 9
P(U)
27
А
16
27
i В
2
27
С
/
В С
о -1 -L
и 15 15
-L А
27 27 0
27 135 135
Типичное сообщение от этого источника имеет вид
АВВАВАВАВАВАВАВВВАВВ ВВВАВАВАВАВАВВВАСАСА ВВАВВВВАВВАВАСВВВАВА
Следующее повышение сложности состоит в учете частот появления трехбуквенных сочетаний, но не более. Выбор буквы будет зависеть от предшествующих двух букв, но не от того, что было до этих букв. При этом должна быть задана совокупность частот трехбуквенных сочетаний p(i,j,k) или эквивалентная сово­купность вероятности переходов р/;(&). Продолжая таким образом, можно последовательно получать все более сложные стохастические процессы. В общем случае сочетаний из п букв для определения •статистической структуры требуется совокупность вероятностей л-буквенных сочетаний p(il9 /2,...., in) или вероятностей перехо
ЛОВ Pk9ia9uau9 .
3. ГРАФИЧЕСКОЕ ПРЕДСТАВЛЕНИЕ ЦЕПЕЙ МАРКОВА
Стохастический процесс описанного типа известен в математике как дискретная цепь Маркова; он подробно рассмотрен в литера­туре1!. Общий случай может быть описан следующим образом.
1I См. В. И. Романовский, «Дискретные цепи Маркова», Гос-техиздат, 1949. (Прим. ред.)
гл. i. дискретные системы без шумов
17
Существует конечное число возможных «состояний» системы S19 S2,...,Sn. Кроме того, имеется совокупность вероятностей перехо­дов р.(/), т. е. вероятностей того, что система, находящаяся в со­стоянии Slf перейдет затем в состояние Sy-Чтобы представить при помощи этой цепи Маркова источник сообщений, достаточно толь­ко предположить, что при каждом переходе из одного состояния 3 другое создается одна буква. Состояния будут соответствовать «остатку влияния» предшествовавших букв.
Фиг. 3. График, соответ- Фиг. 4. График, соответ-
ствующий источнику в ствующий источнику в
примере Б. примере В.
Все это может быть изображено графически, как показано на фиг. 3 и 4. Состояниями являются точки разветвления, а вероят­ности переходов и создаваемые при этом буквы указаны около соответствующих линий. Фиг. 3 относится к примеру Б раздела 2, фиг. 4 — к примеру В. На фиг. 3 имеется только одно состояние, так как последующие буквы независимы друг от друга. На фиг. 4 имеется столько же состояний, сколько букв. При учете трехбук­венных сочетаний было бы самое большее п2 состояний, соответ­ствующих возможным парам букв, предшествовавших выбираемой.
4. ЭРГОДИЧЕСКИЕ И СМЕШАННЫЕ ИСТОЧНИКИ
Как указано выше, дискретный источник может быть для на­ших целей представлен цепью Маркова. Среди возможных дискрет­ных цепей Маркова имеется одна группа с особыми свойствами, имеющими значение в теории связи. Этот особый класс состоит из эргодических цепей; соответствующие источники также называются эргодическими. Хотя точное определение эргодического процесса несколько сложно, общая идея проста.
В случае эргодического процесса каждая создаваемая процес­сом последовательность имеет одни и те же статистические свойства. Так, частоты букв, частоты двухбуквенных сочетаний и т. д., полученные из частных последовательностей, будут стремиться по мере увеличения длины последовательностей к определенным пре­делам независимо от выбора частной последовательности. В дей­ствительности это верно не для всякой последовательности, но со­вокупность последовательностей, для которых это неверно, обладает
2 Теория передачи сигналов
18
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
вероятностью 0. Грубо говоря, эргодичность означает статистиче­скую однородность.
Свойство эргодичности связано со структурой соответствующего графика. Процесс будет эргодическим, если график обладает сле­дующими двумя свойствами:
1. График не распадается на две изолированные части А и B9 такие, что от одной точки разветвления в части А нельзя было бы перейти вдоль линии графика в направлении стрелок в точки части B9 а также невозможно было бы и из точек части В попасть в точки части А.
2. Замкнутая последовательность линий графика, стрелки ко­торых ориентированы в одном направлении, называется койтуром. Под «длиной» контура понимается число линий, из которых он состоит. Второе свойство требует, чтобы наибольший общий дели­тель длин всех контуров графика равнялся единице.
Если первое условие удовлетворено, а второе нарушено тем, что общий делитель d>l, то последовательности имеют некоторого рода периодическую структуру. Различные последовательности распадаются на d различных классов, которые в статистическом отношении одинаковы за исключением сдвига начала (т. е. выбора того, какую букву последовательности назвать первой). Путем смещения на величину от нуля до d—1 каждая последовательность может быть сделана статистически эквивалентной любой другой.
Простым примером при d=2 является следующее. Имеются три возможные буквы а9Ь9с. За буквой а следует либо 6, либо с с вероятностями V3 и 2Z3 соответственно. За Ъ и за с всегда следует буква а. Тогда типичная последовательность имеет вид abacacacabacababacac
Такие случаи не имеют большого значение для нашей работы.
Если нарушено первое условие, то график может быть разде­лен на некоторое число частных графиков, каждый из которых удо­влетворяет первому условию.
Будем предполагать, что второе условие также выполняется для всех частных графиков. В этом случае имеем то, что может быть названо «смешанным» источником, составленным из некоторого числа «чистых» составляющих. Составляющие соответствуют различ­ным частным графикам. Если L19 L29 L3,... — составляющие источ­ники, то можно написать
L=PiL1 + P5Z2 + p3L3 + где» Pj ^вероятность составляющего источника L1.
Ф\ чёски дело обстоит таким образом. Имеется несколько раз-лич! источников L19 L29 L3,..., каждый из которых имеет одно-род ю статистическую структуру (т. е. является эргодическим). Мы ie знаем априори, который будет использован, но раз по­ел ,овательность началась с данной «чистой» составляющей Liy
ГЛ. i. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ
19.
она будет продолжаться бесконечно согласно своей статистиче­ской структуре.
Для примера можно взять два процесса, описанных выше, и предположить P1=O,2 и р2=0,8. Последовательность от смешан­ного источника
L =0,2 L1 + 0,8 L2
может быть получена путем выбора первым L1 или L2 с вероятно­стями 0,2 и 0,8, а затем создания последовательности, определенной этим выбором.
Если не оговорено противное, то будем предполагать, что источ­ник является эргодическим. Такое предположение позволяет ото­ждествлять средние значения, взятые по последовательности, со средними значениями, взятыми по совокупности возможных последовательностей (вероятность отклонения равна нулю). На­пример, относительная частота буквы А в частной бесконечной последовательности будет с вероятностью единица равняться ее относительной частоте в совокупности последовательностей.
Если Pi — вероятность состояния Iy а рД/) — вероятность пе­рехода в состояние /, то, чтобы процесс был стационарным, Pi должно, очевидно, удовлетворять условиям равновесия
Pj=ZPiPAi)-
i
В эргодическом случае можно показать, что при любых начальных условиях вероятности Pj(N) пребывания в состоянии / после N символов приближаются к равновесным значениям при N оо.
5. ВЫБОР, НЕОПРЕДЕЛЕННОСТЬ И «ЭНТРОПИЯ»
Дискретный источник сообщений был представлен выше в виде цепи Маркова. Возникает вопрос, можно ли определить величины, которые измеряли бы в определенном смысле, сколько д^йнкх «создаст» такой процесс, или лучше, с какой скоростью «создайся» данные? v^ Vl
Пусть имеется набор возможных событий, вероятности появле­ния которых суть р19 р2>-.., Р„.Эти вероятности известны, но это все, что знаем относительно того, какое произойдет событие. Можно ли найти меру того, чему равна «возможность выбора» или какова неопределенность исхода при выборе события из этой группы?
Если такая мера существует,— обозначим ее Я(р1,р2,... рД,— то целесообразно потребовать, чтобы она обладала следил- ими "свойствами:
1. H должна быть непрерывна относительно Pi.
2. Если все Pi одинаковы, р.= L , то H должна быть монотонно
п
возрастающей функцией от п. В случае равновероятных событий
20
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
имеет место большая возможность выбора или большая неопреде­ленность, чем в тех случаях, когда имеются и более вероятные и менее вероятные события.
3. Если выбор распадается на два последовательных этапа, то исходное H будет взвешенной суммой индивидуальных значений Н. Смысл этого иллюстрирует фиг. 5. Слева имеются три возможности
1 1 1
с вероятностями P1= j, р2= -^, P3=-^*
Справа сначала выбираем между дву­мя возможностями с вероятностями 1Z2 и в случае второй возможности делаем еще выбор между возможностями с ве-
ФИГ- 5' выбор™"6 СЛУЧЗИ роятностями V3 и V3- Окончательные
результаты имеют те же самые вероят* ности, как и прежде. В этом частном случае требуется, чтобы
Н(~2 TT ' ~6~) = Н(~2 ' ~2~) + "2~ т)'
Коэффициент V2 появился потому, что выбор на втором этапе происходит только в половине общего числа случаев. В Приложении 2 обосновывается следующий вывод:
Теорема 2
Единственной формой Я, удовлетворяющей трем указанным предположениям, является форма
H = -KfpJogpi,
где К — положительная постоянная.
Эта теорема, как и предположения, используемые для ее до­казательства, имеют для данной теории второстепенное значение. Она дана главным образом для того, чтобы подкрепить законо­мерность наших дальнейших определений.
Величины вида H=—^pzIog Pi (постоянная К определяет только, единицу измерения) играют центральную роль в теории передачи сообщений в качестве мер возможности выбора и неопределенности. Форма величины Я такова же, как и энтропии, определяемой в-статистической механике, где P1 — вероятность того, что система находится в ячейке i своего фазового пространства.
Условимся называть H=—Pi Iog Pi «энтропией»1! совокупности вероятностей P1,..., рп. Если случайная переменная обозначена
1J Автор вводит термин «энтропия» на основании чисто внешнего сход­ства выражения для введенной им величины H с выражением для энтропии в общепринятом значении. Поскольку с понятием энтропии в статистической
ГЛ. i. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ
21
Xt то будем обозначать «энтропию» через Н(х); таким образом, х — не аргумент функции, а лишь знак, отличающий ее от Н{у)у т. е. от «энтропии» случайной величины у.
На фиг. 6 представлена в виде функции от р «энтропия» в случае двух возможностей с вероятностями р и q= 1—р, а именно:
H =—(р Iog р + q Iog q).
н
1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0.1
(двоич.ед.)
о 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 Ift л P
Фиг. 6. «Энтропия» в случае двух возможностей с вероятностями р и (1—р).
Величина H обладает рядом интересных свойств, которые под­тверждают правильность применения ее в качестве рациональной меры возможности выбора.
1. #=0 только в том случае, если все вероятности plt кроме одной, равны нулю, а эта единственная вероятность равна единице. Таким образом, H равна нулю только в случае полной определенно­сти исхода опыта. В остальных случаях H больше нуля.
физике связано вполне определенное физическое содержание, то во^из-бежание возможных недоразумений из-за формалистической терминологии автора в дальнейшем слово «энтропия» поставлено в кавычки. Следует иметь в виду, что в данном случае «энтропия» есть не больше, чем краткое название величины H = ^piXogpit где Pi — вероятность появления некото­рого события и {Прим. ред.)
22
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
2. При заданном п H максимальна и равна Iog п, когда все р£ одинаковы ^Lj . Это и интуитивно соответствует состоянию наиболь­шей неопределенности.
3. Пусть имеются два события х и у с т возможностями для первого и п — для второго. Пусть p(i,j) означает вероятность сов­местного появления /-го значения для первого и /-го значения для второго события. «Энтропия» совместного события равна
H{Xtу) = — S Pih /) Iog P(IJ)t
тогда как
ВД =-2 icg 2/>(/,/), HUf) =-Zp(LI) iog 2 р(ч)-
ij i
Легко показать, что
H{xt у)<Н{х)+Н{у)9
причем равенство имеет место только в случае независимых собы­тий [т. е. если р(/,/)=р(/)р(/)].
4. Всякое изменение в сторону выравнивания вероятностей Pi» Р2,..., Pn увеличивает Н. Так, если Рх<р2 и увеличиваем P1, одновременно уменьшая р2 на такую же величину, так что P1 и р2 приближаются друг к другу, то H увеличивается.
В более общем виде, если над вероятностями осуществляется операция «выравнивания» вида
j
где ^аи~^аи = 1 и все CLij^O9 то H увеличивается. (За исключе-
i J
нием того частного случая, в котором такое преобразование сводит­ся к одной только перестановке ру, когда H9 конечно, сохраняется неизменной.)
5. Пусть имеются два случайных события х и у9 как в пункте 3, не обязательно независимых. Для каждого частного, зна­чения /, которое может принимать X9 имеется условная вероятность Pi(Z) того, что у имеет значение /. Она равна
J
Мы определяем условную «энтропию» величины у9 Нх{у) как сред­нее значение «энтропии» у для каждого значения X9 вычисленное с учетом весов, соответствующих вероятностям частных значений х.
ГЛ. i. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ
23
Она равна
HM = -^Pihj) Iog P1(J).
U
Эта величина показывает, какова в среднем неопределенность зна­чения у при известном х. Подставляя значение P1(J)9 получим
нм = -S Pii> D 1ое P(U) + S P(U) iog S P(U) = н (х9у) - я (х)
U U J
или
Я(х, у)=Н(х)+Нх(у).
Неопределенность (или «энтропия») совместного события (х, у) есть неопределенность события х плюс неопределенность события у, когда х известно.
6. Из 3 и 5-го пунктов имеем
Н(х) + Н(у) > Я(х, у) = Н(х) + Нх(у).
Отсюда
Н(У) > Нх(у).
Неопределенность события у никогда не возрастает вследствие знания события х. Она уменьшается, если только события х и у не являются независимыми.- В противном случае она не изме­няется.
6. «ЭНТРОПИЯ» -ИСТОЧНИКА СООБЩЕНИЙ
Рассмотрим дискретный источник с конечным числом состояний, вроде рассмотренных выше. Для каждого возможного состояния i имеется совокупность вероятностей Pi(J) создания различных воз­можных символов /. Для каждого состояния существует «энтропия» Hi. «Энтропия» источника определяется как среднее значение этих Hiy каждому из которых приписан вес, в соответствии с вероят­ностью появления соответствующего состояния
H= 2 PiHl = - у4 Pi Pi(J) Iog P1(J).
i U
Это — «энтропия» источника на символ текста. Если процесс Мар­кова развивается с определенной скоростью, то можно говорить также об «энтропии» в секунду
i
где J1 — средняя частота (появлений в секунду) состояния и Оче­видно,
Ht= тНу
где т — среднее число символов, создаваемых за 1 сек.
H или H' измеряют количество данных, создаваемое источником на символ или за секунду. Если в качестве основания логарифмов
24
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
выбрано 2, то они будут выражены в двоичных единицах на символ или за секунду.
Если последовательные символы независимы, то H просто рав­няется — 2 Pi lcS Piy где Л — вероятность символа /. Предполо­жим, что в этом случае мы рассматриваем длинное сообщение из N символов. Оно будет содержать с большой вероятностью около P1N появлений первого символа, p2N появлений второго и т. д. Отсюда вероятность данного частного сообщения будет при­ближенно равна
P = Ppi^ Pp2'".-. Ррп"
или
Iogp = N^i P1 Iog рг
i
Iogp = -NH,
я = А.
1 N '
Поэтому H приближенно равна логарифму обратной величины вероятности типичной длинной последовательности, деленному на число символов в последовательности. Тот же результат сохра­няется и для любого источника.
Формулируя более точно, имеем (см. Приложение 3):
Теорема 3
Для любых заданных е>0 и 8>0 можно найти такое N0f что последовательности любой длины N>N0 распадаются на два класса:
1. Группа последовательностей, общая вероятность которых меньше, чем е.
2. Остаток, все члены которого обладают вероятностями, удовлетворяющими неравенству
Iog-
1
N
H
IogA
Другими словами, почти достоверно, что весьма бли-
зко к Hf когда N велико.
Близкий результат справедлив для любого числа последователь­ностей с различными вероятностями.
Рассмотрим опять последовательности длины N. Расположим их в порядке уменьшения вероятностей. Введем n(q) — числа последовательностей, которые мы должны взять из этой совокуп­ности, начиная с наиболее вероятной последовательности, чтобы
ГЛ. i. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ
25
накопить полную вероятность q для взятых нами последователь­ностей.
Теорема 4
Ит1£|п(?)=Я(
когда q не равно нулю или единице.
\ogn(q) можно истолковать как число двоичных единиц, требуе­мых для описания последовательности, когда рассматриваются только наиболее вероятные последовательности с общей вероят­ностью q. Тогда log^*7* есть число двоичных единиц на символ,
необходимых для описания последовательностей. Теорема гласит, что для больших N оно не зависит от q и равно Я. Быстрота 'воз­растания логарифма числа сравнительно вероятных последователь­ностей определяется величиной Я, независимо от истолкования термина «сравнительно вероятный». Благодаря этим результатам, доказанным в Приложении 3, можно в большинстве случаев рас­сматривать длинные последовательности, как если бы их было 2™, каждая с вероятностью 2~HN.
Следующие две теоремы показывают, что Я и Я' могут быть определены предельными переходами непосредственно из ста­тистики последовательностей сообщений без рассмотрения веро­ятностей состояний и вероятностей переходов между состоя­ниями.
Теорема 5
Пусть P(Bi) — вероятность появления на выходе источника последовательности символов Bi. Пусть
G"=--4S P(^)Iogp(Bi),
i
где суммирование распространяется на все последовательности Bif содержащие N символов. Тогда Gn является монотонно убы­вающей функцией от Я и
Iim Gn= Я.
N-* оо
Теорема 6
Пусть p(Bif Sj) — вероятность появления последовательности
Bif сопровождаемой символом Sy, а P8 (Sj) = Р^в^--условная
вероятность того, что Sy следует за Bi. Пусть
26
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
где суммирование распространено по всем группам B1 из N-I символов и по всем символам Sy. Тогда Fn является монотонно убывающей функцией от N
n
Fn=NGn-(N-I)Gn-I, Gn = JT^Fn, Fn <GN
1
и
Wm Fn= Н.
Все эти результаты получены в Приложении 3. Они показывают, что ряд приближений к H может быть найден путем рассмотрения одной только статистической структуры последовательностей, ох­ватывающих 1,2,..., N символов. Fn является наилучшим прибли­жением. В самом деле, Fn есть «энтропия» Я-го приближения к источнику рассмотренного выше типа. Если статистическое вли­яние, распространяющееся больше чем на Я символов, отсутст­вует, т. е. если' условная вероятность появления следующего символа, при условии знания предшествовавших (Я—1) сим­волов, не изменяется при ознакомлении с любыми символами, стоящими ранее, го Fn=H.
Fn является, конечно, условной «энтропией» следующего сим­вола, когда известны предыдущие (Я—1) символов, тогда как Gn— «энтропия» на символ для групп из Я символов.
Отношение «энтропии» источника к ее максимальному значе­нию, которое она может иметь при тех же символах, называется относительной «энтропией» источника. Как будет показано ниже, это — максимальная сжатость, которая может быть достигнута кодированием при помощи того же самого алфавита.
Единица минус относительная «энтропия» есть избыточность. Избыточность обычного английского текста, если не рассматривать статистическую структуру, относящуюся более чем к 8 буквам, составляет примерно 50%. Это значит, что когда пишут по-англий­ски, то половина знаков текста определяется структурой языка и лишь половина выбирается по желанию пишущего.
Число 50% было найдено несколькими независимыми методами, которые все дают сходные результаты. Одним из таких методов было вычисление «энтропии» приближений к английскому тексту. Другой состоял в исключении из образцов английского текста некоторой части букв, после чего делалась попытка их восстановить. Если бы их удалось восстановить, когда 50% текста исключено, избыточность должна бы быть больше, чем 50%. Третий метод связан с некоторыми известными выводами криптографии.
ГЛ. i. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ
27
7. ПРЕДСТАВЛЕНИЕ ПРОЦЕССОВ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ
Теперь нужно представить математически операции, выполня­емые передатчиком и приемником с целью кодирования и деко­дирования сообщений. Каждый из них будет называться дискрет­ным четырехполюсником. На вход четырехполюсника поступает последовательность входных символов, а на выходе получается последовательность выходных символов. В общем случае выходной эффект четырехполюсника зависит не только от наличного вход­ного символа, но также и от предыдущих. Предположим, что су­ществует конечное число т возможных состояний четырехполюс­ника и что его выходной эффект является функцией наличного состояния и наличного входного символа. Следующее состояние будет функцией этих двух величин.
Поэтому четырехполюсник может быть описан двумя функциями:
где хп есть п-й входной символ, <хп — состояние четырехполюс­ника в момент введения я-го входного символа, уп — выход­ной символ (или последовательность выходных символов), создаваемый, когда на входе действует символ хп и четырех-* полюсник находится в состоянии ап.
Если выходные символы четырехполюсника можно отождест­вить со входными символами другого четырехполюсника, то че­тырехполюсники могут быть соединены последовательно, в ре­зультате чего получится новый четырехполюсник.
Если существует второй четырехполюсник, который работает от выхода первого четырехполюсника и восстанавливает исход­ный входной сигнал, то первый четырехполюсник называется несингулярным, а второй — ему обратным.
Теорема 7
Выход четырехполюсника с конечным числом состояний, возбуждаемого статистическим источником также с конечным числом состояний, является статистическим источником с ко­нечным числом состояний и с «энтропией» (на единицу времени), меньшей или равной «энтропии» на входе. Если четырехполюсник не сингулярен, «энтропии» равны.
Пусть ос представляет собой состояние источника, который дает последовательность символов Xiy и пусть P — состояние че­тырехполюсника, который создает на выходе группы символов yt. Комбинированная система может быть представлена «простран­ством результирующих состояний» пар (а, Р). Две точки в этом пространстве (аь P1) и (а2, р2) соединяются линией, если состоя-
28
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
ние Cti может создать ху который превращает P1 в р2, и эта линия дает вероятность этого х в данном случае. Линия обозначается группой из уг символов, создаваемых четырехполюсником.
«Энтропия» выходного эффекта может быть вычислена как взвешенная сумма по всем состояниям. Если суммировать сна­чала по Р, то получающиеся члены меньше или равны соответствую­щим членам для а, следовательно, «энтропйя» не возрастает. При­соединим выход несингулярного четырехполюсника к обратному четырехполюснику. Если Н\у Hf2 и Н'ъ суть «энтропии» выходных эффектов соответственно источника, первого и второго четырех­полюсников, то Н\>Н'2>Н^=Н\ и, следовательно:
я; =я*,
Пусть имеется система с ограничениями, наложенными на возможные последовательности того типа, который можно пред­ставить линейным графиком фиг. 2. Если вероятности p{sX припи­саны различным линиям, соединяющим состояние / с состоянием /, то эта система будет источником. Существует один частный способ назначить вероятности, который дает максимум «энтропии» (см. Приложение 4).
Теорема 8
Пусть система с ограничениями, рассматриваемая как канал, обладает пропускной способностью C=IogU?. Если положим
Bj
IJ
где T*! — длительность s-ro символа, ведущего от состояния i к
V-
состоянию /, а B1 удовлетворяет условию
Bl=^BjW V,
StJ
то «энтропия» H имеет максимум и равна пропускной способ­ности С.
Путем надлежащего назначения вероятностей переходов «энт­ропия» символов в канале может быть доведена до максимума, равного пропускной способности канала.
8. ОСНОВНАЯ ТЕОРЕМА ДЛЯ КАНАЛА БЕЗ ШУМОВ
Проверим теперь правильность интерпретации величины Hy как скорости создания данных, путем доказательства того, что H определяет пропускную способность канала, необходимую при наиболее эффективном кодировании.
ГЛ. i. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ
29
Теорема 9
Пусть источник имеет «энтропию» H (двоичных единиц на сим­вол), а канал обладает пропускной способностью С (двоичных единиц в 1 сек.). Тогда можно закодировать сообщения на выхо­де источника таким образом, чтобы передавать символы по ка-
C л налу со средней скоростью-^--е символов в 1 сек., где е — сколь
угодно мало. Передавать со средней скоростью, большей чем С
-Jfy невозможно.
Обратная часть теоремы, утверждающая, что нельзя прев­зойти скорости А, может быть доказана, если заметить, что «энт­ропия» на входе канала за 1 сек. равна «энтропии» источника, так как передатчик должен быть несингулярным четырех­полюсником, и что эта «энтропия» не может превзойти пропускной способности канала. Отсюда #'<С и число символов в 1 сек.
равно _ < _ .
Первая часть теоремы будет доказана двумя различными спо­собами. Первый способ состоит в рассмотрении совокупности всех последовательностей из N символов, создаваемых источником. При большом N можно разделить их на две группы, одна из которых содержит меньше чем 2(H+ri)N членов, а вторая меньше чем 2RV членов (где R — логарифм числа различных символов) и имеет полную вероятность, меньшую ja. Если N возрастает, т\ и ц приближаются к нулю. Число сигналов в канале, каждый длительностью Tt больше чем 2(С_0)Г, причем 6 мало, когда T велико. Если-выбрать
то найдется достаточное число последовательностей канальных символов для группы, обладающей высокой вероятностью, когда NuT достаточно велики (как бы ни было мало X), а также несколько добавочных последовательностей символов. Группа последовательностей с высокой вероятностью произвольным, взаимно однозначным образом, кодируется в эту совокупность. Остающиеся последовательности представляются более длинны­ми, начинающимися и заканчивающимися одной из последова­тельностей, не использованных для группы с высокой вероят­ностью. Эта особая последовательность играет роль стартстопного сигнала другой кодовой комбинации.
Между ними сохраняется временной интервал, необходимый для образования достаточного числа различных последователь-
ностей для всех маловероятных сообщений. Для этого потребуется
R С
где w мало.
Средняя скорость передачи символов сообщения в 1 сек. будет тогда больше, чем
При возрастании Nby Xhw стремятся к нулю, а скорость прибли­жается к -у.
Другой подход к такому кодированию и иной метод доказа­тельства теоремы состоят в следующем. Расположим сообщения длиной N в порядке убывания вероятностей, и пусть эти вероят­ности будут P1 > р2> рг....>рп.
S-I
Пусть P5 = S Pi* эт0 значит> что Ps есть накопленная вероят­ность вплоть Aops^l включительно. Произведем сначала кодирование подво^чной системе. Кодовая комбинация для сообщения s получает­ся путем разложения Ps как двоичного числа. Разложение будет содержать ms позиций, где ms есть целое число, удовлетворяющее соотношению
Icg2-A^Xl +Icg2A.
Ps Ps
Таким образом, высоковероятные сообщения представляются короткими кодовыми комбинациями, а маловероятные — длин­ными. Из этих неравенств вытекает
77 <Ps < 7^7=1 •
Новая комбинация для Ps будет отличаться от всех последующих одним или более из своих ms знаков, так как все остающиеся P19
по крайней мере, на —\-~ больше, и потому их двоичное разложе-
2 8
ние отличается первыми ms знаками. Следовательно, все кодовые комбинации различны, и по ним можно восстановить сообщение. Если канальные последовательности не всегда являются после­довательностями двоичных знаков, они могут быть записаны дво­ичными знаками произвольным образом, а двоичный код пре­образован в сигналы, годные для канала.
ГЛ. i. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ
31
Среднее число H1 двоичных знаков, употребляемых на символ первоначального сообщения, легко определить. Мы имеем
Я1=4гХтЛ-
Но
IS (1°^) Ps^ IS *А<12 (1 + 1og2£)р"
и поэтому
GnKH1^Gn +Jf-.
Когда N увеличивается, Gv сходится к H — «энтропии» источ­ника, а H1 сходится к Я.
Отсюда видно, что неэффективность кодирования в случае конечного времени запаздывания N символов не должна быть больше,
чем — плюс разность между истинной «энтропией» Я и «энтропией»
N
Gn, вычисленной для последовательностей длины N. Избыточ­ное относительное время, потребное сверх идеального случая, будет поэтому меньше, чем
A,_L_i
— ^HN Ь
Этот метод кодирования в сущности совпадает с методом, не­зависимо найденным Р. М. Фэно. Его метод состоит в располо­жении сообщений длины N в порядке убывающих вероятностей. Этот ряд делится на две группы, по возможности с равными вероят­ностями. Если сообщение относится к первой группе, его первая двоичная цифра будет 0, в противном случае—1. Группа подоб­ным же образом разделяется на подгруппы примерно равной ве­роятности, и частная подгруппа определяет второй двоичный знак. Этот процесс продолжается до тех пор, пока не получатся под­группы, содержащие только по одному сообщению. Легко видеть, что за исключением незначительных отличий (в общем случае в последней цифре) это приводит к тому же самому положению ве­щей, как и описанный выше арифметический процесс.
9. ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ И ПРИМЕРЫ
Для передачи максимальной мощности от генератора в нагруз­ку в общем случае применяется трансформатор, который делает сопротивление генератора, наблюдаемое со стороны нагрузки, рав­ным сопротивлению нагрузки. В рассматриваемом случае поло­жение вещей, грубо говоря, аналогично. Четырехполюсник, осу-
32
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ ^
ществляющий кодирование, согласовывает источник с каналом в статистическом смысле. Источник, рассматриваемый через четы­рехполюсник со стороны канала, должен иметь ту же самую стати­стическую структуру, какую имеет источник, обеспечивающий максимум «энтропии» в канале.
Содержание теоремы 9 сводится к тому, что, хотя точное согла­сование в общем случае невозможно, к нему можно подойти сколь угодно близко. Отношение действительной скорости передачи к пропускной способности канала может быть названо эффектив­ностью кодирующей системы. Она, конечно, равна отношению дей­ствительной «энтропии» канальных символов к максимально воз­можной «энтропии».
Вообще говоря, идеальное или близкое к этому кодирование требует длительных временных задержек в передатчике и при­емнике. В случае отсутствия шумов, который и рассматривается, главное назначение этих задержек состоит в рациональном согла­совании вероятностей с соответствующими длительностями после­довательностей. При хорошем коде логарифм обратной величины вероятности длинного сообщения должен быть пропорционален длительности соответствующего сигнала; действительно
IogJ-
должно быть мало для всех длинных сообщений за исключением их небольшой части.
Если источник может давать только одно определенное сообще­ние, его «энтропия» равна нулю, и канал не нужен. Например, счетная машина, спроектированная для вычисления последова­тельных цифр числа iz9 дает определенную последовательность без всяких элементов случайности. Для «передачи» этой последова­тельности в другую точку не нужно никакого канала. Во второй точке можно построить другую машину, вычисляющую ту же са­мую последовательность. Однако это может быть непрактично. В этом случае можно игнорировать статистические сведения об источнике или только часть их. Можно рассматривать цифры числа т: как случайную последовательность и сконструировать систему, способную передавать любую последовательность цифр.
Подобным же образом можно использовать некоторые из ста­тистических сведений об английском тексте при составлении кода. В этом случае рассматривается источник с максимальной «энтро­пией», подчиненный статистическим условиям, которые пожелали сохранить. «Энтропия» этого источника определяет необходимую и достаточную пропускную способность канала. В примере с числом тс оставлены только те сведения, что все цифры выбираются из ряда 0,1,...,9. В случае английского текста можно пожелать использо-
ГЛ. i. ДИСКРЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ
33
вать статистическую экономию, возможную благодаря знанию ча­стот букв, но ничего больше. Источник с максимальной «энтропией» будет тогда первым приближением к английскому тексту и его «энтропия» определит необходимую пропускную способность ка­нала.
В качестве простого примера использования некоторых из по­лученных результатов рассмотрим источник, создающий последо­вательность букв, выбранных из ряда Ay By С, Dc вероятно­стями V2, 1 4» 1^s» 1Zs» причем последовательные символы выбираются независимо. Имеем
и /1 , IlIi 1,2. 1 \ 71
H = - ^ Iog2 т + j Iog2- + Tlog2Tj = т
двоичных единиц символ
Таким образом, для кодирования сообщений этого источника двоичными знаками в пределе достаточно в среднем V4 знака на символ.
В этом случае можно действительно достигнуть предельного значения, применяя следующий код (полученный по^методу второго доказательства теоремы 9):
А О В 10 С ПО , D 111.
Среднее число двоичных знаков, применяемых для кодирования последовательности из N символов, будет
^({xi + 4х2+|хз) =\n.
Легко видеть, что двоичные знаки 0,1 имеют вероятности V2, V2, так что «энтропия» для кодированных последовательностей равна одной двоичной единице на символ. Так как в среднем имеем V4 двоичных знаков на букву оригинала, то «энтропия» на единицу времени будет той же самой. Максимально возможная «энтропия» для первоначального ряда равна lcg24=2 и имеет место, когда Ay By Cy D обладают вероятностями V4, V4, V4, V4. Отсюда относительная «энтропия» равна V8. Мы можем перевести двоичные последовательности в первоначальный ряд символов в соотношении 2 к 1 по следующей таблице:
00 At
01 Bf 10 С И Df
34
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
Этот двойной процесс кодирует первоначальное сообщение в те же самые символы, но со средним коэффициентом сжатия V8.
В качестве второго примера рассмотрим источник, дающий последовательность букв А и В с вероятностями р для Auq для В. Если p<^qf имеем
H = — Iog рр (1 — рУ -P = 1 -P
= —Plogp(I-P) р = = Plog J.
В этом случае можно построить хорошую систему кодирования сообщений в канале, передающем только 0,1, путем посылки спе­циальной последовательности, скажем 0000, для редкого символа А и затем последовательности, указывающей число букв В, следую­щих за ним. Это число может быть указано путем представления в двоичной системе, причем все числа, содержащие специальную последовательность, исключаются. Все числа до 16 изображаются как обычно; 16 передается следующим после шестнадцати двоич­ным числом, которое не содержит четырех нулей, а именно: 17= = 10001 и т. д.
Можно показать, что при р—>0 кодирование приближается к идеальному, если только длина специальной последовательности выбрана правильно. %
Глава II ДИСКРЕТНЫЙ КАНАЛ С ШУМАМИ
10. ПРЕДСТАВЛЕНИЕ ДИСКРЕТНОГО КАНАЛА С ШУМАМИ
Рассмотрим теперь случай, когда на сигнал в процессе передачи или на концах тракта воздействуют шумы. Это означает, что при­нимаемый сигнал не обязательно тот же самый, что посланный передатчиком. Можно различать два случая. Если данный .,передан­ный сигнал всегда создает тот же самый принятый сигнал, т. е. принятый сигнал является определенной функцией переданного сигнала, .то такой эффект может быть назван искажением. Если эта функция имеет обратную — никакие два переданных сигнала не создают одинаковых принятых сигналов, — то искажения могут быть скорректированы, по крайней мере принципиально, просто путем выполнения обратного функционального преобразо­вания принятого сигнала.
Интересен случай, когда сигнал испытывает не всегда одинако­вое изменение при передаче. Тогда можно считать принятый сиг­нал E функцией переданного сигнала S и другой переменной — шумов N
E = f(S,N).
Шумы рассматриваются как случайная переменная, точно так же как раньше рассматривалось сообщение. В общем случае шумы могут быть представлены подходящим стохастическим процессом. Наиболее общий тип дискретного канала с шумами, какой будет рассмотрен, является обобщением ранее описанного свободного от шумов канала с конечным числом состояний. Предположим, что число состояний конечно и имеется совокупность вероятностей
р* л
того, что если канал находится в состоянии а и передается символ /, то будет принят символ /, а канал перейдет в состояние [5. Таким образом, QL и P охватывают все возможные состояния, i — все воз­можные передаваемые* сигналы, а /—все возможные принимаемые сигналы. Если последовательные символы подвергаются воздей­ствию шумов независимо, имеется только одно состояние, и канал описывается совокупностью вероятностей переходов /?Д/> (вероят­ность того, что переданный сигнал i будет принят как /)
Когда на входе канала с шумами действует некоторый .лик сообщений, следует рассматривать два статистических оцесса,
36
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ сигналов
описывающих источник и шумы. Соответственно этому может быть вычислен ряд различных «энтропий».
Во-первых, существует «энтропия» Н(х) источника или «энтро­пия» на входе канала (они равны, если передатчик не сингулярен). «Энтропия» на выходе канала, т. е. «энтропия» принимаемого сиг­нала, будет обозначаться через Н(у). В случае отсутствия шумов Н{у} = Н(х). «Энтропия» совместного 'события для входа и выхода будет обозначаться через Н(х, у). Наконец, имеются две условные «энтропии» Нл(у) и Hu(X)f «энтропия» на выходе при известном эффекте на входе, и наоборот.
Между этими величинами имеет место соотношение
Я(х, у) = Н(х) + Нл(у) = Н(у) + Ну(х). Все эти «энтропии» могут измеряться за 1 сек. или на символ.
11. НЕНАДЁЖНОСТЬ И ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА
При наличии шумов, вообще говоря, невозможно на основании принятого сигнала восстановить исходное сообщение или передан­ный сигнал с полной определенностью. Однако имеются некоторые способы передачи сообщений, которые являются оптимальными в отношении борьбы с шумами. Эта задача и рассматривается ниже.
Предположим, что имеется два возможных сигнала 0 и 1 и что передача осуществляется со скоростью в 1000 символов в 1 сек.
с вероятностями P0=Pi=-^ Таким образом, данный источник создает сообщения со скоростью 1000 двоичных единиц в 1 сек. Во время передачи шумы вносят ошибки таким образом, что в сред­нем один из ста принятых сигналов неправилен (0 вместо 1 или 1 вместо 0).
Какова скорость передачи сообщений? Конечно, меньше/чем 1000 двоичных единиц в 1 сек., так как около одного процента принятых символов неправильны. Сразу же хочется сказать, что эта скорость составляет 990 двоичных единиц в 1 сек., т. е. просто вычесть число ошибок. Однако'это неправильно, здесь не учиты­вается, что получатель не знает, где именно произошла ошибка.
Можно рассмотреть крайний случай и предположить, что шумы столь велики, что принятые символы совершенно не зависят от пе­реданных. ВерЬятность приема 1 равна V2 при передаче любого сообщения и аналогично для 0. Тогда около половины всех при­нятых символов будут правильными благодаря одной только слу­чайности, и можно считать, что система способна передавать 500 двоичных единиц, в то время как в действительности данные вовсе не передаются. Можно было бы получить столь же «хорошую» передачу, отказавшись вообще от канала и подбрасывая монету в точке приема.
ГЛ. II. ДИСКРЕТНЫЙ КАНАЛ С ШУМАМИ
Очевидно, правильная поправка к количеству переданных данных равна количеству данных, отсутствующих в принятом сигнале, или иначе — неопределенности при приеме сигнала относи­тельно того, что именно было в действительности передано. На ос­новании предыдущих рассуждений относительно «энтропии» как меры неопределенности представляется рациональным использовать условную «энтропию» сообщения (при условии знания принятого сиг­нала) в качестве меры этих отсутствующих данных. Как увидим ниже, такое определение будет правильным.
Следуя этой идее, действительная скорость передачи может быть найдена путем вычитания из скорости создания сообщений (т. е. «энтропии» источника) условной «энтропии» Ну(х)
[R = Н(х)]-Ну(х).
Условная «энтропия» Ну(х) будет называться ненадежностью. Она измеряет среднюю неопределенность принятого сигнала.
В рассмотренном выше примере, если был принят нуль, то апостериорная вероятность того, что был передан нуль, равна 0,99, а что была передана единица,— 0,01. Если же была принята единица, то эти цифры поменяются местами.
Отсюда
„ двоичных единиц Hy(X) = - (0,99 lcg0,99 + 0,01 IogOlOl) - 0,081--
или 81 двоичная единица в 1 сек. Можно сказать, что система передает со скоростью 1000—81=919 двоичных единиц в 1 сок. В том крайнем случае, когда при передаче какого-то знака равно­вероятен прием как 0, так и 1, апостериорные вероятности равны V2, V2 и
Hy(X) = - I\ Icg 4-+ A Icg А V 1 Двоичных единиц yw Д 2 fe 2 ' 2 b 2 у символ
или 1000 двоичных единиц в 1 сек. Скорость передачи, как и следо­вало ожидать, равна в этом случае нулю.
Следующая теорема дает непосредственную интуитивную ин­терпретацию ненадежности и подтверждает, что она является един­ственной подходящей мерой.
Рассмотрим систему связи и наблюдателя (или вспомогательный прибор), который может наблюдать как то, что передается, так и то, что принимается (с ошибками из-за шумов). Этот наблюдатель от­мечает Ъшибки в воспроизводимом сообщении и передает данные в точку приема через «канал коррекции», чтобы дать возможность в точке приема исправить ошибки. Схематически это показано на фиг. 7
44 ЧАСТЬ I. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
Теорема 10
Если канал коррекции обладает пропускной способностью, равной Hy(x)f то можно таким образом закодировать данные кор­рекции, чтобы передать их по этому каналу, и скорректировать все ошибки за исключением произвольно малой доли е. Это не­возможно, если пропускная способность канала коррекции мень­ше, чем Ну(х).
Грубо говоря, Я Да;) есть количество дополнительных данных, которые должны быть переданы за 1 сек. в точку приема для кор­ректирования принятого сообщения.
Данные коррекции
Наблюдатель
M
M'
M
Источник Передатчик
Приемник Корректирующее устройство
Фиг. 7. Схема системы коррекции.
Для доказательства первой части теоремы рассмотрим длинные последовательности принятого сообщения Mf и соответствующее исходное сообщение М. Количество недостающих данных в приня­том сообщении Mf составляет (в логарифмической мере) ТНу(х). Поэтому следует передавать каждые T секунд ТНу(х) двоичных цифр. Это может быть сделано с частотой ошибок е в канале с про­пускной способностью, равной Ну(х).
Вторая часть теоремы может быть доказана, если заметить, что, во-первых, для каждых дискретных случайных переменных X9 У, г
Ну(х9 г) > Hy(X). Левая часть может быть представлена в развернутом виде
Hy(Z) +Hyz(X) > Hy(X)f Hvz (х) > Ну(х) - Hy (Z) > Hy (х) - H(z).
Если отождествить х с выходным эффектом источника, у — с принимаемым сигналом, а z — с сигналом, посланным по каналу коррекции, то правая часть равна ненадежности за вычетом ско-
ГЛ. II. ДИСКРЕТНЫЙ КАНАЛ С ШУМАМИ
39
рости передачи по каналу коррекции. Если пропускная способность этого канала меньше, чем величина ненадежности, правая часть будет больше нуля и Ниг(х)>0. Но это есть неопределенность того, что было передано, когда известен как принятый сигнал, так и сигнал коррекции. Если эта неопределенность больше нуля, ча­стота ошибок не может быть сколь угодно малой.
Пример. Предположим, что в последовательности двоичных чисел ошибки происходят хаотически, вероятность того, что цифра неправильна, равна /?, а вероятность того, что она правильна, рав­на q—\—р. Эти ошибки могут быть исправлены, если известно их положение. Таким образом, канал коррекции должен давать только сведения об этих положениях. Это сводится к передаче сообщений источника, который дает двоичные цифры с вероят­ностью р для 1 (правильно) и q для 0 (неправильно). Необходимая пропускная способность канала коррекции
— [р Iogp +q Icgq] равна ненадежности исходной системы.
Скорость передачи R может быть записана в двух различных формах на основании приведенных выше тождеств. Имеем R = H(X1) - Hv(X) = Н(у) - HM = Н(х) + Н(у) - Н(х, у).
Первое выражение всегда интерпретируется как количество пере­данных данных за вычетом неопределенности того, что было передано. Второе выражение измеряет количество принятых данных за вы­четом той части, которая обусловлена шумами. Третье выражение есть сумма количества переданных и количества принятых данных за вычетом «энтропии» совместных событий. Таким образом, все три выражения имеют определенное интуитивное значение.
Пропускная способность канала с шумами должна быть макси­мально возможной скоростью передачи, т. е. скоростью при долж­ном согласовании источника с каналом.
Определим поэтому пропускную способность канала как С = тах[Н{х) — Ну{х)],
где максимум взят по отношению ко всем возможным источникам сообщений, которые могут быть использованы как входные источ­ники канала. Если канал без шумов, то Ну(х)=0. Тогда это опре­деление эквивалентно тому, которое всегда давалось для канала без шумов, ибо по теореме 8 максимум «энтропии» для канала равен его пропускной способности.
12. ОСНОВНАЯ ТЕОРЕМА ДЛЯ ДИСКРЕТНОГО КАНАЛА ПРИ НАЛИЧИИ ШУМОВ
Мсжет показаться неожиданным, что рассматривается вопрос об определенной пропускной способности канала при наличии шу­мов, так как в этом случае невозможно передавать сообщения с до-
40
ЧАСТЬ I. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
стоверностью. Однако ясно, что при передаче с избыточными сим­волами вероятность ошибок может быть уменьшена. Например, путем многократного повторения сообщения и путем статистическо­го изучения различных принятых вариантов сообщения вероятность ошибок может быть сделана очень малой. Можно было бы ожидать, что для приближения вероятности ошибок к нулю избыточность кодирования должна неограниченно возрастать, вследствие чего скорость передачи должна приближаться к нулю.
Это ни в коем случае не верно, так как в противном случае не
существовало бы вполне определенной
пропускной способности канала, а бы­ла бы пропускная способность при заданной частоте ошибок или при за­данной ненадежности. Тогда пропуск­ная способность уменьшалась бы, по мере того как требованияотносительно ошибок становились бы более жест­кими.
В действительности пропускная способность имеет вполне определен­
Фиг. 8. Ненадежность, воз­можная при данной «энтропии» на входе канала.
ное значение. При должном кодиро­вании можно передавать по каналу сообщения со скоростью С при сколк
угодно малой частоте ошибок или при сколь угодно малой ненадежности. Это утверждение неверно для скоростей, превышающих С. При попытках передавать со скоростью, превышающей С, скажем С+Rl9 неизбежно появится ненадежность, равная или большая, чем R1.
Это положение иллюстрируется фиг. 8. Скорость создания сооб­щений в канале отложена по горизонтали, а ненадежность — по вертикали. Любая точка выше жирной линии в заштрихованной области может быть осуществлена, тогда как точки, распо­ложенные ниже жирной линии, не осуществимы. Точки самой линии, вообще говоря, не могут быть получены за исключением обычно двух.
Эти положения являются, основным подтверждением правиль­ности предложенного определения С; они будут сейчас доказаны.
T е о р е м а 11 4 Пусть дискретный канал обладает пропускной способностью Cy а дискретный источник — «энтропией» за 1 сек. Н. Если Н<С9 то существует такая система кодирования, что сообщения источника могут быть переданы по каналу с произвольно малой частотой ошибок (или со сколь угодно малой ненадежностью). Если #<С, то можно закодировать сообщения источника таким образом, чтобь! ненадежность была меньше, чем H—С+е, где е сколь угодно мало.
ГЛ. II. ДИСКРЕТНЫЙ КАНАЛ С ШУМАМИ
41«
Не существует способа кодирования, обеспечивающего ненадеж­ность меньшую, чем H—С.
Метод доказательства первой части этой теоремы состоит не в указании способа кодирования, обеспечивающего требуемые свойстеФ, а в доказательстве того, что такой код должен сущест­вовать •* определенной группе кодов. В действительности частота ошибок по этой группе усредняется, и будет показано, что это сред­нее значение может быть сделано меньше, чем е. Если среднее зна­чение совокупности чисел меньше, чем е, то в ней должно суще­ствовать, по крайней мере, одно число, которое меньше е. Это и устанавливает искомый результат.
Пропускная способность канала с шумами была определена как С = т&х[Н(х)—Ну{х)]> где х относится ко входу, а у — к выходу. Максимум отыскивается по всем источникам, которые могут быть использованы на входе канала. Если максимум в действительности не достигается ни при каком источнике, то пусть S0 означает источник, обеспечивающий приблизительно максимальную скорость.. Предполагая, что S0 используется как источник на входе канала, рассмотрим возможные передаваемые и принимаемые последовательности большой дли­тельности Tf Можно утверждать следующее:
1. Передаваемые последовательности распадаются на два класса: класс с большой вероятностью, содержащий около 2Tf1*x) членов, и остающиеся последовательности с малой общей вероятностью.
2. Аналогично и принимаемые последовательности распадаются на высоковероятную совокупность приблизительно из 2ГН{у) членов и маловероятную совокупность из остальных последователь­ностей.
3. Каждый высоковероятный выходной эффект может быть создан примерно 2Т11у{х) входными эффектами. Возможность всех остальных случаев имеет малую полную вероятность.
4. Каждый высоковероятный входной эффект может привести примерно к 2™jc{y) выходным эффектам. Все другие результаты имеют малую полную вероятность.
Все е и 8, связанные в этих утверждениях со словами «малый» и «приблизительно», стремятся к нулю, когда T заставляем увели­чиваться, а свойства S0 приближаем к свойствам оптимального источника.
Фиг. 9 иллюстрирует сказанное. На графике входные последо­вательности представлены точками слева, а выходные — точками справа. Расходящиеся линии («веер») наверху изображают ряд возможных случаев для типичного выходного эффекта. Нижний «веер» представляет возможные случаи для типичного входного эф­фекта. В обоих примерах отброшены последовательности «малой вероятности». ____ п
42
ЧАСТЬ I. СТАТИСТИЧЕСКАЯ . ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
Предположим теперь, что имеется другой источник, дающий сообщения со скоростью Ry причем /?<С. За период T этот источ­ник будет давать 2TR высоковероятных сообщений. Надо связать их с выбором возможных входных эффектов канала таким образом, чтобы иметь наименьшую частоту ошибок. Будем устанавливать эту связь всеми возможными способами (используя, однако, только высоковероятную группу входных эффектов, определяемых источ­ником S() и усредним частоту ошибок для этого широкого класса возмож­
M
ных систем кодирования. Это все рав-
но, что вычислять частоту ошибок для случайной связи сообщений и входных эффектов канала при дли­тельности Т.
Пусть наблюдается некоторый вы­ходной эффект Ij1. Какова вероят­ность, что более чем одно сообщение из числа возможных вызовет выход­ной эффект #!?.
Имеются 2TR сообщений, распре­деленных по случайному закону в 277v и) точках. Вероятность того, что некоторая данная точка будет сооб­щением, поэтому равна
2 -#(*)!.
2тнх(У) • возможных эффектов от каждого M »
Вероятность того, что ни одна точка «веера» не будет сообщением (кроме
действительного исходного сообще-
Фиг. 9. Схематическое пред­ставление соотношений между входными и выходными эффек­тами в канале.
ния), равна
JTHy(X)
P = (\—2T[R~H{x)]) Но R <[Н{х) —Hy(X)I так что R — Н(х) =— Ну(х) — т), причем Tj — положительно. Следовательно:
P =(\-2-™у{х)-Т7>)2 У при T-^oo стремится к
1-2-г\
Отсюда вероятность ошибок стремится к нулю и тервая часть тео­ремы доказана.
Вторую часть теоремы легко доказать, замечая, что можно про­сто передавать от источника С двоичных единиц в 1 сек., полностью
ГЛ. II. ДИСКРЕТНЫЙ КАНАЛ С ШУМАМИ
43
пренебрегая остатком создаваемых данных. В приемнике пренеб-регаемая часть данных создаст ненадежность Н(х)—С, а переда­ваемая часть должна лишь добавить е. Этот предел можно также получить многими другими способами, как будет показано при рассмотрении канала с непрерывной передачей.
Последнее утверждение теоремы является прямым следствием определения пропускной способности канала.
Предположим, что можно закодировать сообщения источника, обладающего скоростью H(x)=C+af таким образом, чтобы полу­чить ненадежность Ну(х)=а—е, хде г — положительно. Тогда
ад—Hy(X) = C+в,
где £ — положительно. Это противоречит определению С как мак­симума величины Н(х)—Ну(х)-
В действительности здесь доказано больше, нежели утверждает­ся в теореме. Если среднее значение множества * положительных чисел отличается от нуля меньше, чем на s, то только часть из них, не превышающая |7е»может быть больше уТ.Так как е сколь угод­но мало, можно сказать, что почти все системы сколь угодно близки к идеальной.
13. ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Доказательство теоремы 11, не будучи чистым доказательством существования, обладает некоторыми недостатками подобных доказательств. Попытка осуществить хорошее приближение к иде­альному кодированию по методу, примененному в доказательстве, вообще говоря, представляется непрактичной. Действительно, за исключением нескольких довольно тривиальных случаев и не­которых предельных положений никаких явных свойств ряда при­ближений к идеальному методу не найдено. Вероятно, это не слу­чайно, а связано с трудностью задания определенной конструк­ции, хорошо апроксимирующей случайную последовательность.
Приближение к идеальному методу обладало бы тем свойством, что оригинал мог бы быть еще восстановлен из сигнала, допусти­мым образом измененного помехами. Другими словами, предпо­лагается, что это изменение не делает принимаемый сигнал ближе к другим возможным сигналам, чем к оригиналу.
Это достигается ценой введения некоторой избыточности при кодировании. Избыточность должна быть введена соответствующим образом для борьбы против действующих в канале шумов опреде­ленной структуры. Всякая избыточность источника будет обычно помогать, если она используется в точке приема. В частности, если источник всегда имеет некоторую избыточность и не принято ника­ких попыток исключить ее при согласовании с каналом, эта избы­точность будет помогать в борьбе с шумами. Например, в телеграф­ном канале без шумов можно сэкономить около 50% времени путем
44
ЧАСТЬ I. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
правильного кодирования сообщений. Это не делается, и большая часть избыточности английского текста остается в символах канала. В результате при передаче оказываются допустимыми довольно сильные шумы. Значительная часть букв может приниматься неправильной восстанавливаться на основании контекста.
При отсутствии шумов для приближения к идеальному кодиро­ванию требуется, вообще говоря, некоторая временная задержка. Теперь она приобретает новую функцию, позволяя большему «об­разцу» шумов воздействовать на сигнал, прежде чем какое-либо суждение будет сделано в точке приема относительно исходного» сообщения. Увеличение размера «образца» всегда усиливает воз­можные статистические утверждения.
Содержание теоремы 11 и ее доказательство могут быть сфор­мулированы несколько иным способом, который устанавливает более непосредственную связь со случаем отсутствия шумов. Рас­смотрим возможные сигналы длительностью T и предположим, что из них выбрана некоторая подгруппа используемых сигналов. Пусть все сигналы подгруппы употребляются с одинаковой вероят­ностью; при этом предположим, что приемник устроен так, что, когда принимаются искаженные сигналы, он выбирает в качестве действительного сигнала наиболее вероятный из этой подгруппы. Обозначим через N(Tyq) максимальное число сигналов, которые могут быть выбраны, для подгруппы таким образом, что веро­ятность ложной интерпретации меньше или равна q.
Теорема 12
Если С — пропускная способность канала,,то при условии, что q не равно 0 или 1
Iim М1(ТМ_ = с.
Другими словами, независимо от требований надежности можно в течение времени T уверенно различить достаточно сообщений,, соответствующих примерно CT двоичных единиц, если T достаточно велико. Теорему 12 можно сравнить с определением пропускной способности канала без шумов, данным в главе I.
14. ПРИМЕР ДИСКРЕТНОГО КАНАЛА
Простой пример дискретного канала иллюстрирует фиг. 10. Имеются три возможных символа. Первый символ никогда не под­вергается воздействию шумов. Второй и третий символы имеют вероятность р пройти неискаженными, и вероятность q превратится в другой символ той же пары. Положим а=—(р lcgp+qlcg q) и пусть PyQnQ — вероятности употребления соответственно перво­го, второго и третьего символов.
ГЛ. II. ДИСКРЕТНЫЙ КАНАЛ С ШУМАМИ
45
Имеем
Н(ху=-P IcgP—2Q IcgQ, Hy(X) = 2Qa.
Надо выбрать PnQ таким образом, чтобы Н(х)—Ну(х) имело мак­симум при наложении условия P+2Q=1. Тогда
U=-PlcgP -2Q Icg Q -2 Qa + ) (Р + 2Q), ?p=-l-lcgP + X=0,
A =-2-2 Icg Q -2а -и 2Х =0.
P
Лередсгвсгемь/е символы
Принимаемые символы
P
Фиг. 10. Пример дискретного канала. Исключая X, напишем
lcgP = lcgQ + a, P = Qe= Q?,
P = -L • О - —!-fi + 2 ' 4 ~~ р + 2
Пропускная способность канала равна
C = Icg^
Заметим, как это подтверждает очевидные значения в случае
P=I и р= L В первом случае р=1 и C=Icg 3, что правильно, так
как канал свободен от шумов и имеет три возможных символа.
Если P=-T^y Р=2 H*C=lcg2. Здесь второй и третий символы не могут
быть отличимы друг от друга и действуют совместно как один
символ. Первый символ употребляется с вероятностью ^=+, а
второй и третий вместе — с вероятностью V2, которая может быть распределена между ними любым способом, причем всегда дости­гается максимальная пропускная способность.
При промежуточных значениях р пропускная способность ка­нала будет заключена между Icg 2 " Icg 3. Различие между вторым
46
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
и третьим символами может быть использовано для передачи неко­торого количества сведений, но меньшего/чем в случае канала без; шумов. Первый символ употребляется несколько чаще, чем два остальных, так как на него не воздействуют шумы.
15. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА В НЕКОТОРЫХ СПЕЦИАЛЬНЫХ СЛУЧАЯХ
Если шумы воздействуют на последовательные символы в ка­нале независимо, то для вычисления пропускной способности можно-воспользоваться совокупностью вероятностей переходов ри-. Это — вероятность того, что если послан символ /, то будет принят символ /. Максимальная скорость передачи сообщений в канале определяет­ся в этом случае максимумом выражения
-2 W«S PiPu+2piPt№Pij'
где изменяем Pi при условии 2 Pi=E По методу Лагранжа это приводит к уравнениям
Умножение на Ps и суммирование по s показывают, что (х=—С. Обозначим величины, обратные psj (если они Существуют), через; Hstf так что S Ktpsj = Kj.
S
Тогда
2 Kt Psj Icg Psj- Icg S PiPit = — CS Kt •
sj i s
Отсюда
2Pi pu = ехр(С Jjhst+YiKtPsj Iegpz7)
/ S Sj
ИЛИ
Pt = S Kt ехр (С2 Kt + S Kt Psj Icg Psj)
t S St j
Это — система уравнений для определения оптимальных зна­чений Pit причем С должно быть определено таким образом, чтобы 2Р/=1. Когда это сделано, С будет пропускной способностью канала, а Pi — соответствующими вероятностями канальных сим­волов, при которых может быть получена такая пропускная спо­собность.
Если каждый входной символ имеет одинаковую совокупность вероятностей на исходящих от него на диаграмме линиях и то же самое справедливо для каждого выходного символа, пропускная способность может быть легко вычислена.
гл. ii. дискретный канал с шумами
47
Примеры показаны на фиг. 11. В таком случае Ну(х)ис зави­сит от распределения вероятностей между входными символами и равняется —2/Ag Piy где Pi — значения вероятностей перехо­дов от любого входного символа. Пропускная способность канала равна
тах [Н(у) — Нх(у)] = = тах H(у) + 2 Pi Iog Pi.
а 6 *
Фиг. 11. Примеры дискретных каналов с одинаковы­ми вероятностями переходов (для каждого входного и выходного эффекта).
Максимум H(у)у очевидно, равен Jcg ту где т — число выходных символов, так как все они могут быть сделаны равновероятными, если сделать равновероятными входные символы. Поэтому^про-пускная способность канала равна
C= Iog т+ 2 Pi Iog Pi.
Для случая, приведенного на фиг. 11,а,
С = Iog4— Iog 2= Iog 2.
Это значение будет достигнуто при использовании только первого и третьего символов.
Для случая, показанного на фиг. 11,6,
С = Iog 4- A Iog 3- -L Iog 6= = Iog 4- Iog 3- A Jog 2= IogA2V,
Для случая, приведенного на фиг. 11,в, идоеем
С = Iog 3- A Icg 2- -1 Iog 3- 4 Iog 6 =
= l0g 2^31/' 61/«'
48
ЧАСТЬ I. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
Предположим, что символы распадаются на различные группы таким образом, что шумы никогда не превращают символы одной группы в символы другой группы. Пусть пропускная способность для п-й группы равна Cv (в двоичных единицах за 1 сек.), если упот­ребляются только символы этой группы. Тогда легко показать, что для наилучшего использования всей совокупности полная ве­роятность Pn всех символов в п-й группе должна быть
Внутри группы вероятности распределяются как раз так, как если бы эти символы были единственно используемыми. Пропускная способность канала равна
;g£2
16. ПРИМЕР ЭФФЕКТИВНОГО КОДИРОВАНИЯ
Следующий пример, хотя и несколько искусственный, является случаем, в котором возможно точное согласование с каналам, подверженным влиянию шумов. Имеются два канальных символа О и 1, а шумы воздействуют на них в группах из 7 символов. Группа из 7 символов либо передается без ошибок, либо в ней оказывается ошибочным ровно 1 символ из 7. Эти 8 вероятностей одинаковы. Имеем
>о ттт/ \ тт / \, 1 /- . 8 , 1 \ 4 двоичных единиц
С = шах Щу) - Нх{у)\ =-тг (7+-8 Icg -8 ) =-7--
Эффективны;" код, обеспечивающий полную коррекцию ошибок и передачу со скоростью С, представляет собой следующее.
Пусть группа из 7 символов будет Xl9 X2t..., X7. Из них X39 X5t X6t X7 — символы сообщения, которые зависят от характера сообщения. Остальные три символа являются избыточными и вы­бираются следующим образом:
Xa выбирается так, чтобы а=ХА+Х5+Х6+Х7 было четным X2 » » » $=х2+Х3+Х6+Х7 » »
Xi » » » Y=^i~b^3+X>+^7 » »
Когда группа из 7 символов принята, вычисляются а, В, у, и если они окажутся четными, то означают нуль, а если нечетными, то означают единицу. Двоичные цифры а, [5, у дадут тогда индексы тех Xjt которые являются ошибочными (если получится 0, то это означает отсутствие ошибок).
Глава III НЕПРЕРЫВНЫЕ СООБЩЕНИЯ
Рассмотрим теперь случай, когда сигналы или сообщения (или те и другие) являются непрерывными переменными в противо­положность исследованным ранее дискретным системам. При этом значительная часть результатов может быть получена пре­дельным переходом от дискретного случая путем деления всего континуума сообщений или сигналов на большое, но конечное число малых областей и вычисления различных параметров, введен­ных на дискретной основе. По мере уменьшения размеров областей эти параметры в общем сходятся в пределе к соответствующим значениям для непрерывного случая.
В непрерывном случае не будем стремиться к наибольшей общности или к полной математической строгости, так как это связано с широким применением абстрактной теории размерностей. Предварительное изучение, однако, показывает, что теория может быть сформулирована совершенно аксиоматическим и строгим об­разом, включая как непрерывный и дискретный случаи, так и многие другие. Некоторые вольности, допущенные в настоящем анализе при предельных переходах, во всех случаях, представляю­щих практический интерес, могут быть оправданы.
17. МНОЖЕСТВА И АНСАМБЛИ ФУНКЦИЙ
В непрерывном случае встречаемся со множествами функций и с ансамблями функций. Множество функций, как указывает само название, есть просто некоторый класс или набор функций обычно одной переменной — времени. Оно может быть определено либо путем явного представления различных функций во множестве, либо неявно, путем указания тех свойств, которыми обладают функции множества, а другие функции нет. Приводим некоторые примеры:
1. Множество функций
/e(Z)=sin (t+Q).
Каждое частное значение 6 определяет частную функцию множества.
2. Множество всех функций времени, не содержащих частот выше W гц.
50
часть i. статистическая теория передачи сигналов
3. Множество всех функций, ограниченных по полосе частотой W и по амплитуде — амплитудой А.
4. Множество всех английских речевых сигналов, рассматри­ваемых как функции времени.
Ансамбль функций есть множество функций вместе с вероят­ностной мерой, посредством которой можно Определить вероят­ность того, что функция множества обладает некоторыми определен­ными свойствами 1J. Например, вместе со множеством
/e(Z) = sin (Z + 0)
можно задать распределение вероятностей для б, т. е. P(Q). В та­ком случае множество становится ансамблем.
Приведем некоторые другие примеры ансамблей функций:
1. Конечное множество функций Za(Z) , где £=1,2,..., п9 вместе с вероятностью того, что Za есть Pk .
2. Множество функций с конечным числом измерений
Z(ai» a2,.,., ал; t) вместе с распределением вероятностей для параметров Ol1
р(оъ Ct2,..., ал).
Например, можно рассмотреть ансамбль, определяемый в виде
п
f(al9...9 ап9 B19 Qn; t)= y^an sin n(wt + Qn),
я=1
где амплитуды at распределены нормально и независимо, а фазы Oi распределены равномерно и независимо в интервале (0-^-2тс).
3. Ансамбль
f(ai91) =^an ^pwt-n) '
где at распределены по нормальному закону, _независимы и все имеют одно и то же стандартное отклонение Y^. Это выражение представляет «белые» шумы, полоса частот которых ограничена участком лот 0 до гц9 а средняя мощность равна N2). —~~————- I \
1) По математической терминологии функции принадлежат к измери­мому пространству, полная мера которого есть единица.
*) Это представление может быть использовано как определение «белых* шумов с ограниченной полосой частот. Оно имеет некоторые преимущества, связанные с меньшим числом предельных переходов, нежели определения, применявшиеся в прошлом. Термин «белые шумы», прочно укоренившийся в литературе, представляется несколько неудачным. В оптике под белым све­том понимается излучение, имеющее либо сплошной спектр (в противополож­ность линейчатому), либо спектр, равномерный по отношению к длине волны (а это не то же самое, что спектр, равномерный по отношению к частоте).
гл. iii. непрерывные сообщения
51
4. Пусть на оси Z распределены точки по закону Пуассона. В каждой избранной точке помещается функция f(t) и различ­ные функции складываются, давая ансамбль
£/(*+**).
A= - оо
где tk — точки, подчиняющиеся распределению Пуассона. Этот ансамбль может рассматриваться как разновидность импульсных или дробовых шумов, когда все импульсы одинаковы.
5. Система английских речевых функций с вероятностной мерой, определяемой частотой повторения при обычном использовании.
Ансамбль функций fa(t) называется стационарным, если при сдвиге всех функций во времени на некоторую фиксированную вели­чину получается тот же ансамбль.
Например, ансамбль
/8(Z) = sin (/ + б) ф,
является стационарным, если 0 равномерно распределены в интер­вале 0ч-2тс. Если сдвинуть каждую функцию на tu то полу­чается
U(t+ h)= sin (t +Z1 + 0)= sin (Z+ <f),
где <p распределены равномерно в интервале 0-f-27r. Каждая функ­ция изменилась, но ансамбль в целом при этом смещении остал­ся неизменным. В приведенных выше других примерах ансамб­ли также все стационарны.
Ансамбль называется эргодическим, если он является стационар­ным и если во множестве функций не существует подмножества функций с вероятностью, отличной от О и !,которое было бы стаци­онарным. Ансамбль
sin (Z+0)
является эргодическим. Никакое подмножество этих функций с вероятностью, отличной от О и 1, не может быть превращено в самое себя при всех временных смещениях. Вместе с тем ансамбль
а sin (/+0),
где а распределены по нормальному закону, а 6—равномерно, яв­ляется стационарным, но не эргодическим. Подмножество этих функций для а, заключенных между О и 1, например, является ста­ционарным и имеет вероятность, не равную О или 1.
Из приведенных выше примеров ансамблей 3-й и 4-й являются эргодическими, а 5-й, возможно, также может рассматриваться как эргодический. Если ансамбль эргодический, то, грубо гово­ря, каждая функция множества является типичной для ансамбля.
52
ЧАСТЬ i. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ СИГНАЛОВ
Более точно, в случае эргодического ансамбля среднее любой ста­тистической величины,взятое по ансамблю, равно (с вероятностью 1) среднему, взятому по всем временным смещениям некоторой част­ной функции множества Грубо говоря, можно ожидать, что по ме­ре течения времени каждая функция испытает с надлежащей частотой все изменения, претерпеваемые любой из функций множе­ства.
Выполняя различные операции с числами или функциями, полу­чаем новые числа или функции. Точно так же можно совершать операции над ансамблями для получения новых ансамблей. Допу­стим, например, что имеется ансамбль функций Za(Z) и оператор T9 который даст для каждой функции Za(Z) результат
ga(t)=T№.
Для множества ga{t) мера вероятностей определяется мерой для мно­жества fa(Z). Вероятность некоторого подмножества функций ga(f) равна вероятности подмножества функций fa(t)y которые создают члены данного подмножества функций g в результате операции Т. Физически это соответствует прохождению ансамбля через неко­торое устройство, например фильтр, выпрямитель или модуля­тор. Функции на выходе устройства образуют ансамбль ga(t).
Устройство или оператор будет называться инвариантным, если сдвиг входной функции приводит просто к сдвигу выходной функции, т. е. если
g*(t) = Tfa(t)
означает, что
gait+t^TUt+tJ
для всех Za(Z) и всех Z1. Легко показать (см. Приложение 5), что ес­ли Г— инвариантный оператор, а входной ансамбль стационарный, то выходной ансамбль также стационарный. Подобным же образом, если входной ансамбль эргодический, то выходной ансамбль бу­дет также эргодическим.
Фильтр или выпрямитель являются инвариантными устройствами при всех временных смещениях. Операция модуляции не является инвариантной, так как фаза несущей создает определенную времен­ною структуру. Однако модуляция инвариантна при всех сме­щениях, кратных периоду несущей.
Существует теснак св^зь между инвариантностью физических устройств при временных смещениях и теорией Фурье. Если устрой­ство линейно и инвариантно, то анализ методами Фурье является удобным математическим аппаратом для решения задачи.
1JStoh есть знаменитая эргодическая теорема Биркгофа—Хинчина или, вернее, один из вариантов этой теоремы^. См., например, Э. Хопф, «Эрго­дическая теория», Успехи математических наук, IV, вып. 1, 1949. (Прим. ред.)
ГЛ. III. НЕПРЕРЫВНЫЕ СООБЩЕНИЯ
53
Ансамбль функций представляет собой подходящее математи­ческое представление для сообщений, создаваемых непрерывным источником (например, речь), для сигналов от передатчика и для мешающих шумов. Теория связи имеет дело не с операциями над частными функциями, а с операциями над ансамблями функций. Система связи конструируется не для определенной речевой функ­ции и тем более не для синусоидальной функции, а для ансамбля речевых функций.
18. АНСАМБЛИ ФУНКЦИЙ С ОГРАНИЧЕННОЙ ПОЛОСОЙ
ЧАСТОТ
Если функция времени f(t) ограничена по полосе частот участ­ком от 0 до W гц , то она полностью определяется заданием ее ор­динат в ряде дискретных точек, отстоящих друг от друга на ^сек.
Теорема 131)
Пусть /(Z) не содержит частот, превышающих W гц. Тогда
' OO
f,j\_ V1 у sin7t(2№Z — п) 1\г>— 1лЛп п(2№ — п) '
где
В этом разложении /(Z) представлена как сумма ортогональных функций. Коэффициенты Xn при различных членах могут рассмат­риваться как координаты в «функциональном пространстве» с бес­конечным числом измерений. В этом пространстве каждой функции соответствует одна точка и каждой точке — одна функция.
Функция может рассматриваться как ограниченная временным интервалом T9 если все ординаты Xn вне этого временного интерва­ла будут равны нулю. В этом случае только 2TW координат отли­чаются от нуля. Таким образом, функции, ограниченные полосой частот W и длительностью T9 соответствуют точкам в простран­стве 2TW измерений.
Подмножество функций4 с полосой частот W и длительностью T соответствует области в этом пространстве. Например, функции, полная энергия которых меньше или равна E9 соответствуют точ­кам сферы из 2TW измерений с радиусом r=Y2WE.
Ансамбль функций с ограниченной полосой частот и огра­ниченной длительностью будет представляться распределейием
1J Эта теорема была установлена В. А.Котельниковым в 1933 г. (Прим. Ред.)
54
часть i. статистическая теория передачи сигналов
вероятностей p(xl9...9xn) в соответствующем л-мерном пространстве. Если ансамбль не ограничен по времени, то можно считать, что 2TW координат в данном интервале T представляют часть функции в интервале T9 а распределение вероятностей p(xl9..9xn) дает ста­тистическую структуру ансамбля для интервалов такой длитель­ности.
19. «ЭНТРОПИЯ» НЕПРЕРЫВНОГО РАСПРЕДЕЛЕНИЯ
«Энтропия» дискретной группы вероятностей P1,...,рп опреде­лялась как
H=— yE1PlIogpi.
Аналогичным образом определим «энтропию» непрерывного рас­пределения с функцией плотности распределения р(х) как
OO
H=— j р(х) Iog р(х) dx.
— OO
В случае л-мерного распределения р(х19...9 Xn) имеем
H=— J . . J р(х1у . . ., хп) \ogp(xl9 . . ., XrJdx1. . . dxn.
Если имеются два аргумента х и у (которые сами могут быть много­мерными), то «энтропия» совместного события и условная «энтро­пия» даются уравнениями
Н(х9 у)=— J{р{х9 у) Iogр(х9 у) dxdy9 НЛу)=-^ P(*>y)log -^f-dxdy9 Hy(X)=- р{х9 у) Iog -eg^L dxdy9
где
P(*) = Jp(*. y)dy9 (РкУ) = §Р(х, y)dx.
«Энтропия» непрерывного распределения имеет многие свойства дискретного случая. В частности:
1. Если х ограничено некоторым объемом v в своем простран­стве, то Н(х) максимальна и равна Iog V9 когда р(х) постоянно и
равно -L в этом объеме.
2. При любых двух переменных X9 у имеем
Н(х9у)<Н(х) + Щу)9
гл. iii. непрерывные сообщения
55
причем знак равенства будет тогда (и только тогда), когда х и у независимы, т. е. р(хуу) = р(х)р(у) (за исключением, возможно, ряда точек с нулевой вероятностью).
3. Рассмотрим обобщенную операцию усреднения следующего типа:
p'(y) = $a(xy y)p(x)dxy
где
J a(xy у) dx= ja(x, у) dy= 1, a(xy y)>0.
Тогда «энтропия» усредненного распределения р'(у) равна или больше «энтропии» первоначального распределения р(х).
4. Ил\еем
Щх,у)=Щх)+НМ=П(у)+Ну(х)
И
нм<н(у).
5. Пусть р(х) будет одномерное распределение. Распределение р(х)у обеспечивающее максимальную «энтропию», при условии, что стандартное отклонение х равно о, есть нормальное распределение. Чтобы это показать, необходимо разыскать максимум
Н(х) = —^р(х) Iog р(х) dxy
накладывая в качестве ограничений соотношения
о2= j р(х)х2 dx и l=j р(х) dx.
Согласно вариационному исчислению это приводит к необходимости нахождения максимума для
J [— р(х) Icg р(х)+\р(х)х2+р р(х)] dx.
Условием этого является
— 1 — IOg p(X) +X + JJL = О,
и, следовательно, подбирая постоянные для удовлетворения упо­мянутых ограничений, найдем
P(X) = -+-
у Ztz а
Подобным же образом обстоит дело и в случае п измерений, когда моменты второго порядка распределения р(х19...9хп):
АН= I • * ' §xi xJP(*v ,XrJdx1. . . dxn.
56
часть i. статистическая теория передачи сигналов
При помощи подобных же вычислений найдем, что максимум «энтропии» имеет место, когда р(х1у...ухп) является /г-мерным нор­мальным распределением с моментами второго порядка Aj.
6. «Энтропия» одномерного нормального распределения, стандарт­ное отклонение которого есть а, равна
Н(х) = Iog Ybu а.
Ход вычислений таков:
P(X)=-^ * ^ -logp(x) = Iog 1/2^0 +^L , Н(х)= -J р(х) Iog p(x)dx= Jp(X)IogV27adx+J р(х) -Ц- rfx= = Iogyr^a+ -А- = Iog ")/2^0 + IogyT =logl/2^a.
Подобным же образом n-мерное нормальное распределение с квадратичной формой ац дается уравнением
P(xi.....*„Н^J ехр (- Cij Xi Xj),
а «энтропия» может быть вычислена как
#=log(2 7ue)*/2| GtjY1K
где |а7| есть определитель, элементы которого а7.
7. Если л: ограничено половиной оси [р(х)=0 прих<0], а первый момент х равен
OO
а=I p(x)xdxy о
то максимум «энтропии» имеет место, когда
P(X)=-Ee-
и равен он
Iog еа.
8. Между «энтропиями» для непрерывного и дискретного слу­чаев ^имеется одно существенное различие. В дискретном случае «энтропия» измеряет абсолютным образом беспорядочный ха­рактер случайной переменной. В непрерывном случае измерение является относительным к координатной системе. Если изменить координаты, то «энтропия» в общем случае также изменится. Дей­ствительно, при переходе к координатам ylf...,yn новое значение «энтропии» будет
гл. iii. непрерывные сообщения
57
щу)=J... Jр(*1, .. .> xn)j ¢4) 1оер(^ь. • ••^(-J-)dyi• • *
где У есть якобиан преобразования координат. Разлагая ло­гарифм и меняя переменные на х1у...ухпУ получим
Н(у) = Я(х)-/...jp^,.. .,xn)logJ^jY1-• ■ dX»-
Таким образом, новое значение «энтропии» равно старому за вычетом ожидаемого логарифма якобиана. В непрерывном случае «энтропия» может рассматриваться как мера случайности отно­сительно принятого стандарта, а именно выбранной координат­ной системы, в которой каждому малому элементу объема dx1...dxn придан равный вес. При изменении координатной системы «энтропия» .в новой системе является мерой случайности, когда равным элементам объема dy1...dyn в новой системе придан одина­ковый вес.
Несмотря на зависимость от координатной системы, понятие «энтропии» является столь же важным в непрерывном случае, как и в дискретном. Это объясняется тем, что скорость создания сообщений и пропускная способность канала определяются раз­ностью двух «энтропий», а эта разность не зависит от координатной системы, так как каждый из двух членов изменяется одинаково.
«Энтропия» непрерывного распределения может быть отрица­тельной. Шкала измерений устанавливает произвольный нуль, соот­ветствующий равномерному распределению по единичному объему. Распределение, более сосредоточенное чем это, будет иметь мень­шую «энтропию», и следовательно, она отрицательна. Однако скорость создания сообщений и пропускная способность канала всегда будут не отрицательны.
9. Частным случаем изменения координат является линейное преобразование
/
При этом якобиан есть просто определитель Ia7I""1 и
Н(у) = Н(х)+1оё\аи\.
В случае вращения координатной системы (или любого другого преобразования, сохраняющего измерения) J=I и Н(у)=Н(х).
20. «ЭНТРОПИЯ» АНСАМБЛЯ ФУНКЦИЙ Рассмотрим эргодический ансамбль функций с ограниченной полосой частот шириной W гц. Пусть
p(*i»...» хп)
58
часть i. статистическая теория передачи сигналов
будет функция плотности распределения для амплитуд X1,... ,хя в п последовательных точках. Определим «энтропию» ансамбля функ­ций на степень свободы как
Ht = — Hm A j Jp(xb ..., хп) logp(xb ..., хп) Clx1... dxn.
Можно также определить «энтропию» Я за 1 сек. путем деления не на пу а на время T в секундах для п значений. Так как n=2TWy то Я = 2И?Я'.
Для «белых» термических шумов распределение р является нор­мальным и поэтому
H' = Iog Y^eN у H = W\og2izeN.
При данной средней мощности Я «белые» шумы имеют максималь­но возможную «энтропию». Это следует из отмеченных выше мак­симальных свойств нормального распределения.
«Энтропия» непрерывного стохастического процесса имеет мно­го свойств, аналогичных свойствам энтропии дискретных процессов. В дискретном случае «энтропия» была связана с логарифмом вероятности длительных последовательностей и с числом сравни­тельно вероятных последовательностей большой длительности. В непрерывном случае «энтропия» подобным же образом связана с логарифмом плотности вероятностей для длинной серии «образ­цов» сигнала и с объемом сравнительно высокой вероятности в функциональном пространстве.
Более точно, если положить, что р(хъ...,хп) является непрерыв­ным при всех X1 и для всех п9 то для сравнительно больших п
-H1 п
при любом выборе (X1,...,хл) за исключением группы, полная веро­ятность которой меньше 8, причем 8 и е произвольно малы. Это следует из эргодических свойств при разделении пространства на большое число малых ячеек.
Связь Я с объемом может быть установлена следующим образом. При тех же самых предположениях рассмотрим я-мерное простран­ство, соответствующее р(хь...,хп). Пусть Vn{q) будет наименьший объем в этом пространстве, который заключает в себе полную ве­роятность q. Тогда
щ = я'.
если только q не равно О или 1.
гл. iii. непрерывные сообщения
59
Эти результаты показывают, что при больших п существует совершенно четко определенный объем высокой вероятности (по крайней мере, в логарифмическом смысле) и что внутри этого объ­ема плотность вероятностей сравнительно равномерна (опять-таки в логарифмическом смысле).
В случае «белых» шумов плотность вероятностей равна
-TiW^exp ("ЯГ
Так как она зависит только от 2*Дто поверхности равной плот­ности вероятностей представляют собой сферы, а все распре­деление обладает сферической симметрией. Область высокой ве­роятности есть сфера радиуса [Zr nN. При п—►oo вероятность нахо­ждения вне сферы радиуса Y n(N+e) стремится к нулю, как бы ни было мало е, а L логарифма объема сферы стремится к Iog ]/2тсеЛЛ
В непрерывном случае удобно пользоваться не «энтропией» ансамбля H9 а производной величиной, которую будем называть энтропийной мощностью. Она определяется как мощность «белых» шумов, ограниченных такой же полосой частот, что и рассматри­ваемый ансамбль, и имеющих такую же «энтропию». Другими сло­вами, если Hf есть «энтропия» ансамбля, то его энтропийная мощ­ность равна
В геометрической трактовке это означает измерение объема высокой вероятности квадратом радиуса сферы, имеющей такой же объем. Так как «белые» шумы имеют максимальную «энтропию» для данной мощности, то энтропийная мощность любых шумов меньше или равна их действительной мощности.
21. ПОТЕРЯ «ЭНТРОПИИ» В ЛИНЕЙНЫХ ФИЛЬТРАХ Теорема 14
Если ансамбль функций, имеющий,«энтропию» на степень свободы H1 в полосе частот W, пропускается через фильтр с характеристикой Y(f)9 то ансамбль на выходе имеет «энтропию»
H2 = H1+ 4flog|y(/)|*d/.
Действие фильтра представляет собой линейное преобразование координат. Если рассматривать частотные составляющие как первоначальные координаты системы, то новые частотные состав-
60
часть i. статистическая теория йередачи. сигналов
ляющие будут представлять собой старые, умноженные на неко­торые коэффициенты. Таким образом, матрица преобразования координат является относительно этих координат диагональной. Якобиан преобразования равен (для п синусоидальных и п коси-нусоидальных составляющих)
п
= НТО)!2 = ехр 2Iog|Щ)I*.
i=l
где I1 расположены на равных расстояниях в полосе W. В пределе это превращается в
Так как якобиан J постоянен, то его среднее значение равно такой же величине. Применяя теорему об изменении «энтропии» с изменением координат, получаем сформулированный выше ре­зультат. Его можно также выразить через энтропийную мощ­ность.
Поэтому если энтропийная мощность первого ансамбля функций есть Nlf то энтропийная мощность второго ансамбля равна
W
Конечная энтропийная мощность равна начальной, умноженной на геометрическое среднее коэффициента передачи фильтра. Если усиление измеряется в децибелах,то выходная энтропийная мощность увеличится на арифметическое среднее коэффициента передачи в децибелах внутри полосы W.
В табл. 1 для ряда идеализированных характеристик передачи фильтра вычислена потеря энтропийной мощности, выраженная в децибелах. Приведены тоже импульсные характеристики этих фильтров для W=2k9 причем предполагается, что фазовый угол равен нулю.
Потеря «энтропии» во многих других случаях может быть най­дена при помощи этих результатов. Например, коэффициент энт­ропийной мощности А > полученный для первого случая, относится
также к любой характеристике передачи, получаемой из 1—о> путем преобразования оси о> с сохранением измерения. В частности, линейно возрастающая характеристика G(<o)=<d или пилообразная характеристика между 0 и 1 имеет такую же потерю «энтропии». Обратная характеристика имеет^ обратный коэффициент потерь,
гл. iii. непрерывные сообщения
61
поэтому -в случае Характеристики — коэффициент равен е2. Воз­ведение усиления в какую-либо степень приводит к возведению коэффициента потерь в ту же степень.
Таблица 1
Характеристика фильтра
Коэффициент энтропной мощности
Усиление энтропной мощности (д 6)
Импульсная реакция
i
J-W—+­0
(л) 1
I
-8,68
SinzTtt (TltI2
f
J-Cc;2—
0
г\
-5,32
го
Ico
i
с*. о
1
1-е»;3—
Q
См) 1
0,384
-4,15
„/cost-I cost. sinfi 6I t* Zii t3 I
1
tf^—
0
W 1
-2,66
2 t
1
0
ГЛ
W 1
1
е2ос
-8,68 а
Jps [cos(!-or)t- cost]
22. «ЭНТРОПИЯ» СУММЫ ДВУХ АНСАМБЛЕЙ ФУНКЦИЙ
Если имеются два ансамбля функций /a(Z) и gfc(Z), то можно со­здать новый ансамбль путем «сложения». Допустим, что первый имеет функцию плотности вероятностей p(xl9...9xn)9 а второй — ?(х!,...,хл). Тогда функция плотности для суммы дается выраже­нием
r(xi>.... хя) = J ... Jp Qfl9.. ., уп) q(xx — P1,..., х— уп) (Iy1... dyn.
Физически это соответствует сложению шумов или сигналов, пред­ставляемых первоначальными ансамблями функций.
Следующий результат доказывается в Приложении 6.
62
часть i. статистическая теория передачи сигналов
Теорема 15
Пусть средняя мощность двух ансамблей ^функций бу* дет N1 и ZV2, а их энтропийные мощности — ZV1 и ZV2. Т/>~ца энтропийная мощность суммы ZV3 ограничена пределами
N1+N2<NS<H1+N2.
«Белые» шумы с нормальным распределением имеют свойство по­глощать всякие другие шумы или ансамбли сигналов, которые могут быть сложены с ними. При этом результирующая энтропийная мощ­ность приближенно равна сумме мощности «белых» шумов и мощ­ности сигнала (измеренной от среднего значения сигнала, которое обычно равно нулю), если только мощность сигнала мала (в определенном смысле) по сравнению с шумами.
Рассмотрим функциональное пространство п измерений, свя­занное с этими ансамблями функций. «Белые» шумы соответствуют сферическому нормальному распределению в этом пространстве. Ан­самбль сигналов соответствует другому распределению, не обяза­тельно нормальному или сферическому.
Пусть моменты второго порядка этого распределения относитель­но его центра тяжести будут aj. Другими словами, если p(xl9...,xn) есть функция плотности распределения, то
aU = J • • • $p(*i — */) (xJ — ау) dx^ • • • dxn>
где OL1 координаты центра тяжести, а ai;. — определенно положи -тельная квадратичная форма. Повернув координатную систему, можно выравнять ее с главными направлениями этой фюрмы. Тогда CLj приводится к диагональной форме Ьи. Потребуем, чтобы каждая форма Ьц была мала сравнительно с ZV — квадратом радиуса сфе­рического распределения.
В этом случае шумы и сигнал создают нормальное распределе­ние, соответствующая квадратичная форма которого есть
N + bu.
Энтропийная мощность этого распределения равна или приближенно
(N" + 2бйА/»-о»/«=л/+ -E S ьи.
Последний член есть мощность сигнала, первый — мощность шумов.
Глава IV КАНАЛ С НЕПРЕРЫВНОЙ ПЕРЕДАЧЕЙ
23. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА С НЕПРЕРЫВНОЙ
ПЕРЕДАЧЕЙ
В канале с непрерывной передачей входные или передаваемые сигналы являются непрерывными функциями времени /(/), при­надлежащими к некоторому множеству, а выходные или принимае­мые сигналы будут их искаженными вариантами. Рассмотрим толь­ко такой случай, когда как передаваемые, так и принимаемые сигналы ограничены некоторой полосой частот W. Тогда в интер­вале T они могут быть заданы 2TW числами, а их статистическая структура описана функциями распределения с конечным числом измерений. Таким образом, статистические свойства передаваемого сигнала будут определяться функцией
P(xv . . . , хп) = P(X)9
а статистические свойства шумов — распределением условных ве­роятностей
Скорость передачи сообщений в таком канале определяется аналогично дискретному каналу, а именно:
R = H(X)]- Hv(X)9
где Н(х) есть «энтропия» на входе, а Ну(х) — ненадежность.
Пропускная способность канала С определяется как максимум R чри изменении входного ансамбля по всем возможным ансамблям. ^to означает, что в случае приближения с конечным числом измере­ний следует изменять Р(х)=Р(х19...9хп) и разыскивать максимум
- j Р(х) Iog Р(х) dx + Jj Р(х9 у) Iog л dy*
Это выражение может быть написано в виде
пользуясь тем обстоятельством, iIro
Г Г P(х9 у) Iog Р(х) dxdy=
Г Р(х) Iog Р(х) dx.
64
часть i. статистическая теория передачи сигналов
Таким образом, пропускная способность канала выражается как
d=JlnL г JJ у) log ~ж0кdx dy-
Отсюда ясно, что R и С не зависят от координатной системы,
Р(х v)
так как числитель и знаменатель в Iog р^Р(у) ПРИ пРе°бразо-вании х и у любым однозначным образом будут умножаться на один и тот же коэффициент.
Интегральное выражение для С является более общим, чем вы­ражение Н(х)—Ну(х). Надлежащим образом интерпретированное, оно всегда существует, тогда как в некоторых случаях Н(х)—Ну(х) может оказаться неопределенной формой вида оо —оо . Это проис­ходит, например, если в случае я-мерной апроксимации х ограни­чивается поверхностью меньшего числа измерений, нежели h.
Если используемое при вычислении Н(х) и Ну(х) основание ло­гарифмов равно двум, то, как и в дискретном случае, С есть мак­симальное число двоичных единиц, которое может быть передано за 1 сек. по каналу со сколь угодно малой ненадежностью. Это можно понять физически, разделив пространство сигналов на большое число малых ячеек. Ячейки делаются настолько малыми, чтобы плотность вероятностей того, что сигнал х в результате дей­ствия шумов перейдет в точку у, т. е. Рх(у), была достаточно постоян­ной по всей ячейке. Если ячейки рассматриваются как отдельные точки, то положение будет точно такое же, что и в дискретном ка­нале, и использованные там доказательства будут применимы и здесь.
Физически ясно, что подразделение объема на отдельные точки в любых практических случаях не может существенно сказаться на конечном результате, если только ячейки достаточно малы. Поэтому пропускная способность будет пределом пропускных спо­собностей для дискретных подразделений, а это и есть пропускная способность канала с непрерывной передачей, как она определена выше.
Математически можно прежде всего показать, что если и есть сообщение, х — сигнал, у — принимаемый сигнал (измененный шумами), а v — восстановленное из сигнала сообщение, то
Н(х)-Ну(х)> Щи)-Hv(u)
независимо от того, какие операции производились над ut чтобы получить xt или над у для получения v.
Таким образом, независимо от того, как кодируют двоичные знаки для создания сигнала или как декодируют принимаемый сиг­нал для восстановления сообщения, скорость дискретной передачи двоичных знаков не превышает определенную выше пропускную способность канала. С другой стороны, при весьма общих условиях
гл. iv. канал с непрерывной передачей
65
можно найти систему кодирования, обеспечивающую передачу двоичных знаков со скоростью С при сколь угодно малой ненадеж­ности или частоте ошибок. Это справедливо, например, когда в случае апроксимации сигнальных функций пространством конеч­ного числа измерений, Р(х9 у) непрерывно как по X9 так и по у9 за исключением группы точек, где вероятность равна нулю.
Важный частный случай имеет место, когда шумы складываются с сигналом, являясь независимыми от него (в вероятностном смысле). Тогда Рх(у) есть функция только разности (векторной) п=у—х
PM = Qiv-*)
и шумам можно приписать определенную «энтропию» (независимо от статистических свойств сигнала), а именно «энтропию» распре­деления Q{n). Эта «энтропия» будет обозначаться Н(п).
Теорема 16
Если сигнал и шумы независимы, а принимаемый сигнал яв­ляется суммой передаваемого сигнала и шумов, то скорость пере­дачи равна
R = H(y)-H(n)9
т. е. «энтропии» принимаемого сигнала за вычетом «энтропии» шумов. Пропускная способность канала равна*
С = шах Н(у) — Н(п).
p(X)
В силу того, что у=х+п9 имеем
Н(х9 у) = Н(х9 п).
Разлагая левую часть и пользуясь независимостью х и п9 найдем Н(у)+ Hy(X) = Н(х)+Н(п).
Отсюда
R = Н(х) - Hy(X) = Н(у) - Н(п).
Так как Н(п) не зависит от Р(х)9 то для максимума R необходи­мо, чтобы имела максимум Н(у) — «энтропия» принимаемого сиг­нала. Если на ансамбль передаваемых сигналов накладываются некоторые ограничения, то «энтропия» принимаемых сигналов должна быть максимальной при этих ограничениях.
24. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА ПРИ ОГРАНИЧЕНИИ СРЕДНЕЙ МОЩНОСТИ
✓
Простым применением теоремы 16 является случай, когда шумы представляют собой «белые» тепловые шумы, а принимаемые сигналы ограничены некоторой средней мощностью Р. Тогда при­нимаемые сигналы имеют среднюю мощность Р+А^где N есть сред-
66
часть i. статистическая теория передачи сигналов
няя мощность шумов. Принимаемые сигналы обладают максималь­ной «энтропией», когда они также образуют ансамбль «белых» шу­мов, так как это наибольшая возможная «энтропия» для мощности P+N.Такая «энтропия» может быть получена путем надлежащего вы­бора ансамбля передаваемых сигналов, а именно в том случае, если они образуют ансамбль «белых» шумов мощностью Р. Тогда «энтро­пия» (за 1 сек.) принимаемого ансамбля будет
H(y) = Wlog2*e(P + N)9 а «энтропия» шумов
Н(п) = W \og2TzM. Пропускная способность канала равна
С = Н(у)-H(H) = Wlog p^L. Теорема 17
Пропускная способность канала с полосой частот Wf на кото­рый действуют «белые» тепловые шумы мощностью Nf при сред­ней мощности передаваемых сигналов P равна
C = WlogyY-.
Это означает, что при достаточно сложных системах кодирова­ния можно передавать сообщения со скоростью
C-W Iog P+N двоичных единиц ~~ N сек.
при сколь угодно малой частоте ошибок. Невозможно передавать с большей скоростью при любой системе кодирования без того, чтобы частота ошибок не имела конечного положительного значения.
Для достижения этой предельной скорости передаваемые сигна­лы по своим статистическим свойствам должны приближаться к «белым» шумам. Система, в которой скорости передачи достигают предельной, может быть описана следующим образом. Пусть созда­ются М=25 «образцов» «белых» шумов длительностью каждый Т. Им приписываются двоичные числа от 0 до M—1. В передатчике последовательности сообщений разбиваются на группы по S сообщений и для каждой группы передается как сигнал соответст­вующий «образец» шумов. При приеме значения M «образцов» известны и действительный принимаемый сигнал, искаженный шумами, сравнивается с каждым из них. «Образец», имеющий наименьшее эффективное отклонение от принимаемого сигнала, выбирается как передаваемый сигнал, после чего восстанавливает­ся соответствующее двоичное число.
Этот процесс эквивалентен выбору наиболее вероятного (в апо­стериорном смысле) сигнала. Число используемых «образцов» шу-
гл. iv. канал с непрерывной передачей
67
мов M будет зависеть от допустимой частоты ошибок е, но почти для любого выбора числа «образцов» имеем
Iim Iim IogM (е, Т) _ T171ncj Р+Н
е-*ОГ-*оо T ~ & M
Таким образом, независимо от того, сколь малым выбрано е, можно, выбирая T достаточно большим, приблизиться сколь угодно близко
к передаче TWlog P~^N двоичных единиц за время Т.
Формулы, подобные С = Wlog , для случая «белых» шу­мов были получены независимо и другими авторами, хотя при несколько другой интерпретации.
В случае произвольных мешающих шумов (не обязательно «белых» тепловых шумов) задача разыскания максимума, связанная с определением пропускной способности C9 повидимому, не может быть полностью решена. Однако могут быть установлены верхний и нижний пределы для С, выраженные через среднюю мощность шумов N и энтропийную мощность шумов ZV1. В большинстве прак­тических случаев эти пределы достаточно близки друг к другу, и поэтому полученное решение может считаться удовлетворительным.
Теорема 18
Пропускная способность канала с полосой частот W9 на ко­торый воздействуют произвольные шумы, ограничивается неравен­ствами
riog^4<C<IP IogEbE,
где P — средняя мощность передаваемых сигналов; ZV — средняя мощность шумов; ZV1 — энтропийная мощность шумов.
Здесь опять средняя мощность искаженных сигналов будет P+N. Максимальная «энтропия» была бы в том случае, когда принимаемые сигналы представляли бы собой «белые» шумы и она равнялась бы Wlog2ize(P+N). Достигнуть этого невозможно, т. е. не может быть такого ансамбля передаваемых сигналов, который, будучи добавлен к мешающим шумам, создавал бы в приемнике «белые» тепловые шумы. Однако это определяет верхний предел Для H(у) и поэтому
С=тах Н(у)—Н (п) < W Iog 2ne(P+N)—W Iog ZiteN1.
Это и есть верхний предел, указанный в теореме.
Нижний предел может быть найден при рассмотрении скорости передачи в случае, если передаваемые сигналы представляют собой «белые» шумы мощностью/5. При этом энтропийная мощность прини­маемых сигналов должна быть, по крайней мере, равна энтропийной
68
часть i. статистическая теория передачи сигналов
мощности «белых» шумов со средней мощностью P+N1. Действи­тельно, теорема 15 устанавливает, что энтропийная мощность суммы двух ансамблей больше или равна сумме отдельных энтро­пийных мощностей. Отсюда
шах Н(у) > W Iog 2w{P+NJ
и
С> W Iog 2тгв(Р + ZV1) — W Iog ZizeN1=W Iog ^A .
По мере возрастания P верхний и нижний пределы сходятся, поэтому предельная скорость равна
Если сами шумы являются «белыми», то N=N1 и полученный ре­зультат сводится к доказанной ранее формуле
С = HHog
Если шумы подчиняются нормальному закону, но спектр их не обя­зательно равномерный, то ZV1 есть геометрическое среднее мощности шумов, взятое по различным частотам в полосе W. Таким образом,
ZV1^expA Jlog ZV(/) df9 w
где ZV(Z) — мощность шумов на частоте /. Теорема 19
Если установить пропускную способность канала при данной мощности передаваемых сигналов P равной
c=w log Et_Ezi,
то т] монотонно убывает при возрастании P9 стремясь в пределе к нулю.
Допустим, что при данной мощности P1 пропускная способность канала равна
riogEEi..
Это означает, что наилучшее возможное распределение сигнала, скажем р(х)9 будучи добавлено к распределению шумов q(x)9 дает принимаемое распределение г(у)9 энтропийная мощность которого есть Pi+ZV—Tj1. Пусть мощность увеличена до Рг+ЬР путем добав­ления к сигналу «белых» шумов мощностью ДЯ. «Энтропия» прини­маемого сигнала теперь равна по меньшей мере
H(y)=W log 2w(Px + N--Ti1 + ДЯ),
гл. iv. канал с непрерывной передачей
69
что следует из применения теоремы о минимальной энтропийной мощ­ности суммы. Следовательно, поскольку можно получить указанную величину H9 «энтропия» наилучшего распределения должна быть, по крайней мере, такой же, а -ц должно монотонно убывать. Чтобы показать, что при P-^oo к]->0, рассмотрим сигнал, который представляет собой «белые» шумы большой мощности Я. Какими бы ни были мешающие шумы, если мощность Я достаточно велика, принимаемый сигнал будет приближенно «белыми» шумами в смыс­ле обладания энтропийной мощностью, сходящейся к P+N.
25. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА ПРИ ОГРАНИЧЕНИИ ПИКОВОЙ МОЩНОСТИ
В некоторых случаях ограниченной является не средняя мощ­ность, а мгновенная пиковая. Задача вычисления пропускной способности канала сводится тогда к разысканию максимума (путем вариации ансамбля передаваемых символов) выражения
Щу)-Н(п)
при наложении ограничения, что все_функции /(/) в ансамбле для всех t меньше или равны, скажем, ]AS. Задача при таком ограниче­нии не может быть так же хорошо математически решена, как в слу­чае ограничения средней мощности. В рассматриваемом случае мож­но определить только нижний предел, пригодный для любых отно­шений -Jf9 верхний предел, пригодный для больших , и прибли-
женняе значение С для малых отношении -^-
Теорема 20
Пропускная способность канала С с полосой частот W9 на который воздействуют «белые» тепловые шумы мощностью N9 огра­ничена величиной
гдеЗ — допустимая пиковая мощность передаваемых сигналов. Для достаточно больших отношений E
С < Wlog N (1+8),
где е — сколь угодно мало. При —►Oh полосе частот W9 начи­нающейся от О,
70
часть i. статистическая теория передачи сигналов
Желательно сделать «энтропию» принимаемых сигналов мак­симальной. Если -дг велико, то это будет близко соответствовать
случаю, когда «энтропия» передаваемого ансамбля максимальна.
Приближенный верхний предел определяется путем ослабления условий, накладываемых на ансамбль. Допустим, что мощность ограничена величиной S не в каждый момент времени, а только в дискретных точках, где фиксируются значения передаваемого сообщения. При таких ослабленных условиях максимальная «энт­ропия» передаваемого ансамбля будет больше или равна максималь­ной «энтропии» при исходных условиях. Измененная таким образом задача может быть легко решена. Максимальная «энтропия» имеет место в том случае, если различные «образцы» сигнала независимы и имеют функцию распределения, которая постоянна от — YSao +YS «Энтропия» при этом равна
U?log4S.
Принимаемый сигнал будет тогда иметь «энтропию», меньшую, чем
W\og(4S+2izeN)(l+z), причем е 0 при -^- оо Пропускную способность канала най­дем, вычитая из этого выражения «энтропию» «белых» шумов W\og2izeN: 2
■ S +M
W Iog (4S + 2izeN)(\ + е)- WXog 2^N=W Iog пе N (1 + s)
*
Это и есть искомое выражение для верхнего предела пропускной способности канала.
Чтобы найти нижний предел, рассмотрим тот же самый ансамбль функций. Пусть эти функции проходят через идеальный фильтр с треугольной характеристикой, коэффициент передачи которого равен единице при нулевой частоте и линейно спадает до нуля на частоте W.
Прежде всего покажем, что функции на выходе фильтра огра­ничены по пиковой мощности во все моменты времени, а не только
в указанных дискретных точках. Сначала заметим, что импульс sin 2л WY
2nWt проходя через фильтр, создает на выходе функцию
1 Sin2TiWY
2 (KWt)2 >
которая никогда не является отрицательной. В общем случае вход­ная функция может рассматриваться как ряд сдвинутых во времени функций
sin2nWt а 2л WY »
гл. iv. канал с непрерывной передачей
71
где амплитуда «образца» а не превышает |/S Следовательно, на­пряжение на выходе состоит из суммы сдвинутых во времени неотри­цательных функций указанного ранее типа с такими же коэффициен­тами. Для любого момента времени t эти функции принимают наи­большее положительное значение в том случае, когда все коэффи­циенты а имеют максимальную положительную величину, т. е. В этом случае входная функция есть постоянная с амплитудой УS9 а так как фильтр для постоянной составляющей имеет коэффициент передачи единицу, то и выходная функция будет такой же. Таким образом, выходной ансамбль имеет пиковую мощность S.
«Энтропия» выходного ансамбля может быть найдена по «эн­тропии» входного ансамбля при помощи доказанной ранее теоремы. Выходная «энтропия» равна входной плюс геометрическое среднее коэффициента передачи фильтра w w
JWtfM =Jlog Y=tJdf =-2W.
О о
Следовательно, выходная «энтропия» равна Vlog4S—2V = Vlog^ , а пропускная способность канала больше, чем
в
Теперь надо показать, что для малых значений -д- (отноше­ние пиковой мощности сигнала к средней мощности «белых» шумов) пропускная способность канала равна приближенно
Более точно
^logjl +J
при J1 ->0.
Поскольку средняя мощность сигнала P меньше или равна его пи­ковой мощности S9 то отсюда следует, что для всех -^-
C<Wlog(l+£)<Wlog(l+4)
Поэтому если найден ансамбль функций, соответствующих скорости передачи, близкой к U?log^ ! + -^-j, и ограниченных полосой частот
72
часть i. статистическая теория передачи сигналов
W и пиковой мощностью St то последняя часть теоремы будет до­казана.
Рассмотрим ансамбль функций следующего типа. Последова­тельность из t «образцов» имеет одно и то же значение — либо +]AS, либо—|AS; следующие t «образцов» опять имеют одинаковое значение и т. д. Значения для последовательности выбираются слу­чайно с вероятностью V2 для + j/S и V2 для —y/S Если этот ан­самбль пропустить через фильтр с треугольной характеристикой (коэффициент передачи для постоянной составляющей равен едини­це), то на выходе пики будут ограничены до S. Кроме того, средняя мощность близка к S и может достигнуть этого значения, если взять / достаточно большим.
«Энтропия» суммы из этого ансамбля и тепловых шумов может быть найдена использованием теоремы о сумме шумов и малого сиг­нала. Теорема применима, если
5
достаточно мало. Это можно обеспечить, взяв отношение -^- до­статочно малым (после того как t выбрано). Энтропийная мощность со сколь угодно близким приближением будет равна S+Ny и, следо­вательно, скорость передачи сколь угодно близка к
Глава V
СКОРОСТЬ СОЗДАНИЯ СООБЩЕНИЙ ДЛЯ НЕПРЕРЫВНОГО
ИСТОЧНИКА
26. ФУНКЦИИ ОЦЕНКИ ВЕРНОСТИ ВОСПРОИЗВЕДЕНИЯ
В случае дискретного источника была определена конечная скорость создания сообщений, а именно «энтропия» соответствую­щего стохастического процесса. Для непрерывного источника по­ложение оказывается значительно более сложным. Прежде всего непрерывно изменяющаяся величина предполагает бесконечное число значений и поэтому для точного задания требует бесконечно­го числа двоичных знаков. Это означает, что при передаче вы­ходного эффекта непрерывного источника для точного воспроиз­ведения сообщения в месте приема, вообще говоря, необходим ка­нал с бесконечной пропускной способностью. Поскольку в каналах существует обычно определенный уровень шумов и,следовательно, пропускная способность ограничена, точная передача невозможна.
Это рассуждение, однако, обходит действительное положение вещей. Практически при непрерывном источнике может интересо­вать не точная передача, а передача с определенным допуском. Вопрос заключается в том, можно ли приписать непрерывному источнику конечную скорость в том случае, когда требуется только определенная верность воспроизведения, измеренная подходящим способом. Разумеется, при возрастании требований к верности воспроизведения скорость создания сообщений ""будет возрастать.
Как будет показано, в весьма общих случаях можно определить такую скорость. Путем надлежащего кодирования создаваемые сообщения можно передать по каналу, пропускная способность которого равна рассматриваемой скорости, и выполнить при этом требования к верности воспроизведения. Канал, обладающий мень­шей пропускной способностью, такой возможности не обеспечи­вает.
Прежде всего необходимо дать общую математическую фор­мулировку понятию о верности передачи. Рассмотрим группу сообщений большой длительности, скажем T секунд. Источник описывается заданием в соответствующем пространстве плотности вероятностей Р(х) того, что будет выбрано рассматриваемое сооб­щение. Данная система связи описывается (с внешней точки зрения) заданием условной вероятности Рх(у) того, что если источник соз­дал сообщение Xt воспроизводимое сообщение в месте приема будет у. Система в целом (включая источник и передающую систему) опи-
74
часть i. статистическая теория передачи сигналов
сывается функцией вероятностей Р(хуу) наличия передаваемого сообщения х и принимаемого сообщения у. Если эта функция из­вестна, то тем самым полностью известны свойства системы с точки зрения верности воспроизведения.
Любая оценка верности должна математически соответ­ствовать операции над функцией Р(хуу). Эта операция должна, по крайней мере, давать сравнительную оценку системы. Другими словами, необходимо, чтобы в результате можно было сказать, что согласно нашему критерию верности из двух систем, описываемых функциями Рх(ху у) и Р2{ху у)у либо: 1) первая обеспечивает более высокую верность; 2) вторая обеспечивает более высокую верность, либо 3) они обеспечивают одинаковую верность. Это значит, что критерий верности может быть представлен численно оцениваемой функцией
vlP(x9 у)]9
аргумент которой изменяется по возможным функциям вероятно­стей Р(ху у). В дальнейшем будем полагать, что меньшим значениям функции оценки соответствует более высокая, верность.
Теперь покажем, что при очень общих и приемлемых допуще­ниях функция v[P(xy у)] может быть написана в значительно более специализированной форме, а именно как среднее функции р(ху у)у взятое по множеству возможных значений х и у:
VlPix9 у)] = Jj Pix9 у) р(ху у) dx dy.
Чтобы это показать, достаточно предположить: 1) что источник и система являются эргодическими, так что очень длительный «обра­зец» сообщения будет с вероятностью, близкой к единице, типи­чен для ансамбля, и 2) что оценка является «приемлемой» в том смысле, что возможно на основе наблюдения типичных входных и выходных «образцов» X1 и уг создать опытную оценку и, если дли­тельность этих «образцов» возрастает, опытная оценка будет с веро­ятностью единица сходиться к точной оценке, основанной на пол­ном знании функции Р(хуу).
Пусть опытная оценка будет р(ху у). Тогда функция р(ху у) при T-^oo стремится к постоянной величине почти для всех значе­ний (ху у)у которые находятся в области высокой вероятности для данной системы
Pix9 y)-+v[P(x 9у)]9 и можно также написать
Pix, У)-* ц р(х>У) Р(*. У) dx dy,
так кар
Jj Pix9 y)dxdy = \. Это доказывает искомый результат.
гл. v. скорость создания сообщении
75
Функция р (х, у) имеет общую природу «расстояния» между х н у1). Она измеряет, насколько было бы плохо (относительно на­шего критерия верности) принять у9 когда передано х. Полученный выше общий результат может быть сформулирован еще следующим образом. Любая приемлемая оценка может быть представлена как среднее функции «расстояния», взятое по множеству исходных и воспроизводимых сообщений х и у и взвешенное в соответствии с вероятностью Р(ху у) получения рассматриваемых пар, полагая, что длительность сообщений T взята достаточно большой.
Ниже даются простые примеры функций оценки.
1. Эффективный критерий
V = lx(t) - y(t)]2 .
В этом очень часто применяемом критерии верности функция «расстояния» р(хуу) представляет собой (отвлекаясь от постоянного множителя) квадрат обычного эвклидова расстояния между точками х н у в соответствующем функциональном пространстве
T
о
2. Частотно-взвешенный эффективный критерий. Прежде чем воспользоваться эффективной мерой верности, можно приписать различным частотным составляющим разные веса. Это эквивалентно пропусканию разности x(t)—y(t) через формирующий фильтр с последующим определением средней мощности на выходе. Положим
e(t) = x(t)-y(t)
и
тогда
т
О
3. Критерий абсолютной ошибки
г
о
1J Однако она не является «метрической» в строгом смысле, так как в общем случае не удовлетворяет либо условию р(ху у)= р(у, х), либо усло­вию р(х, у)+ ?(y,z) > p(xt z).
76
часть i. статистическая теория передачи сигналов
4. Свойства слуха определяют оценку или, скорее, ряд оценок, подходящих в случае передачи речи или музыки. Так, например, существует критерий разборчивости, при котором р(ху у) равна относительной частоте неправильно интерпретированных слов, когда сообщение x(t) принимается как y(t). Хотя в этих случаях нельзя дать точного представления функции р(х,у), она может быть в принципе определена путем эксперимента. Некоторые ее свойства следуют из хорошо известных экспериментальных результатов по исследованию слуха, например из того, что ухо сравнительно не­чувствительно к фазе, а чувствительность к амплитуде и частоте приближенно логарифмическая.
5. Дискретный случай может рассматриваться как частный слу­чай, в котором подразумевается оценка, основанная на частоте ошибок. Функция р(х,у) определяется тогда как число символов в последовательности у, отличающихся от соответствующих сим­волов в последовательности ху деленное на полное число символов в последовательности х.
27. СКОРОСТЬ ИСТОЧНИКА ПРИ ДАННОЙ ОЦЕНКЕ ВЕРНОСТИ
Теперь можно определить скорость создания сообщений для непрерывного источника. Дана функция Р(х) для источника и оценка Vy определяемая функцией «расстояния» р(ху у)у которая предполагается непрерывной по х и у. Для данной системы Р(ху у) качество измеряется величиной
v== IIkx' У)р(х* У) dxdV-
Кроме того, скорость выдачи двоичных единиц, соответствую­щая данной функции P(ху у)у равна
Определим скорость создания сообщений при данном качестве воспроизведения V1 как минимум Ry полученный при фиксирован­ном V=V1 и при изменении Рх{у). Таким образом,
при условии
^1-Р(*' ^ l0g pWPM dx dy V1= ^р(х> У)?(х> у) dxdV-
Это означает, что в действительности рассматриваются все системы связи, которые могли бы быть использованы и которые обеспечивают передачу с требуемой верностью. Скорость передачи двоичных единицах вычисляется для каждой системы и выбирает-
сек.
гл. v. скорость создания сообщении
77
ся наименьшая скорость. Эта последняя и есть скорость, приписы­ваемая источнику при рассматриваемой верности воспроизведения.
Обоснование этого определения заключается в следующей теореме.
Теорема 21
Если источник при данной оценке V1 имеет скорость создания сообщений Rl9 то можно закодировать сообщения на выходе источ­ника и передавать их по каналу с пропускной способностью С при верности воспроизведения, как угодно близкой к vl9 если только R±< С. Это невозможно, если R1^C.
Последнее утверждение теоремы немедленно следует из опреде­ления R1 и предыдущих результатов. Если оно не справедливо,
^ ^ двоичных единиц то можно было бы передавать больше чем С-
сек.
по каналу с пропускной способностью С.
Первая часть теоремы доказывается методом, аналогичным использованному при доказательстве теоремы 11. Прежде всего следует разделить пространство (ху у) на большое чцсло малых ячеек и рассматривать этот случай как дискретный. Это изменит функцию оценки не больше чем на произвольно малую величину (если ячейки весьма малы) вследствие предполагаемой для функции р(ху у) непрерывности. Допустим, что Рг(ху у) есть частная система, прт<* которой скорость минимальна и равна R1. Выберем из высоко­вероятных сообщений у по произволу некоторый ряд, содержащий
членов, где при Г-> оо е 0. При большом T каждая выбранная точка будет соединена линией высокой вероятности (к^к на фиг. 9) с рядом х. Вычисления, подобные использованным при доказатель­стве теоремы И, показывают, что при большом T почти все х охва­тываются «веерами» линий, идущими от выбранных точек уу почти при любом выборе у.
Соответствующая система связи действует следующем образом. Выбранным точкам приписываются двоичные числа. Когда появ­ляется сообщение х, оно будет (с вероятностью, достигающей 1 при T-*- оо) расположено, по крайней мере, на одном из «вееров» линий. Тогда по каналу передается соответствующее двоичное число (или, если их несколько, одно произвольно выбранное число), закодиро­ванное надлежащим образом для обеспечения малой вероятности ошибок. Это возможно, поскольку Rx< С. В приемной точке вос­станавливается соответствующее уу которое и используется как принимаемое сообщение.
Оценка v\ для этой системы может быть сделана сколь угодно близкой к рь если взять T достаточно большим. Это обусловливается
78
часть i. статистическая теория передачи сигналов
тем, что для каждого длинного «образца» сообщения x(t) и воспро­изводимого сообщения y(t) оценка сходится к V1 (с вероятностью 1).
Интересно отметить, что в этой системе шумы в воспроизво­димом сообщении создаются за счет специфического квантования в передатчике, а не за счет шумов в канале. Они в некоторой степени аналогичны шумам квантования при кодовой импульсной модуля­ции.
28. ВЫЧИСЛЕНИЕ СКОРОСТИ СОЗДАНИЯ СООБЩЕНИЙ
Определение скорости создания сообщений во многих отноше­ниях подобно определению пропускной способности канала. В первом случае
*= p^P{x'y)hg mmdxdy
при фиксированных Р(х) и V1 = JjV*» У)?(х> У) dx dyк Во втором случае
c=mz^P{x,y)l08^^)dxdy
при фиксированном Px (у) и при наложении, возможно, одного или более других ограничений (например, ограничение средней мощ­ности) вида К = jjp(x, у) Цх, у) dx dy.
Для общей задачи разыскания максимума, возникающей при "определении скорости источника, может быть найдено частное решение. Пользуясь методом Лагранжа, рассмотрим выражение
j'j[p(x, у) Iog pgypg) +V-P(x, у) 9(х, у) + Цх) Р(х, у)] dxdy.
Вариационное уравнение, когда берут первую вариацию по Р(х,у), приводит к
Py(X) = В(х)е~^х'у\
где X определяется из условия получения необходимой верности воспроизведения, а В(х) должно удовлетворять равенству
\B(x)e~x^y)dx= 1.
Это показывает, что при наилучшем кодировании условная вероятность для различных принимаемых сообщений у, т. е. Ру(х), экспоненциально уменьшается вместе с р(х, у) —функцией «расстояния» между рассматриваемыми х и у.
В частном случае, когда функция «расстояния» р(х, у) зависит только от (векторной) разности между хну
Р(*> У) = ?(х — У), имеем Jsw е-Щ*-у) dx = к
гл. v. скорость создания сообщений
79
Следовательно, В(х) — постоянная величина, скажем а, и
Py(X) = ае~Мх-у).
К сожалению, эти формальные решения в частных случаях трудно численно оценить, и поэтому ценность их представляется небольшой, фактическое вычисление скоростей источников было выполнено только для немногих очень простых случаев.
Если функция «расстояния» р(х9 у) представляет собой средний квадрат разности между х и у, а ансамбль сообщений — «белые» шумы, то скорость может быть определена. В этом случае имеем
R = min [Н(х) — Hy(X)] = Н(х) — шах Ну(х)
при N=(x—у)2. Но максимум Ну(х) соответствует случаю, когда у—х есть «белые» шумы, причем он равен BP1Iog^TueZV, где W1 — по­лоса частот ансамбля сообщений. Поэтому
R = W1 Iog 2iueQ — W1 Iog 2?ueZV = W1 Iog -¾-,
где Q — средняя мощность сообщений. Это доказывает следующую теорему.
Теорема 22
Скорость источника «белых» шумов мощностью Qhc полосой час­тот W1 при эффективном критерии верности воспроизведения равна
R = W1 Iog^,
где ZV есть допустимый средний квадрат отклонения воспроизводи­мого сообщения от исходного сообщения.
В более общем случае для любого источника сообщений можно получить неравенства, ограничивающие скорость создания сообще­ний при допустимом среднем квадрате отклонения.
Теорема 23
Скорость для любого источника с полосой частот W1 ограничена соотношениями
W1log-%-<R<W1 IogA
где Q есть средняя мощность источника, Q1 — его энтропийная мощность и ZV — допустимый средний квадрат отклонения.
Нижний предел следует из того, что максимум Ну(х) при данном (х—y)2=N имеет место в случае «белых» шумов. Верхний предел будет получен, • если разместить точки, использованные при дока­зательстве теоремы 21, не лучшим образом, а случайно в сфере ра­диуса YQ-N
80
часть i. статистическая теория передачи сигналов
Приложение 1
Пусть Ni(L) будет число групп символов длительностью Ly заканчивающихся в состоянии /. Тогда имеем
i, s
где Ь\р bfjy ...>bj—длительности символов, которые могут быть выбраны в состоянии / и приводят к состоянию /. Эти выражения суть линейные разностные уравнения, свойства которых при L—► oo должны быть вида
Лту = AjWl Подставляем в разностное уравнение
AW = XaIw
-А
или
his)
Aj = IdAlW-"»
Чтобы это было возможно, определитель
0(V) = |a/y| = |2V u -8iy|
должен быть равен нулю, что дает Wy который, конечно, является наибольшим действительным корнем уравнения D=^CK Тогда величина С равна
Замечаем, что придем к тому же результату, если потребуем, чтобы все группы начинались с одного и того же произвольно выбранного состояния.
Приложение 2
/1 1 t \ Пусть Hi — , — —-) = А(п). По условию (3) можно раз­бить выбор из числа Sm равных возможностей на ряды по т выборов из s равных возможностей в каждом и получить
A(sm) = mA(s).
приложения
81
Точно так же
A(t") = nA(t).
Можно выбрать п произвольно большим и найти т из условия
sm < tn<J sm+i.
»
Таким образом, логарифмируя и деля на п \og s, найдем
т__
IcgZ __
Iogs ^ л п
или
HL-^tI ^ е
/i Iog 5 '
где е — произвольно мало.
Теперь из свойств монотонности А (п)
A(sm)^A(t")^A(sm+i), mA(s)^ nA(t) < (m-f
Следовательно, деля на az^(s):
m
Л(0 A(s)
п ~ п
или
MQ A(s)
m п
MQ A(s)
О,
Л(0 = -ZClogZ,
Iog/
где /( должно быть положительным, чтобы удовлетворить усло­вию (2).
Допустим теперь, что имеется выбор из п возможностей с со­измеримыми вероятностями pL = , где щ — целые числа.
Можно разделить выбор из ^ щ возможностей на выбор из п возмож­ностей с вероятностями P1,..., рп и затем, если i было избрано, произ­вести выбор из Hi возможностей с равными вероятностями. Поль­зуясь опять условием (3), приравняем полный выбор из ZnL В03' можностей, вычисленный двумя способами
KlogEni= Н(ръ..., рп)+KE PiIogni. Следовательно:
н = к (Е Pi iog Ещ-Е Pi iog щ) =
= - к E Pi iog ^l- = - кЕ Pi iog Pr
Если pi иррациональны, они могут быть апроксимированы правиль­ными дробями и то же самое выражение должно сохраниться при предположении о непрерывности. Таким образом, это выражение справедливо в общем случае. Выбор коэффициента К производится из соображений удобства, он определяет единицу измерений.
П р и*л" о ж?е"н и е 3
Предположим, что источник является эргодическим, так что применим сильный закон больших чисел. Таким образом, число пересечений данной траектории Pij в последовательности большой длины N приблизительно пропорционально вероятности нахожде­ния в состоянии / (скажем, Pi) и последующего выбора этой траекто­рии, т. е. PiPijN. Если N достаточно велико, то вероятность ошибки ±8 при этом меньше е, так что для всех случаев за исключением группы малой вероятности действительные числа заключены в пре­делах
{P1 Pij ±8) N.
Следовательно, почти все последовательности имеют вероятность
P=ILPij
[иной
~тИ~ 0ГРаничен величиной
или
Это доказывает теорему 3.
Теорема 4 немедленно следует отсюда по вычислении Верхнего и нижнего пределов для n(q)y основанных на диапазоне возможных значений р в теореме 3.
В смешанном (не эргодическом) случае, если
L=X PiK
а «энтропии» составляющих суть Н1>Н2>...>НпУ справедливо следующее предложение.
Теорема есть убывающая ступенчатая функция
5—1 5
w(q) = Hs в интервале J Ja..
приложения
83
Для доказательства теорем 5 и 6 прежде всего заметим, что Fn монотонно убывает, так как увеличение N увеличивает индекс условной «энтропии». Простая подстановка значения рв (Sj) в фор­мулу для Fn показывает, что
Fn =NGn-(N-I)Gn- l
Суммируя по всем Nf получим
Gn =4 S Fn-
Следовательно, Gn>Fn и Gn монотонно убывает. Они должны также сходиться к одному и тому же пределу. Пользуясь теоремой 3, видим, что
IimGyv =H.
TV-OO
Приложение 4
Допустим, что имеется ряд ограничений, наложенных на после­довательности символов, причем последовательности — с конеч­ными состояниями и поэтому могут быть представлены линейным графиком, как на фиг 2. Пусть /(7 будут длительности различных символов, которые могут случиться при переходе из состояния / в состояние /. Какое распределение вероятностей Pi для различных состояний и вероятностей p\f выбора символа s в состоянии /, переходящем в состояние /, дает максимальную скорость создания сообщений при данных ограничениях? Ограничения определяют дискретный канал, а максимальная скорость должна быть меньше или равна пропускной способности С этого канала. Действительно, если все группы большой длительности равновероятны, то в ре­зультате получилась бы именно эта скорость, а если они возможны, то такая скорость была бы наилучшей. Ниже будет показано, что эта ркорость может быть получена путем надлежащего выбора
P1 и pjf
Рассматриваемая скорость равна
YKJfFii
Пусть
V ij ~~ В:
84
часть i. статистическая теория передачи сигналов
где B1 удовлетворяет уравнению
_ (S)
/\s
Эта однородная система имеет не равное нулю решение, посколь­ку W таково, что определитель коэффициентов равен нулю
У М)
= 0.
Выбранные таким образом р%- являются подходящими переход­ными вероятностями, так как прежде всего
(s)
V
Pv -LtbT w - ~вГ~и
j, s Jy s
так что сумма вероятностей в любой частной узловой точке равна единице. Далее, они не отрицательны, как это можно видеть из рассмотрения величин Ai (Приложение 1). Все Ai обязательно не отрицательны, а Bi удовлетворяют подобной же системе урав­нений, только с переменой местами / и /. Это приводит к обратной ориентации линий на графике.
Подставляя эти значения p\f в общее уравнение для скорости, получим
R - i{s)
2 Pip1O 4}
_ Iog W 2 PiPiO liO - 2 PiPkQ '°g 8J+ 2 PiPtQ loS Bi Лп„ ш п
~ 2 PW 4 -IOgw-C
Таким образом, скорость при этой группе переходных вероят­ностей ровна С, и поскольку эта скорость никогда не может быть превзойдена, то она является максимальной.
Приложение 5
Пусть S1 будет некоторое измеримое подмножество g-ансамбля, а S2— подмножество /-ансамбля, которое дает S1 в результате операции Т. Тогда
S1=TS2.
Пусть Hx будет оператор, смещающий на интервал времени X все функции множества. Тогда
HxS1=HxTS2=THxS2t
приложения
85
так как T— инвариантна и поэтому может переставляться с Hx . Таким образом, если m[S] есть вероятностная мера множества S, то
т [HxS1]=ш [THf S2] =т [HxS2]=m [S2]=m [S1],
где второе равенство следует из определения меры Bg-пространстве, третье — из стационарности /-ансамбля, а последнее—опять-таки из определения меры g. Это показывает, что g-ансамбль— стационарный.
Для доказательства сохранения эргодических свойств при ин­вариантных операциях положим, что S1 есть подмножество g-ан-самбля, инвариантное при операциях Hx, и пусть S2 будет мно­жество всех функций /, которые преобразуются в S1. Тогда
Ях S1 = ^rS2 = TTZx S2 = Sb
так что HxS2 включается в S2 при всех X. Теперь так как
m[HxS2]=m [S2] =HilS1],
то это означает
HxS2 = S2
для всех X при т [S2 J 0,1. Это противоречие показывает, что S1 не существует.
Приложение 6
Верхний предел N3^N1+N2 объясняется тем обстоятельством, что максимальная возможная «энтропия» для мощности N1J-N1 будет в том случае, когдз имеются «белые» шумы такой мощности. При этом энтропийная мощность равна N1J-N2.
Чтобы найти нижний предел, допустим, что имеются два распре­деления в п измерениях P(Xi) й q(xt) с энтропийными мощностями A1 и N2. Какую форму должны иметь р и q, чтобы энтропийная мощность Zv3 их взаимодействия
'W = J P(yiM*i — Vbdyi
была минимальной?
«Энтропия» для г, которую обозначим H3, равна
H3= — ^ Jxi) Icgr(Xi)Clxi.
Надо разыскать минимум этого выражения при наложении сле­дующих условий:
H1=-^p(Xl) Iegp(Xl)Clxi, H2 = — ^q(Xi) Icgq(Xi)Clxi.
86
часть i. статистическая теория передачи сигналов
Рассмотрим тогда
U=— \[г(х) Icg г(х)+1р(х) Iogp(X) + ^q(X) Icg q(x)] dx,
W=- J {[ 1 + Iog г(х)] Щх) + X [ 1 + Iog р(х)] Ър(х) +
+ p[l+\cgq(x)]bq(x)}dx.
Если р(х) изменяется при частном значении аргумента Xi=Si, изменение г(х) равно
br(x) = q(xi — si)
и
bU=—^(Xi — S1) Iog r(x) dxi — X Iog P(Si) = 0.
Так же точно обстоит дело, если изменяется q. Таким образом, условия минимума
\q(xt — Si) Iog Jxi) dxt=—\ Icg P(Si)t
— st) Iog г(Xi) dx-L = —Iog q(si).
Если умножить первое выражение на P(Si)f а второе на q(s^ и про­интегрировать по Sf то можно получить
Hz = — Xtf1,
Hz = -^H2
или, решая относительно X и ^ и подставляя в уравнения: H1 ^(Xi — Si) Icgr(Xl) dxt=— Hz Iogp(Si),
H2 Jp(x, ~ S1) Iogr(Xi) dx~— Hz Iog q(Si).
Допустим теперь, что p(xt) и q(xt) подчиняются нормальному закону
Тогда r(xt) будет также подчиняться нормальному закону с квад­ратичной формой Cij. Если обратные величины этих форм состав­ляют CLijt bijt CiJt то
приложения
87
Надо показать, что эти функции удовлетворяют условиям ми­нимума только в том случае, если CLij=Kbijt и таким образом дают минимум H3 при наложенных ограничениях.
Прежде всего имеем
Iog /■(X1)=-J- Iog Е_ {Cij I - 7-2 си х' xJ
j Я(Ь — Si) Iog Г{X1) ClXi=
=\ Iog + I Cij I — 7- 2 —J 2 Cy ьц. Это должно равняться
^(4^Иу|-7-24уЦ.
что требует
В этом случае Aij = -ff~BU и 0^a УРавнения превращаются в тождества.
ЧАСТЬ II
ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ1*
С. РАЙС
Глава I ДРОБОВОЙ ЭФФЕКТ
Дробовой эффект в электродных лампах представляет собой типичный пример шумов. Эти шумы являются следствием флук-туаций интенсивности потока электронов, текущего от катода к аноду. Здесь будет рассмотрен упрощенный тип дробового эффекта.
1.1. ВЕРОЯТНОСТЬ ПОСТУПЛЕНИЯ НА АНОД ТОЧНО К ЭЛЕКТРОНОВ ЗА ПРОМЕЖУТОК ВРЕМЕНИ T
Предположим, что флуктуации электронного потока являются беспорядочными, и будем трактовать эту случайность следующим образом. Подсчитаем число электронов, поступающих на анод за длительный промежуток времени Ty измеряемый в секундах. До­пустим, что оно равно /C1. Повторяя процесс подсчета для многих промежутков длительностью Ty получим ряд чисел /C2, /C3,... Км* где M — полное число таких промежутков. Среднее число электро­нов в секунду V определяется как
V= Iim *i + *»-" + *Af, (1.1-1)
M-* оо MT V '
причем предполагаем, что этот предел существует. По мере увели­чения M при постоянной величине T некоторые /С будут иметь оди­наковые значения. Действительно, при возрастании M число К, имеющих какое-то данное значение, будет стремиться к увеличению. Это заключение основано на предположении, что электронный ток представляет собой постоянный ток, на который накладываются беспорядочные флуктуации. Вероятность попадания на анод К электронов за данный опыт определяется как
p^jfj_Jjm число опытов, дающих точно К электронов j_
M •* оо Al
г) S .О. Ric е, «Mathematical Analysis of Random Noise», Bell System Technical Journal, 23, № 3, 282-332, Julv 1944, 24, № 1, 46—156, January 1945.
гл. i. дробовой эффект
89
Конечно, р(К) зависит также от T Предположим, что беспоря­дочность электронного потока такова, что вероятность попадания электрона на анод в промежуток времени (Z,Z+AZ) равна vJZ (lt та­ково, что VAZs^l) и что эта вероятность не зависит от событий, происходящих до момента времени Z или после момента Z+AZ.
Этого предположения достаточно для написания выражения для р(К)у которое равно
р(Ю=<7/да. (1.1-3)
Это есть «закон малых вероятностей» Пуассона. Один из иногда применяемых методов доказательства может быть легко продемон­стрирован для случая K=O. Разделим промежуток (0,7) на M
T
интервалов каждый длительностью AZ=-^. Выбираем AZ таким ма­лым, чтобы vAZ было значительно меньше единицы. (Это и есть «малая вероятность» того, что электрон попадает на анод в про­межуток времени AZ.) Вероятность того, что электрон не попадает на анод в первый промежуток AZ, равна (1—vAZ). Соответственно вероятность того, что электрон не попадает на анод ни в первый, ни во второй промежуток, равна (1—vAZ)2, а вероятность того, чта электрон не попадает на анод ни в одном из M промежутков, равна
T
(I^vAZ)vL Заменяя M через -^- и полагая AZ—ИЗ, получим
р(0)= е-*
Выражения для р(1), р(2),...,р(/() могут быть выведены подобным же образом.
1.2. ТЕОРЕМА О НАЛОЖЕНИИ СЛУЧАЙНЫХ ВОЗМУЩЕНИЙ
Допустим, что попадание электрона на анод в момент Z=O вы­зывает какой-то эффект F(t) в некоторой точке выходной цепи. Если выходной контур таков, что эффекты, вызываемые отдель­ными электронами, складываются линейно, то полный эффект в-момент Z благодаря действию всех электронов равен
Щ= YlFit-U), 0.2-1)
Л= -оо
где £-й электрон попадает в момент Za- , а ряд предполагается сходя­щимся.
Теорема о наложении случайных возмущений утверждает, что среднее значение /(Z) равно
7(Z) = vj7(Z)dZ, (1.2-2)
90
часть ii. теория флуктуационных шумов
а средний квадрат флуктуаций вокруг этого среднего значения
+ оо
[/(О-/W2 =v ]>(*)#, (1.2-3)
— OO
где V есть среднее число электронов, попадающих на анод за 1 сек.
Формулировка этой теоремы не будет достаточна, пока не определено, что подразумевается под словами «среднее значение». Форма приведенных выше уравнений может натолкнуть^а мысль, что это есть среднее во времени, т. е. значение
т
Iim A [l(t)dt. (1.2—4)
о
Однако при доказательстве этой теоремы усреднение обычно производится по весьма большому числу промежутков длительно­стью Ty а t сохраняется постоянным. Этот процесс в известной сте­пени подобен применявшемуся в разделе (1.1); для большей ясно­сти рассмотрим, что представляет собой, например, /(/). Мы наблю­даем /(Z) во многих, скажем My интервалах, длительностью каждый Ty причем Г велико по .сравнению с промежутком, в течение кото­рого эффект Z7(Z), вызыраемый поступлением одиночного электрона, значителен. Пусть J(F) будет значение /(Z) через Z' секунд после начала п-то интервала. Z' равно ^ плюс постоянная величина, за­висящая от начального момента интервала. Индекс поставлен впе­реди, чтобы сохранить обычное место для другого индекса, кото­рый будет введен позже. Значение I(F) тогда определяется так:
1Щ= Iim А [,/(0 + 2/(0 + -■ • +мЦЩ] (1.2-5)
M-* оо
причем предполагается, что предел существует. Средний квадрат флуктуаций /(/') определяется таким же точно путем.
Как показывают уравнения (1.2—2) и (1.2—3), эти средние зна­чения и все им подобные средние значения, появляющиеся в даль­нейшем, оказываются независимыми от времени. Когда это спра­ведливо и входящие в уравнение (1.2—5) M интервалов следуют друг за другом, среднее во времени (1.2—4) и среднее (1.2—5) становятся одинаковыми. Чтобы это показать, умножим обе части (1.2—5) на dt' и проинтегрируем в пределах от О до Т:
мт мт
/1F)=lmJf2j Jindt^limJf j Iit) dt, (1.2-6)
m=l О О
а это то же самое, что и среднее во времени (1.2—4), если только последний предел существует.
гл. I. дробовой эффект
91
1.3. ДОКАЗАТЕЛЬСТВО ТЕОРЕМЫ О НАЛОЖЕНИИ СЛУЧАЙНЫХ ВОЗМУЩЕНИЙ
Рассмотрим случай, когда точно К электронов поступают на анод в интервале длительностью T Прежде чем интервал начал­ся, было предопределено прибытие этих К электронов в промежутке (О, 7), хотя каждый данный электрон может поступить на анод с одинаковой вероятностью в тот или другой момент времени. Подсчитываем все эти электроны от первого до /(-го; следует под­черкнуть, что при этом подсчете не касаемся порядка поступления электронов на анод. Поэтому если tk — момент поступления £-го электрона, то вероятность нахождения tk в промежутке (t,t+dt) dt
равна -rf.
T принято весьма большим сравнительно с интервалом значе­ний Z, для которого Z7(Z) значительно отличается от нуля. В физи­ческих задачах подобный интервал обычно существует; назовем его А, хотя он и не очень определенен. Тогда если точно К электро­нов поступают на анод в промежутке (0,7), то создаваемый ими эффект приблизительно равен
IK{t)=YF(t-tk\ (1.3-1)
A=I
#
причем степень приближения весьма хороша во всем интервале за исключением участка внутри А у конечных точек.
Допустим, что исследуется большое число M интервалов дли­тельностью 7. Число промежутков, # которые на анод поступает точно К электронов, будет равно в первом приближении Mp(K), где р(К) находится из (1.1—3). Для фиксированного значения Z и для каждого интервала, в который поступает К электронов, Ik(I) будет иметь определенное значение. Когда M—► оо, то среднее значение /#(/), найденное путем усреднения по интервалам, равно
да = ^•••^-2^-4)=2(^^-^), (ьз-2)
0 0 A=I A=I 0
и если A<Z<7 — А, то
+ OO
Если теперь усредним /(Z) по всем M интервалам, а не только по тем, в которые на анод поступает К электронов, то получим.
92
часть ii. теория флуктуационных шумов
если M—► оо:
OO оо ^ -\- со
W= 2 р^)Щ) = 24 п+е-Цпъ dt =
TV= О K = O 7
= v Jz7(Z) Л, (1.3-4)
что и доказывает первую часть теоремы. Этот детальный вывод быд применен для доказательства сравнительно простого соотношения (1.3—4), чтобы иллюстрировать метод, который может быть приме­нен для доказательства более сложных выводов. Конечно, соотно­шение (1.3—4) легко установить, замечая, что интеграл представ­ляет собой среднее значение эффекта, вызываемого поступлением одного электрона, причем это среднее значение взято за 1 сек., а V есть среднее число поступлений электронов за 1 сек.
Чтобы доказать вторую часть (1.2—3) теоремы, сначала вычис­лим Z2(Z) и воспользуемся соотношением
[/(Z) - /(Z)I2 = /2 (Z) - 2/(/) /(Z) + /(Z)2 = Z2 (Z) -/(Z)2. (1.3-5) Из определения IK(t) в уравнении (1.3—1) следует
M') = 2 2 м-у nt-tm).
1 m=l
Усредняя это выражение по всем значениям Z1,Z2,..., Z^, поддержи­вая Z постоянным, как и в (1.3—2), получим
KK7 Т
MW = X 2 [-J- \-«F{t-tk)F{t-tm).
Кратный интеграл имеет два различных значения. Если k=tn» то его значение равно
F\t-tk)^,
а если k+=my то
т
J4(/-4)4j F{t-tm)-j
m t
Подсчет числа членов в двойной сумме показывает, что первое значе­ние имеют К членов, а второе значение (К2—К) членов.
ГЛ. I. ДРОБОВОЙ ЭФФЕКТ
93
Следовательно, если Д<7<7—Д, то
+ оо +оо 2
ILt) = $ dt + *<£72 [ j Л ]
- оо —оо
Усредняя по всем интервалам, а не только по тем, в которые на анод поступает К электронов, получим
Щ = 2 P(K)Iut) = V Г F\t)dt + Wy,
K-O J
— OO
где суммирование по К выполняется так же, как в (1.3—4), а после суммирования подставляется значение (1.3—4) для /(Z). Сравнение с (1.3—5) доказывает вторую часть теоремы.
1.4. РАСПРЕДЕЛЕНИЕ ТОКА I(t)
Если выполняются некоторые условия, то часть времени, в те­чение которого ток /(Z) заключен в пределах (/,/+<//), равна P(I) dly где при V—* оо плотность вероятностей P(I) сходится к
1 -(/-7)2/2а*
—е 1 (1-4—1)
qI /2к
Здесь / — среднее значение /(Z), равное (1.2—2), а квадрат стандарт­ного отклонения о7 , т. е. дисперсия, равна (1.2—3). Нормальное распределение следовало ожидать в силу «центральной предельной теоремы» теории вероятностей. Она утверждает, что при некоторых условиях распределение суммы большого числа случайных перемен­ных сходится к нормальному закону распределения, дисперсия ко­торого равна сумме дисперсий отдельных переменных. Подобным же образом среднее значение нормального распределения равно сумме средних значений отдельных переменных.
До сих пор говорилось о предельной форме плотности вероятно­стей P(I). Можно написать точное выражение для P(I)f которое, однако, весьма сложно. Из точного выражения может быть полу­чена предельная форма. Найдем теперь это выражение.
В соответствии с тем, как это было сделано при доказательстве теоремы о наложении случайных возмущений, ищем плотность ве­роятностей P(I) для значений /(Z), наблюденных через Z секунд от начала каждого из промежутков длительностью Ti составляющих 'большое число M.
Вероятность нахождения /(/) в интервале (/, I-\-dI) =
OO
= 2 (вероятность поступления точно К электронов) X K=O
X (вероятность нахождения IK(t) в интервале ( /, IJdI) при поступлении на анод точно К электронов).
94
часть il теория флуктуационных шумов
Обозначая последнюю вероятность в суммировании через Pk(I) (II9, используя применявшиеся ранее обозначения и отбрасывая мно­житель dl9 получим
OO
Р(П= Y1P(K)Pk(I)- (1-4-2)
k=O
Вычислим Pk(I) методом «характеристических функций», ис^ пользуя определение Ik(I)
к
Ik(I)= JZ7(Z-Za). (1.3-1)
a=I
Этот метод будет применен в его простейшей форме: вероятность того, что сумма ZC независимых случайных переменных
Xi + X2jI---9+ХК
находится в интервале между X и X+dX9 равна
dxL |е_ш,П (сред. знач. е k )du. (1.4—3)
— оо a= 1
Среднее значение etXkU> т. е. характеристическая функция распре­деления Xk у находится усреднением по значениям Xk . Хотя это и наиболее простая форма метода, но она также и наименее общая, так как интеграл в некоторых важных случаях расходится. При­мером такого случая является распределение, которое дает вероят­ность L , что я* = — 1, и -L , что Xk=E Однако в таких случаях
все же формально можно пользоваться уравнением (1.4—3), при­меняя соотношение
J" е~Шс1и = 2Ща), (1.4—4)
-OO
где 8(а)=0 за исключением а=0, когда 8(0)= оо, а ее интеграл, взятый в пределах от а=—е до а=+£, равен единице (здесь £!>0h Если заменить Xk на Z7(Z-Za), то видно, что среднее значение el*kU равно
т
-L-Jexp [iuF(t — tk )] dtk . о
Все ZC характеристических функций одинаковы, и, следовательно, из (1.4—3) Pk(I) dl равно
гл. i. дробовой эффект
95
Хотя при выводе этого соотношения было принято Z(>0, но оно также справедливо и для K=O [если только использовано (1.4—4)]. В этом случае P0(Z)=S(Z), поскольку /=0, когда электроны не по­ступают на анод.
Вводя выражение для Pk(I) и выражение (1.1—3) для р(К) в уравнение (1.4—2) и выполняя суммирование, получим + « т
P(I) = A j ехр — Uu — v7 + VJ ехр [iuF(t — х)] dz\du. (1.4—5)
- OO ^ о
Первая показательная функция может ^ыть несколько упрощена. Воспользовавшись соотношением
т
v7 = V Jdx
о
можем написать
т т
— vT+vj* ехр [iuF(t — х)] di =
о о Полагаем, что k<^t<iT — Д, где Д есть интервал, рассмотренный в связи с уравнением (1.3—1). Принимая \F(t—х)| = О при 11 — х| > Д, можно написать последнее выражение в виде
+~
V \ (eiuF{t)—\)dt. (1.4—6)
— OO
Подставив это выражение в (1.4—5), получим искомое уравнение Для P(I)
+ OO + OO
P(I) = jехр 1 — tfu+v С (Jum du. (1.4—7)
-OO — OO
Представление о тех условиях, при которых плотность вероят­ностей сходится к нормальному закону (1.4—1), можно получить из (1.4—7), разлагая (1.4—6) в ряд по а и определяя, когда можно пренебречь членами с и* и с высшими степенями и. Это проделано в разделе 1.6 для другого, несколько более общего случая.
1.5. ОБОБЩЕНИЕ ТЕОРЕМЫ О НАЛОЖЕНИИ СЛУЧАЙНЫХ ВОЗМУЩЕНИЙ
Вместо выражения (1.2—1) для тока дробового эффекта I(I) будем теперь иметь дело с током
+ OO
/(/)= у; akF(t-tk), (1.5-1)
96
часть ii. теория флуктуационных шумов
где F(I) — функция того же типа, что и ранее, и где... alt а2,... CLk9...—независимые случайные переменные, все имеющие оди­наковое распределение. Предполагается, что моменты ап суще­ствуют и что все события являются случайными.
Обобщенная теорема утверждает, что п-й семиинвариант плот­ности вероятностей P(I) для тока / (1.5—1) равен
+ OO
X„=v^ jV(Z)]*dZ, (1.5-2)
где V есть ожидаемое число событий в 1 сек.
Семиинварианты распределения определяются как коэффи­циенты в разложении
n
Iog, (сред. еШ)= J ^{iuY +Ф% (1.5-3)
т. е. как коэффициенты в разложении логарифма характеристиче­ской функции. Семиинварианты X связаны с моментами распреде­ления. Поэтому если тъ т2>... обозначают моменты первого, вто­рого и т. д. порядков относительно нуля, то
n
сред, е"«= 1 +2 КГ {iu)"+ ^Un )•
Комбинируя это соотношение с выражением для X, можно пока­зать, что
T=LTI1=I11
D= Ki2= X2 + X1Zn1, 1ъ=т3= X3+2X2m1 + X1m2 .
Отсюда следует, что X1=/, а X2= (/—/)2. Следовательно, из (1.5—2) можно получить первоначальную формулировку теоремы, если положить п равным единице и двум и принять, что все а равны еди­нице.
Обобщение теоремы немедленно следует из обобщения выраже­ния (1.4—7) для плотности вероятностей. Проделывая такие же операции, что и в разделе 1.4, и заменяя Xk на akF(t—tk), получим
+ оо T
сред. A*" = Aj q(a)da j ехр [iuaF(t — tk)]dtk ,
-оо о
где q(a) есть функция плотности вероятностей для а. Следовательно,
гл. i. дробовой эффект
97
плотность вероятностей P(I) для тока /, заданного в виде (1.5—1), равна
+ OO +OO +OO
P(I) = 7- J ехр [ — Ни + V j* q(a) da J (eiu<">V)—\) dt) du. (1.5—4)
— OO — OO — OO
Из (1.5—4) логарифм характеристической функции для P(I) ра­вен
+ OO +OO OO +OO +OO
V j q(a) da jV"™ ~ D 2 4г v | q(a) da a+\t) dt.
— OO
Сравнение с рядом (1.5—3), определяющим семиинварианты, при­водит к обобщению теоремы, формулированному в виде (1.5—2).
Могут быть сделаны и другие обобщения теоремы. Например, положим в выражении (1.5—1) для тока I(I)f что Z1, Z2,..., Za,..., хотя и продолжают быть случайными переменными, но теперь не обязательно распределены в соответствие с принятыми ранее зако­нами. Допустим, что дана плотность вероятностей р(х)у где х — промежуток между следующими друг за другом событиями:
Z2= Z1+X1 , (1.5-5)
Z3 = U + X2= Z1+ X1+ X2 и т. д.
Для рассмотренного выше случая
р(х) = V*-". (1.5—6)
Предполагаем, что ожидаемое число событий в 1 сек. равно v. Возьмем частный, но важный случай, для которого
F(Z)=O, Z<0, F(t) = e-*<y Z>0.
Для очень длинного промежутка, простирающегося от Z=Z1 до Z= T+ Z1, внутри которого происходит точно К событий, будем иметь, если Z не близко к концам промежутка:
I(t) = a1F(t—t1)+ A2F(Z-Z1-X1) + • • • + a*+iF(Z—Z1-X1-----хк) =
^aJW+a^t' -X1)+ • • • + a*+iF(Z'—X1-----хк),
D(Z)= a\F2(t')+a\F*(t'—X1) + - • - + ^+iF2(Z'—X1-----хк) +
+ 2a1a2F(tf)F(f-x1) + • • • +2^+1^ W~*i-----xK) +
+2a2a3F(t'— XOF(F-X1-X2)H-----\- • • •
где Z'= Z-Z1. Если проинтегрируем I2(I) по всему интервалу 0<Z'<7 и опустим штрих, то получим приближенно
98
часть ii. теория флуктуационных шумов
j/2(Z) dt = (а\ + •. • +aht) <f(0)+
+2^2^(^0 +га^ср^+ХгН-----^a&x+iUiXi+ ...+хк)+
+ 2а2а3ср(х2)Н-----1-----\-2aKaK+i w(xK),
где
-1—
w(x) = J F(t)F(t — x)dx.
Если разделить обе части на T и положить, что К и T очень ве­лики, то
у H- *±i Cf(O) ^va^O)
{ O1A2Cp(X1)+a2a3(D(х2) H-----\-aKaK+i cp(xK)J
= -у сРед- 0A+i<p(xA )]
=^r va2 J cp(x) p(x) dx ,
0
Ia1O3Cf(X1+x2) H----j = Lzlсред, j* Qk Ck+2 ^ +
OO OO
^ VO2 Jdx1 J dx2 P(X1) p(x2) cf (X1+x2). о 0
Соответственно
r
Щ = Iim-L- [ I2(I) dt = 0
00
=v a2(c(0)+ 2v a2 [ j P(*)<PW d* +
00 00
+ J GfX1 J dX2 P(X1)P(X2) Cf(X!+X2) + 1.
Для нашего частного случая экспоненциальной формы F(Z) имеем
/ \ е ~ах
гл. i. дробовой эффект
99
а кратные интегралы, встречающиеся в выражении для I2(I)i могут быть представлены при помощи
q= ^ р(х) е-** dx. (1.5—8)
Поэтому а так как
то получим
2 а D(Z)= va2+2a2vy^- ,
/(Z) ^vajF(Z) dt^HL,
тт-т- 4+С#)'[ч^)-']- <'-5-9>
Уравнения (1.5—8) и (1.5—9) представляют собой обобщение теоремы при условии сохранения ограничений, рассмотренных в связи с уравнениями (1.5—5) и (1.5—7). Были сделаны и другие обобщения1!, но здесь ограничимся этим.
Читатель может найти интересным проверку того, даст ли урав­нение (1.5—9) правильный ответ, если р(х) задано в виде (1.5—6), а также исследовать случай, когда события разделены равными промежутками.
1.6. СХОДИМОСТЬ РАСПРЕДЕЛЕНИЯ ТОКА / К 'НОРМАЛЬНОМУ * ЗАКОНУ
В разделе 1.5 было показано, что плотность вероятностей P(I) для тбка шумов / может быть формально представлена в виде
+ OO OO
PW = 4 J exp [ - iIu + Ц ('")" Jr] d", (1-6-1)
_ оо Л=1
где In есть п-й семиинвариант, определяемый уравнением (1.5—2). Полагая
X2 = а2
X = LA =Lzl (1.6—2)
са 47
и разлагая
ехрЦ(/")лНг
Ч См. Е. Н. P о у л а н д, Proc Camb. Phil. Sor., 32, 580—597, 1936. Он распространяет теорему на случай существования двух функций вместо одной, обозначенной нами I(I). А. Я. Хинчин в Известиях АН СССР (сер. мат., № 3, 1938) продолжил и уточнил работу Роуланда.
100
часть ii. теория флуктуационных шумов
в ряд по степеням Ui почленно интегрируя этот ряд, пользуясь соот­ношениями
J_
2п
+ оо
J (iua)n ехр { — шах — f^lj du = (—)"a-i<pW(x),
w«»(x) = -±= fne-x*12,
и, наконец, собирая члены согласно порядку степени v 2 , получим P(I) а <г-уо)(*) —^Zl w(3)(x) +
3!
AAcp(4W+^i7 <р(в)(д)
+
+...
(1.6-3)
Первый член дает нормальное распределение, а прочие члены показывают, как достигается такое распределение, когда v->oo.
1.7. СОСТАВЛЯЮЩИЕ ФУРЬЕ ТОКА /(Z)
В некоторых аналитических работах ток шумов представляется в виде
n
ти\ До I n/ 27mZ . и . 2tc/zZ\
АО = -2°- +Yl ^cos T-+ Mm^J (1.7-1)
и в определенном месте работы полагается, что TnN стремятся к бесконечности. Коэффициенты ап и bni I^n ^Ni рассматривают­ся как независимые случайные переменные, распределенные вокруг нуля по нормальному закону.
В соответствии с нашим обычным подходом к дробовому эффекту предположим, что в течение промежутка (0,7) на анод поступают точно К электронов, так что ток шумов в этом промежутке равен
к
MO = ^F(t-tk). (1.7-2)
a=i
Коэффициентами разложения Ik(I) в ряд Фурье в интервале {0,7) являются апк и bnKt где
К T
апК - 1Ьпк = ■Y E J р(* ~'* > exp (-1Ir) dt *
a=i о
К +оо к
~ -г S fao exp Г- iIr Hdt=ё ^i"9* • (1 -7"3)
a-i -» l j a=i
гл. i. дробовой эффект
101
В этом выражении
(1-7-4)
— tSn = Т" J F(t)e~t2*nt,T dt.
В предыдущих разделах моменты поступления электронов Z1, Z2,- --Лк рассматривались как К независимых случайных переменных, каждое из которых распределено равномерно в интервале (0,7). Следовательно, и Qk могут считаться случайными переменными, равномерно распределенными по интервалу от 0 до 2iz.
Попутно заметим, что в уравнение (1.7—3) входит сумма из К случайно ориентированных единичных векторов. Когда К ста­новится очень большим, как это будет в случае v-* оо, то известно,-что действительная и мнимая части этой суммы представляют собой случайные переменные, которые стремятся стать независимыми и нормально распределенными вокруг нуля. Это дает представление о том, каким образом появляется нормальное распределение коэф­фициентов. Усреднение по 6а в уравнении (1.7—3)дает, когда п>0:
ClnK = Ьпк= 0. После дальнейших алгебраических выкладок
(1.7-5)
CLnK = Ь2пк = 2 Rn у
(1.7-6)
где пфт и пу т> 0.
До сих пор рассматривался случай поступления на анод точно К электронов в промежутке длительностью 7. Теперь переходим к общему случаю поступления любого числа электронов, используя формулы, аналогичные
(1.7-7)
(1.7-8)
а Ь =
о,
пфт.
Во второй строчке ап обозначает стандартное отклонение величин ап и Ьп. Можно получить выражение для q\ в несколько иной форме,
102
часть ii. теория флуктуационных шумов
написав
W =
(1-7-9)
где In—частота п-й составляющей. Воспользовавшись (1.7—4), получим
+ OO
а2 = 2vAf
j F\t)e~i2^nt dt
(1.7—10)
Поэтому о'п пропорционально -^-.
Функция плотности вероятностей P(aly...,a:v, blf...ybN) для 2N коэффициентов aly...y aNy Ь1у...уЬм может быть выведена подобно плот1-ности вероятностей тока шумов в разделе 1.4. Здесь N произвольно, но фиксировано. Выражение, аналогичное (1.4—5), есть интеграл кратности 2N
+ OO +OO
= (2iz)-^ ^du1.. .^dvN ехр[—Iia1U1+...+bNvN)—v7+v7£],(l .7—11)
где
2те
LjdOexp
iY^unCn+vnSn) casn9+(vnCn—unSn) sin nQ
,(1.7-12)
п=Л
В этом уравнении Cn—iSn представляет собой преобразование Фурье (1.7—4) функции F(t).
Вслед за этим нужно показать, что (1.7—И) сходится к нор­мальному закону в 2N измерениях, когда v—изо Эта задача оказы­вается весьма сложной. Представление о том, как выглядит это выражение, можно получить, рассматривая частный случай, когда F(I) является четной функцйей Z, и пренебрегая некоторыми членами. Тогда
Р(аъ .. .,aN,bu...,bN) = (1+ K1)
П
"(4+^)/2
л = 1
где
Xm =
Уп
(1.7-14)
-a3 = (2v7)"V,J[Xa+/(xaX/ — yky{) + 2ушУьУ1],
k, i
а суммирование производится в пределах 2<(£+/)<ZV при £</.
гл. i. дробовой эффект
103
Отсюда видно, что если TuN поддерживаются постоянными, то корректирующий член т] стремится к нулю, когда v становится очень большим. Весьма грубое представление о порядке величины т] получают, считая, что х и у можно заменить единицами. Полагая далее, что сумма состоит из N2 членов, каждый из которых может быть как положительным, так и отрицательным, получим, что ве­личина суммы имеет порядок N. Тогда можно ожидать, что т] имеет порядок ZV(2vT)~1/
Глава II
ЭНЕРГЕТИЧЕСКИЙ СПЕКТР И ФУНКЦИЯ КОРРЕЛЯЦИИ
В разделе 2.1 энергетический спектр и функция корреляции рассматриваемой функции времени, например, заданной в виде кривой, простирающейся до Z=оо, определяются соответственно уравнениями (2.1—3) и (2.1—4). Связь этих величин с формулами преобразования Фурье (2.1—5) и (2.1—6) вначале утверждается без доказательства; рассмотрение способа доказательства отнесено к разделам 2.3 и 2.4.
В разделе 2.3 рассмотрение основано на рядах Фурье, а в раз­деле 2.4 аналогичные результаты получаются более прямым пу­тем на основе интегральной теоремы Парсеваля.
Если анализируемая функция содержит постоянную или перио­дические составляющие, то выводы раздела 2.1 должны быть до­полнены, что и проделано в разделе 2.2. ,
Первые четыре раздела посвящены анализу заданной функции времени. Однако большинство 'приложений метода относится к функциям, которые ведут себя как более или менее случайные функции.
В математическом анализе подобная случайность обусловли­вается предположением, что функция t является также и функцией некоторых параметров, которые затем считаются случайными пе­ременными. Этот вопрос разобран в разделе 2.5.
В разделе 2.6 выводы раздела 2.5 применяются для определения среднего энергетического спектра и средней функции корреляции тока дробового эффекта.
То же самое сделано в 2.7 для прямоугольной волны, полуперио­ды которой имеют случайную длительность. Пример, в котором интервалы предполагаются одинаковой длительности, но знак волны случаен, также рассмотрен в 2.7.
Представление тока шумов в виде тригонометрического ряда с коэффициентами, рассматриваемыми как случайные переменные, разбирается в разделе 2.8.
Последние два раздела 2.9 и 2.10 посвящены некоторым вопро­сам теории вероятностей, в них соответственно рассмотрен нор­мальный закон и центральная предельная теорема.
гл. ii. энергетический спектр и функция корреляции 105
2.1. НЕКОТОРЫЕ РЕЗУЛЬТАТЫ ОБОБЩЕННОГО ГАРМОНИЧЕСКОГО АНАЛИЗА
Вначале сформулируем выводы, которые нужно получить, а затем покажем их правдоподобие при помощи методов, которые являются скорее эвристическими, чем строгими.
Допустим, что I(I) есть одна из функций, которые упомина­лись выше. Можно представлять себе, что она задана в виде кри­вой, простирающейся от Z=— оо до Z= оо. Можно также считать, что функция /(Z) составлена из большого числа синусоидальных составляющих, частоты которых лежат в диапазоне от 0 до +оо . Это не обязательно должен быть ток шумов, но если считать эту функцию током шумов, то, протекая по сопротивлению 1 ом, этот ток рассеет некоторую среднюю мощность, скажем р вт. Часть этой средней мощности, выделяемой составляющими, часто­ты которых заключены между / и f+df, будем в дальнейшем обо­значать w(f) df, следовательно:
OO
P = JW)df. (2.1-1)
О
w(f) имеет размерность энергии и на этом основании часто на­зывается «энерго-частотным спектром» тока /(Z). В дальнейшем будем называть w(f) просто «энергетическим спектром»1!.
Математическая формулировка этих рассуждений приводит к совершенно четкому определению w(f).
Пусть <D(Z) будет функция времени /, равная нулю вне интервала 0<Z<7 и равная /(Z) внутри этого интервала. Ее спектр представ­ляется следующим выражением:
t
S(f)= [ I(t)e'2%i/t dt. (2.1-2) b
Энергетический спектр w(f) определяется как
w(f) = Iim 21У)|2 (2.1-3)
где учитываются только значения />0 и предполагается, что этот предел существует. Это определение w(f) применимо, когда /(Z) не имеет периодических членов и постоянной составляющей. В противном случае уравнение (2.1—3) должно быть либо допол­нено, либо применен другой метод исследования. Эти вопросы будут разобраны в разделе 2.2.
В литературе для w(f) принято также название «спектральная плот­ность мощности» или просто «спектральная плотность». (Прим. ред.)
106
часть ii. теория флуктуационных шумов
Функция корреляции для /(/) определяется пределом
т
ф(т) = Iim 4" f/(0 W + *)dt, (2.1 - 4)
который предполагается существующим. ф(т) тесно связана с коэф­фициентами кррреляции, применяемыми в статистической теории для измерения корреляции двух случайных переменных. В данном случае значение /(Z) в момент времени Z есть одна переменная, а ее значение в другой момент времени Z+x есть другая переменная.
Энергетический спектр w(f) и функция корреляции ф(х) связаны между собой следующими соотношениями +
OO
w(f) = 4J Ф(т) cos 2те/т dx, (2.1_5)
о
OO
ф(т) = J w(f) cos 2ти/т d/. (2.1 — 6)
о
Отсюда видно, что ф(т) является четной функцией т и что
Ф(0) = р. (2.1-7)
Когда известна либо ^(/), либо ф(т), вторая функция может быть найдена, если только соответствующий интеграл является сходя­щимся.
2.2. ЭНЕРГЕТИЧЕСКИЙ СПЕКТР ДЛЯ ПОСТОЯННОЙ И ПЕРИОДИЧЕСКОЙ СОСТАВЛЯЮЩИХ
Как указывалось в разделе 2.1, если /(Z) имеет постоянную или периодическую составляющую, то предел в уравнении (2.1—3) для /=O или для частоты периодической составляющей не суще­ствует. Пожалуй, наиболее удовлетворительным способом пре­одоления этой трудности с математической точки зрения является переход к оперированию с интегралом энергетического спектра
/
г*
\w{g)dg, (2.2-1)
О
вместо того чтобы иметь дело с самим спектром w(f).
Определение ф(т) в виде (2.1—4) сохраняется. Если, например:
/(Z) = А + С cos (2rc/0Z — <р), (2.2— 2)
х) Эти соотношения получены А. Я. Хинчиным в работе «Теория кор­реляции стационарных стохастических процессов» в 1934 г. (Прим. ред.)
гл. ii. энергетический спектр и функция корреляции Ю7
то по уравнению (2.1—4) ф(х) равна
ф(х) = л2+-у008 2^fox-Формулы перехода (2.1—5) и (2.1—6) дают
(2.2— 3)
Г , 2 Г sin2r./x
) w(g) dg =- J ф(х) —;— dx,
о о ф(т) = j* cos 2*ju/t d j w(g) dg
(2.2-4)
O LO
где последний интеграл должен рассматриваться как интеграл Стильтьеса. Если выражение (2.2—3) для ф(х) подставить в первую формулу (2.2—4), то получим
/ (A2y если 0 </ < /о,
/■
g)dg={ 2 С2 (2-2-5)
о [А + -Tft если/>/0.
Если это выражение использовать во второй формуле (2.2—4), то приращения дифференциала, очевидно, будут A2 при /=O и
при /=/0. Полученное выражение для ф(х) совпадает с первона­чальным.
Теперь воспользуемся менее строгим, но более удобным методом рассмотрения случая периодических составляющих. Исследуя ин­теграл в выражении (2.2—5) для w{f)y можем написать
w(f) = 2Л2 8(/) + 4 8(/- /о), (2.2- 6)
где 8 (х) есть четная единичная импульсная функция, так что если е>0, то
E е
j 8(jc) dx = i- j S(x) dx = 4. (2.2- 7)
О -e
а 8(x)=0, за исключением х=0, когда 8(0)= оо. Это позволяет вос­пользоваться более простыми формулами перехода раздела 2.1. Сразу видно, что вторая из них (2.1—6) дает правильное выражение для ф(х). Первая формула (2.1—5) дает правильное выражение для (wf), если интерпретировать интегралы следующим образом:
jcos 2тг/х^ = +-8(/),
о
OO
j* cos 2тс/0* cos 2u/x dz == -Г- 8(/ — /о)-
(2.2-8)
108
часть ii. теория флуктуационных шумов
Нетрудно показать, что это находится в согласии с основным представлением
+ OO + OO
j е-l^tt dt= Dпф dt = Hf), (2.2-9)
— оо — оо
которое, в свою очередь, следует из формального применения форму­лы интеграла Фурье и соотношения
+ оо +оо
j Hf)ei2%,t df = f Hf) е " l^t df=\, (2.2- 10)
— OO — OO
Следует помнить, что в (2.2—8) I0^Oy а />0, так что
4f + fo) = 0 для / > о.
Определение w{f) в виде (2.1—3) дает сплошной участок энер­гетического спектра. Чтобы получить часть спектра, соответствую­щую постоянной и периодическим составляющим, примером кото­рой служит уравнение (2.2—6) для w(f) с функциями 8, надо до­полнить (2.1—3) членами типа
2-4° 8(0 + +</-/.) =
.[HmifcjS*] p.s_ ,„
Правильность этого выражения может быть проверена путем вычисления S(/) для тока /(/), заданного в виде (2.2—2), и нахожде­ния пределов.
2.3. ОБСУЖДЕНИЕ ВЫВОДОВ ПЕРВОГО РАЗДЕЛА — РЯДЫ ФУРЬЕ
Тот факт, что соотношение между энергетическим спектром w(f) и функцией корреляции <р(т) задается формулами преобразо­вания Фурье, непосредственно связан с теоремами Парсеваля для рядов и интеграла Фурье. Начнем с рядов Фурье и используем представление о рассеивании доли энергии каждой составляющей независимо от поведения других составляющих.
Пусть часть тока I(I)y приходящаяся на интервал 0<t<Tf разложена в ряд Фурье
Щ = ^ + S^cos^+^sin-^) (2.3-1)
гл. ii. энергетический спектр и функция корреляции 109
где
t
ап= Ц 7(0 cos ^d/, (2 з_2) Тогда для интервала — х <t < 7 — х
Ht + т) = ^ + !Д a„cos г + 6*sin-Plj-) (2.3-3)
Перемножая ряды для /(Z) и /(Z+x) и интегрируя по Z, получим после некоторых сокращений
т
+/(/)/(/+x)d/ =
о
= 3+ £4<^+*У<™^Н-с(£), (2-3-4)
где последний член является корректирующим и должен быть до­бавлен вследствие того, что ряд (2.3—3) не представляет /(Z+x) в промежутке (7—х, 7), если t>0, или в промежутке (0,—х), если х<0.
Если ток /(Z) протекает по сопротивлению 1 ом в интервале (0,7), то каждая составляющая рассеет некоторую среднюю мощ­ность. Эта средняя мощность, выделенная составляющей с частотой
In=-If- Щ> должна быть равна, как это следует из теории рядов
Фурье и элементарных принципов:
-L(aS+6£)em, пфО, (2 3—5)
— вт, п=0. 4
Ширина полосы, связанная с п-и составляющей, есть разность по частоте между (я+1)-й и п-и составляющими
г г _nji п _ _1_
L+i— L~~ T T ~~ T гц'
Следовательно, если среднюю мощность в полосе (1,1+df) обозна­чить как w(f) df, то средняя мощность в полосе fn+i—/ равна
^(/я)(/л+-/я)=^(+)+>
по
часть ii. теория флуктуационных шумов
а из (2.3—5) следует
•фт-Т+8+'»' "=+0. (23_6> «0(0)4- = -7"' п = 0'
Если коэффициенты в (2.3—4) заменить их значениями, выраженны­ми через w(f), то получим
±1 нот +.)*+ ¢(^)-+2 Mf) 'os2jT =
0 х /2=0 Х 7
= I а; (+г) cos -L^ у- = I о>(/) cos 2ф df9 (2.3—7)
где полагаем T настолько большим, а w(f) такого характера, что суммирование может быть заменено интегрированием.
Если / остается конечным, а T—►oo при т, поддерживаемым по­стоянным, то корректирующий член слева становится ничтожно малым. Пользуясь определением (2.1—4) для'функции корреляции ф(т), получим вторую из основных формул преобразования (2.1—6). Первая формула может быть сразу получена отсюда применением к w(f) формулы двойного интеграла Фурье.
Кстати, соотношение (2.3—6) между w(f) и коэффициентами ап и Ьп находится в согласии с определением w(f) по формуле (2.1—3), как предела, содержащего JS(/)|2. Из формулы (2.3—2) для ап и Ьп спектр S(fn) по уравнению (2.1—2) равен
ад)=4 (°п-*п).
Тогда согласно (2.1—3) ш(/„) равен следующему пределу при Г—оо :
41 ад Г=тт(а"+ь%) = т(°а»+b2A
а это и есть выражение для w{^f~^ согласно (2.3—6).
2.4. ОБСУЖДЕНИЕ ВЫВОДОВ ПЕРВОГО РАЗДЕЛА — ТЕОРЕМА ПАРСЕВАЛЯ
Применение теоремы Парсеваля1! позволяет получить резуль­таты раздела 2.1 более прямым путем, чем это дает метод, исполь-
1I Титчмарш, «Введение в теорию интегралов Фурье», Гостехиздат, 1948. (Прим. ред.)
ГЛ. II. ЭНЕРГЕТИЧЕСКИЙ СПЕКТР И ФУНКЦИЯ КОРРЕЛЯЦИИ
111
зованный в предыдущем разделе. Эта теорема утверждает, что
+ OO +OO
J Fi(f)F2(f) df = J 0^)0,(-1) dt, (2.4- 1>
—оо —оо
где Fi, G1 и F2, G2 суть пары преобразований Фурье
+ оо
F(/)= j G(Z)^T i2nfUt1
— OO
V (2.4— 2)
<?(/)= j F(f)ei2*ft df.
— OO
Эти соотношения могут быть доказаны формальным образом под­становкой F1 в виде интеграла, содержащего G1(Z), в левую часть уравнения (2.4—1). Изменение порядка интегрирования и исполь­зование второй формулы (2.4—2) для замены F2 на G2 дает правую часть уравнения.
Положим теперь G1(Z) и G2(Z) равными нулю, за исключением интервалов длительностью 7. Эти интервалы и соответствующие значения G1 и G2 составляют
G1(Z) = Z(Z), 0<Z<7,
G2(*) = /(-* + t), х_7<*<т. v ' °}
Из (2.4—3) следует, что F1(Z) есть спектр S(f) для Z(Z), определяемый уравнением (2.1—2). Так как Z(Z) вещественно, то из первого урав­нения (2.4—2) следует, что
S(-/) = S*(f). (2.4-4)
где звездочка обозначает сопряженный комплекс, и, следовательно, |S(Z)|2 есть четная функция /.
Из первого уравнения (2.4—2) следует также
F2(Z)= f l(-t + je-i2*ftdt =
К) Jt (2.4-5)
т
= j Z(Z) е dt = S*(Z) в
о
Если эти значения GhF подставить в (2.4—1), то получим
+ со t-X
J |S (/)|» r''2n/Td/ = J /(*)/(* + х) Л, (2.4-6)
-OO О
гДе использовано то обстоятельство, что G2(—Z) повсюду равна нулю, за исключением интервала —x<Z<7—т, и положено т>0.
112
часть ii. теория флуктуационных шумов
Если х<0, то пределы интегрирования в (2.4—6) справа должны быть — т и 7.
Так как |S(/)|* есть четная функция /, то можно написать (2.4—6) в виде
т
4-J Wtf + 4 dt+Z fe) = P^j-'cos2*fx df. (2.4-7)
о ■ • о
Если теперь определить функцию корреляции ф(х) как предел левой части уравнения при 7—►oo , а w(f) как функцию
w(f) = Iim 2-Щф . f >0, (2.1-3)
то будет получена вторая из основных формул преобразования (2.1—6). Как и раньше, первая может быть всегда получена при по­мощи интегральной теоремы Фурье.
Чтобы подойти к интерпретации w(f)df как средней мощности, рассеиваемой в сопротивлении 1 ом теми составляющими /(Z), которые лежат в полосе частот (/, f+df), надо положить в (2.4—7) -х=0
т
Iim -Lj D(Z) dt = §w{f)df. (2.4-8)
Выражение слева представляет собой, очевидно, полную сред­нюю мощность, рассеиваемую в сопротивлении 1 ом, а правая часть — суммирование по всему диапазону частот от О до оо. Поэтому естественно истолковать w(f)df как мощность, выделяемую составляющими в полосе частот (f,f+df).
В предыдущих разделах речь шла об энергетических спектрах w(f) и функции корреляции ф(х) для весьма общего типа функций. Следует заметить, что знание w(f) не дает возможности определить первоначальную функцию /(Z). При нахождении w(f), как это можно видеть из (2.1—3) или из (2.3—6), данные, связанные с фазовыми углами различных составляющих /(Z), исчезают. Дейст­вительно, как это видно из представления /(Z) в виде ряда Фу­рье (2.3—1) и из (2.3—6), можно найти бесконечное число различ­ных функций, имеющих одинаковый спектр w{f) и, следователь­но, одинаковую функцию корреляции ф(х).
^ 2.5. ГАРМОНИЧЕСКИЙ АНАЛИЗ СЛУЧАЙНЫХ ФУНКЦИЙ
Во многих приложениях теории, рассмотренной в предыдущих разделах, /(Z) есть функция Z, обладающая определенной долей случайности. Например, /(Z) может быть кривая составляющей
гл. ii. энергетический спектр и функция корреляции цз
скорости воздуха позади сетки, помещенной в аэродинамической трубе, или, что наиболее интересно, кривая тока шумов.
В некоторых математических работах эта случайность опреде­ляется введением в I(I) ряда параметров, которые затем считаются случайными переменными. Так, в дробовом эффекте моменты по­ступления электронов ZljZ2,...,//? приняты за параметры и каждый предполагается равномерно распределенным в интервале (0,7).
Для любого данного ряда значений параметров /(Z) имеет оп­ределенные энергетический спектр w(f) и функцию корреляции ф(х). Однако теперь основной интерес представляют те функции, которые дают средние значения w(f) и ф(х) для фиксированных f и х. Эти функции можно найти путем усреднения w(f) и ф(т) по интервалу изменения параметров, пользуясь, конечно, функциями распределения параметров.
Усредняя обе части соответствующих уравнений в разделах 2.1 и 2.2, видим, что основные формулы преобразования (2.1—5) и (2.1—6) остаются неизменными. Поэтому
OO
w(f) =4 j^(x)cos2irfxdx, (2.5—1) о
ф(т) = ]w(f) cos 2*/т df9 (2.5-2) о
где черточки указывают на усреднение по параметрам при / или х,
сохраняемым постоянным. Определения w и ф в этих уравне­ниях можно также получить из (2.1—3) и (2.1—4)
w(f) = Iim Щ++ (2.5+3)
Т-оо 1
t
ф(х) = Iim -L J /(Z)/(Z+ х) dt. (2.5-4) о
При усреднении по параметрам значения Zhx сохраняются постоян­ными. В уравнении (2.5—3) S(f), рассматриваемая как функция параметров, связана с /(Z) следующим соотношением:
т
S(f) \l(t)e~2*iftdt. (2.1-2) о
Подобные же выражения могут быть получены для сред-^ него энергетического спектра постоянной и периодической составля-'ющих. Все, что нужно сделать, — это усреднить выражение (2.2—11).
114
часть ii. теория флуктуационных шумов
Иногда среднее значение произведения /(Z)/(Z+x) в форме (2.5—4) для ф(х) не зависит от времени Т. Это позволяет сразу выполнить интегрирование и получить
Ф M = /(*)/(/+т). (2.5-5) При этом достигается значительное упрощение и, кажется, простей­шим способом вычисления w(f) для I(I) такого типа является на­хождение сначала ф(х), а затем применение формулы перехода (2.5-1).
2.6. ПЕРВЫЙ ПРИМЕР — ДРОБОВОЙ ЭФФЕКТ
Вычислим сначала среднее значение правой части уравнения (2.5—5). Используя метод усреднения, широко применявшийся в главе I, найдем
I(t)I(t+z) = J p(K)IK(t)IK(t + *)y (2.6-1)
где р(К) есть вероятность поступления на анод точно К электронов в промежутке (0,7)
P(K)=Jfe-*7 (1-1-3) а к
/*(/) = 2Г(/-/*). (1.3-1)
A=I
Перемножая Ik(I) и IkH+J и усредняя Z1, Z2,...,Z# по их интер­валам, получим
KKt т
/*tf)/*(<+*)=Z Z Jts--4^(*-'*)^+ ■*-**.)•
A=I m = lq 0
Это уравнение совершенно подобно выражению для Z^(Z), которое применялось в разделе 1.3 для доказательства теоремы о наложении случайных возмущений, и может трактоваться таким же точно образом. Поэтому, если Z и Z+x лежат между Д и 7—Д, то написанное выше выражение приобретает вид
+ оо + оо 2
4- J F(Z)Ftf + х) dt + ^4=^ [ j F(t) dt ]
— оо — оо
Если его подставить в (2.6—1) и выполнить суммирование, то получим выражение, не зависящее от 7 Поэтому можно восполь­зоваться (2.5—5) и найти
+ OO
ф(т) = V j7(Z)7(Z + х) dt + Ж)2' (2.6—2) .
гл. ii. энергетический спектр и функция корреляции 115
где было применено следующее уравнение для среднего значения, тока:
+ «,
7(Z) = v ff(Z)dZ. (1.3-4JN
- OO
Чтобы вычислить w(f) из ф(т), удобно воспользоваться тем; обстоятельством, что ф(х) есть всегда четная функция х, и, следо­вательно, (2.5—1) можно также написать в виде
+ со
w(f) = 2^ ф(х) cos 2ф dx. (2.6—3)
Тогда
+ oo +oo +oo
w(f) = 2v j dt F(t) J dx F(t + x) cos 2ф +2 JTtf)2 cos 2ф dx =
+ 00 +00
= 2v Re [ jdZF(Z)e-2,i// J dt'F(t')e2*ift'j +
— 00 — 00
+2Щ2 j ei2«P dz = 2v |s(/)|2 + 2 7(Z)28(/)- (2.6-4)
При переходе от первого уравнения ко второму было принято Z' = Z+x и cos 2+с считался вещественной частью соответствующей показательной функции. При переходе от второго уравнения к третьему было положено
+ оо
s(Z)= f F(t)e-2^dtf (2.6—5) а также использовано соотношение
+ оо
Jei2"/<dZ = 8(/) . (2.2—9)
— 00
Второй член в w(f), имеющий в своем составе b(f)9 характери­зует среднюю мощность, которая выделялась бы постоянной со­ставляющей /(Z), проходящей через сопротивление 1 ом. Это находится в соответствии с представлением о том, что средняя мощность в полосе частот 0<Z<£, где е>0, но очень мало, равна
|ш(/) d/=2 Щ2 \ Hf) df = Wf- (2.6-6)
116
часть ii. теория флуктуационных шумов
Уравнение (2.6—4) для w(f) может быть также получено из (2.5—3) путем прибавления дополнительного члена, связанного с постоянной составляющей, который получается усреднением выражения (2.2—11).
Интегрируя обе части (2.6—4) по / в пределах от 0 до оо и пользуясь соотношением
D=JaJ(Z) dft
о
получим в результате
D-/8=2v [\s(f)\*df. (2.6-7) о
Это уравнение может быть сразу получено из теоремы о наложении случайных возмущений путем применения теоремы Парсеваля.
В качестве примера использования этих формул найдем энер­гетический спектр напряжения на сопротивлении Rt если ток состоит из большого числа очень коротких импульсов, протекаю­щих через R. Пусть F(t—tk) будет напряжение, создаваемое им­пульсом, появившимся в момент tk Тогда
F(t) = R<c(t),
где cp(Z) есть ток в импульсе. Следует ограничиться сравнительно низкими частотами так, чтобы можно было воспользоваться прибли­жением
+ со +ОС
s(Z) = J R(f{t)e-^F dt^R^ (f(Z) dt = Rq9
где q есть заряд, создаваемый одним импульсом. Из (2.6—4) сле­дует, что на низких частотах сплошной участок энергетического спектра неизменен и равен
w(l) =24R*q*=2FR*q, (2.6—8)
где I=^q — средний ток, протекающий через R. Этот вывод часто используется в связи с дробовым эффектом в диодах.
При изучении дробового эффекта предполагалось, что вероят­ность того, что событие (поступление на анод электрона) произой­дет в интервале dtt равна vdZ, где v есть ожидаемое число событий в 1 сек. Эта вероятность не зависит от времени Z. Иногда желатель­но ввести зависимость от времени. В качестве примера рассмотрим длинный интервал, простирающийся от 0 до Г Пусть вероятность совершения события в промежутке (Z, Z+dZ) будет Kp(t)dtt где К — среднее число событий за время Tt а p(t) есть такая данная
гл. ii. энергетический спектр и функция корреляции Ц7*
функция /, что
Jp(Z) dt=\
о
Для дробового эффекта p(Z) = +r.
Какова вероятность того, что точно К событий произойдут в интервале 7? Как и в случае дробового эффекта (раздел 1.1), можно разделить интервал (0, 7) на N промежутков каждый длительностью AZTaK, что NM=T Вероятность того, что ни одно событие не случится в первом промежутке AZ, равна
Произведение N таких вероятностей равно при N—+ocy M—► O
т _ —
ехр [-K \ p{t)dt}=e~K о
Это вероятность того, что точно нуль событий произойдет за время 7 Таким же образом приходим к выражению
ble-* (2.6-9) Kl
для вероятности того, что точно К событий случится за время 7.
Рассмотрев много интервалов (0, 7), получим много значений К, а также много значений /, измеренных через Z сек. от начала каждого интервала. Эти значения / определяют распределение / в момент Z. Таким же образом, как и в разделе 1.4, найдем плотность вероятностей для /
Р(/, t)= +- J du ехр J- iul + Kj р(х) _! J 7xj
Соответствующие среднее значение и дисперсия равны
_ _ T
/ = K Jp(X)F(Z-X) dx,
о
____ t
(/ _7)2 К Jp(X)F2(Z-X) dx. (2.6-10)
о
Если S(f) выражается уравнением (2.1—2), а s(f) — (2.6—5), то, полагая длительность F(Z) малой сравнительно с 7, среднее значение |S(/)|2 можно получить, подставив (1.3—1) в (2.1—2):
ад= ад+~21://'А
1
118
часть ii. теория флуктуационных шумов
Представляя SK(f)SK(f)> гДе звездочка обозначает сопряженный комплекс, в виде двойной суммы и усредняя по Z* , используя вы­ражение для p(f) и затем усредняя по К, получим
\Ш2 = К Is(Z)I2 [1 +К| ]p{x)e-W* dx\*] (2.6-11)
О
Это соотношение может быть применено для нахождения энергети­ческого спектра из (2.5—3), если только р(х) не является периоди­ческой функцией. Если же р(х) — периодическая функция, то тогда для гармонических составляющих должен быть применен метод раздела 2.2. Если флуктуации p(t) медленны сравнительно с флуктуациями F(Z), то вторым членом внутри скобок в (2.6—11) обычно можно пренебречь, ибо нет таких значений /, при которых и f и s(f) были бы одновременно велики. Кроме того, если обе ве­личины p(Z) и F(Z) подвержены флуктуациям примерно с одной и той же скоростью, то этот член должен быть учтен.
2.7. ВТОРОЙ ПРИМЕР —СЛУЧАЙНЫЙ ТЕЛЕГРАФНЫЙ СИГНАЛ
Пусть /(Z) равен либо а, либо — а, так что по форме ток пред­ставляет собой, прямоугольную волну. Полагаем промежутки ме­жду переменами знака распределенными по показательному закону. Можно придти к такому распределению, считая, что если в среднем происходит [г перемен знака в 1 сек., то вероятность перемены знака в интервале (Z, Z+dZ) равна \idt и не зависит от того, что происходит вне интервала (Z, t+df). Из рассуждений, аналогичных приведенным в разделе 1.1 для дробового эффекта, заключаем»* что вероятность получения точно К перемен знака в интервале (О, Т) равна
P(K) ^jf-e-»7 (2.7-1)
Рассмотрим среднее значение произведения /(Z)/(Z+т). Это произведение равно а2, если оба тока / одного знака, и —а2, если они противоположного знака. В первом случае в интервале (Z, Z+x) будет четное число, включая нуль, перемен знака, а во втором случае — нечетное число. Поэтому
I(Jt)I(t J т) =а2 X [вероятность четного числа перемен знака в промежутке (Z, Z-j-т)]—а2 X [вероятность нечетного числа перемен знака в промежутке
(*, *+т)]. (2.7—2)
Длительность рассматриваемого интервала равна |Z+x—Z| = |x| сек. Так как, по предположению, вероятность перемены знака в элементарном интервале AZ не зависит от происходящего за пре­делами этого интервала, то отсюда следует, что это предположе­ние справедливо для любого интервала безотносительно от того,
гл. ii. энергетический спектр и функция корреляции ц9
когда он начинается. Следовательно, вероятности в (2.7—2) не за­висят от Z и могут быть определены из (2.7—1), полагая 7=|т[. Тогда (2.7—2) превращается в следующее выражение, полагая
I(t)I(t + х) =Ofllp(O)+р(2) + р(А) + ■ ■.] _аПр(1) + р(3) +
+ р(5)+---] = cfle~ ■«
(И2 2!
= аЧ
- 2-J-T
(2.7—3)
Согласно (2.5—5), функция корреляции для I(f) равна
Ф(х) = a2e~2!i|T|. (2.7—4) Соответствующий энергетический спектр по (2.5—1) равен
w(f) 4a*jV ^cos 2u/xdx= Jg* (2.7-5)
О
Функции корреляции и энергетические спектры подобного типа встречаются весьма часто. В частности, они применяются при изучении турбулентности в гидродинамике. Можно также получить их и в случае дробового эффекта, если пренебречь постоянной составляющей. Все, что необходимо, это предположить, что эффект F(Z) поступления электрона на анод в момент Z=O при t<JO равен нулю и что F(Z) спадает во времени по показательному закону после броска к максимальному значению в момент Z=O. Это можно проверить, подставляя значение
F(Z) = 2aj/~ jJe-2litI Z>0 (2.7-6)
в выражения (2.6—2) и (2.6—4) [после использования уравнения (2.6—5)] для функции корреляции и энергетического спектра дробового эффекта.
Энергетический спектр тока, протекающего через последова­тельное соединение из индуктивности и сопротивления под влия­нием напряжения шумов теплового возбуждения в широкой полосе частот, также имеет вид (2.7—5).
Кстати, это дает пример двух совершенно различных токов /(Z), одного — прямоугольной формы, а второго — тока дробо­вого эффекта, которые имеют одинаковые функции корреляции и энергетические спектры, если отвлечься от постоянной состав­ляющей.
Есть еще другой тип случайного телеграфного сигнала, который интересно проанализировать. Ось времени делится на интервалы равной длительности h. В произвольно выбранном интервале значение /(/) не зависит от значений в других интервалах и равно-
120
часть ii. теория флуктуационных шумов
вероятно будет либо +а, либо—а. Можно имитировать такую волну, подбрасывая монету. Если выпадет герб, надо положить I(t)=a в интервале 0<7<А. Если же, выпадет решетка, то поло­жим I(t)=—а в этом же интервале. Вторичное подбрасывание монеты даст либо +а, либо—а для второго интервала h<JJ<C2h и т. д. Это дает одну волну. Подобным образом можно построить много волн. Усреднения по этим волнам при Z=Const обозначены черточками.
Нас интересует среднее значение /(Z)/(Z+x), полагая т>0. Прежде всего замечаем, что если ф>ку то эти два тока при лю­бых значениях Z будут относиться к различным интервалам. Так как значения в этих интервалах независимы друг от друга, то
/(Z)/(Z + t) = Щ /(Z + t)=0
для всех значений Z, если -ф/г.
Чтобы найти среднее значение при т<А, рассмотрим случай, когда Z заключено в первом интервале 0<7<й. Так как все интервалы со статистической точки зрения одинаковы, то общность при этом не теряется. Если Z+x<A, т. е. t jh—т, то оба тока на­ходятся в первом интервале и
I(t)I(t+J = а\
Если />/г—т, ток /(Z+:) находится во втором интервале, и тогда среднее значение равно нулю. % Возвратимся теперь к (2.5—4). Пределы интегрирования в этом уравнении от 0 до Г При xj>£ подинтегральное выражение равно нулю, и тогда
ф(~) = 0, х>А. (2.7-7)
Если х<4£, то исследования интервала 0<Z<A позволяют написать интеграл, соответствующий участку от 0 до h
h h^z h
J /(Z)/(Z + т) dt j a2 dt + J 0 dt = a2(A—x)
0 Oh~x
По всему интервалу интегрирования (О, Т) будет Tlh таких участков. Следовательно, из (2.5—4)
Щ Шп-£4_(а-т ) =ф[\--Lj 0<х<Л. -(2 7-8)
Энергетический спектр телеграфного сигнала такого типа поэто­му равен
Uf) = 4* J(l - Х)ссв2ф* =2h(+^Fj (27-9)
гл. ii. энергетический спектр и функция корреляции 121
Отсюда видно, что этот спектр имеет те же общие свойства, что и w(f) для первого типа телеграфного сигнала (2.7—5), если установить соотношение между ц — средним числом перемен знака в секунду и h — длительностью интервала в виде JiA=I.
2.8. ПРЕДСТАВЛЕНИЕ ТОКА ШУМОВ
В разделе 1.7 рассматривалось представление тока дробового эффекта в виде рядов Фурье. Это приводит к уравнению
n
/(Z) = J (ая cos (On Z + AllSin(I)nZ), (2.8-1)
где
<*n=2*fn> Zn = ZiA/- (2.8-2)
Коэффициенты ап и Ьп принимаются за независимые случайные переменные, распределенные вокруг нуля по нормальному закону
со стандартным отклонением Y Mfn) ^f- w(f) есть энергетический спектр тока шумов, т.е. w(f)df — средняя мощность, рассеивае­мая теми составляющими /(Z), которые лежат в полосе частот (/, f+df), если они протекают через сопротивление 1 ом.
Выражение для стандартного отклонения коэффициентов ап и и Ьп получим, если заметим, что А/ есть ширина полосы частот, связанной с п-и составляющей. Тогда ш(/п)Д/ есть средняя мощ­ность, которая выделялась бы, если бы ток
ап cos On Z + Ьп sin ©л Z
протекал через сопротивление 1 ом, причем это усреднение произ­ведено по всем возможным значениям ап и Ьп. Поэтому
Oi(Zn)A/ = aj cos2 шп Z +2ап bn cos соп Z sina>„Z +
_ _ _ (2. о—о)
+ bn Sin2 о)п Z = а% = 6„.
Последнее следует из независимости ал и Ьл друг от друга и иден­тичности их распределений. Можно заметить, что w(f)9 полученное в связи, с представлением (2.8—1), есть среднее того же типа, что и обозначенное в разделе 2.5 через w(f).
Например, допустим, что нас интересует ток на выходе неко­торого фильтра, когда на входе действует источник термических шумов. Пусть A(f) будет абсолютное значение отношения выход­ного тока ко входному, когда на вход подведено установившееся синусоидальное напряжение частоты /. Тогда
W(Z) = Wf).
(2.8—4)
часть ii. теория флуктуационных шумов
Пусть W есть средняя мощность, рассеиваемая на сопротивле­нии 1 ом током 1(1):
т
(2.8-5)
из этого уравнения можно найти С, если известны W и A(f).
Пользуясь (2.8—1) для исследования статистических свойств I(I)y сначала находим соответствующие статистические свойства суммы, стоящей справа, в которой а и Ь рассматриваются как слу­чайные переменные, распределенные, как указывалось выше, .а t полагается фиксированным. Вообще же время t исчезает при этой процедуре, так же как и в (2.8—3). Положим, далее, N—к» , я Д/—►O, так что суммирование можно заменить интегрированием, и наконец, расширяем диапазон частот, чтобы перекрыть все ча­стоты от 0 до OO
Обычный путь использования уравнения (2.8—1) заключается в предположении, что имеется осциллограмма I(I)y простираю­щаяся от Z=O до Z= оо. Эта осциллограмма может быть разрезана на полоски длиной T Разложение тока I(I) каждой полоски в ряд Фурье (при ТД/=1) даст группу коэффициентов, которые будут изменяться от полоски к полоске. Предполагаем, что это изменение подчиняется нормальному закону распределения.
Применяемый здесь процесс нахождения статистических свойАв путем рассмотрения а и Ь как случайных переменных при Z, сохра­няемом постоянным, соответствует исследованию значений тока шумов в большом числе моментов времени. Каждой полоске соот­ветствует определенный момент, и этот момент выбирается через Z -секунд от начала полоски. [Это есть Z, входящее в (2.8—1)]. До некоторой степени такой подход похож на исследование тока шумов в большом числе случайно выбранных моментов.
Хотя уравнение (2.8—1) может быть использовано для пред­ставления дробового эффекта и других подобных явлений, оно не является единственным, а в ряде случаев не оказывается и наибо­лее удобным. Другое представление, приводящее к тем же самым выводам:
т = Z
cncos (O)nZ-(cn),
(2.8—6)
где (fi, «U,..., wN — углы, случайно распределенные в интервале
<0, 2*), а " _
Cn =V2w(fnW, *>п =2тг/п, fn = ПЦ. (2.8-7)
При таком представлении I(I) рассматривается как сумма синусои­дальных составляющих с постоянными амплитудами, но со случай­ными фазовыми углами.
к
гл. ii. энергетический спектр и функция корреляции 123
То обстоятельство, что два разных представления (2.8—1) и {2.8—6) приводят к одинаковым статистическим свойствам, есть следствие того, что в обоих случаях может быть использована центральная предельная теорема 1U
Эта теорема утверждает, что при некоторых общих условиях распределение суммы N случайных векторов сходится к нормаль­ному закону (закон может быть нормальным в нескольких измере­ниях 2J) при N->оо . Действительно, из этой теоремы следует, что представление тока в виде
n
(2.8-1)
где ап и Ьп — независимые случайные переменные, принимающие только значения ±Vwifn)А/» причем вероятность каждого значе­ния равна+-, приводит в пределе к таким же точно статисти­ческим свойствам, что и (2.8—6).
2.9. НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ НЕСКОЛЬКИХ ПЕРЕМЕННЫХ
Рассмотрим случайный вектор г, находящийся в пространстве К измерений.
Распределение этого вектора может быть определено указанием распределения К составляющих X1, х2, хк вектора г. Говорят, что г распределен по нормальному закону, когда функция плот­ности вероятностей для г имеет вид
(2.9-1)
где экспонента есть квадратичная форма от х. Квадратная матри­ца M составлена из моментов второго порядка
P-Il Pl2- • 'VlK
(2.9—2)
M =
VlK
Vkk
где моменты определяются как
Р-н = А* Vv1 = X1X2, и т. д. \М\ есть определитель матрицы Mf а х'— матрица строк
Xt = [X1, X2, • • -Хк].
(2.9—3)
(2.9-4)
*) См. 2.10. 2) См. 2.9.
124
часть ii. теория флуктуационных шумов
х — матрица столбцов, полученная путем транспонирования х' Экспонента в выражении (2.9—1) для плотности вероятностей мо­жет быть выписана полностью при использовании соотношения
к к
х'М-* х = YY^xrXs9 (2.9-5)
Г=1 S^=I
где Mrs—алгебраическое дополнение элемента \irs в матрице М.
Иногда между составляющими х имеются линейные зависимости, так что случайный вектор г ограничен пространством меньше, чем К измерений. В этом случае подходящая форма функции плотности вероятностей может быть получена из последовательности /(-мер­ных распределений, сходящихся к только что рассмотренному.
Если t1 и г2 — два нормально распределенных случайных век­тора, то их сумма гх+г2 также распределена нормально. Отсюда следует, что сумма любого числа нормально распределенных век­торов распределена по нормальному закону.
Характеристическая функция нормального распределения равна
сред, [ехр (Zz1 X1 + Iz2 X2 + • • + izKxK)] =
«р[-4-22г (2-9~6)
L Г=15=1
2.10. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА Центральная предельная теорема теории вероятностей утвер­ждает, что распределение суммы из N независимых случайных векторов r1 + r2+...+rN сходится к нормальному закону при N—> оо, если распределения векторов т1ут2у rN удовлетво­ряют некоторым общим условиям.
В качестве примера возьмем случай, когда т1ут2у , rN—век­торы двух измерений, причем составляющими тп являются Xn и уп. Не теряя общности, допустим, что
*п =°> Уп ^ 0. Составляющие результирующего вектора равны
X=X1 + X2 +... +X1V, (2 10_1)
У = У!+У2+...+УХ, У '
а так как т1У г2. —независимые векторы, то моменты второго порядка результирующего вектора равны
Vu=Xz=A" + Xj+ ...+ х+
Pa = У^=У\+_у\ + ~.+ У&, _ (2.10-2)
Vu=XY = ххуг +х2у2 + ...+xN ум.
гл. ii. энергетический спектр и функция корреляции
125
Очевидно, существует несколько различных условий, выпол­нение которых достаточно для того, чтобы распределение резуль­тирующего вектора сходилось к нормальному закону. Одно из достаточных условий
n
т1' 2l*»r—о,
/2 = 1
n
Mf YJyj
/2=1
(2.10—3)
Центральная предельная теорема утверждает, что распределе­ние случайного вектора (X, Y) сходится к нормальному закону при N—► oo. Моменты второго порядка этого распределения да­ются уравнением (2.10 — 2). Если известны моменты второго по­рядка нормального распределения, то можно сразу написать функцию плотности вероятностей. Поэтому из раздела 2.9
M=Fn M
Vl2 V22
M-1HAlI-1
V22 —V12
-V12 Vn
1^1 = ^22—1*12»
Xf = IX9 У], xfM~lx = I M I-Hji22X2 — 2fi12Xy + ix11V»). Следовательно, плотность вероятностей равна
+!!,"■22—H-I2) Va
2тс
ехр
~^2^2-^+2+2|х12ХУ
(2.10-4)
2+ЦН-22—M-I2)
Моменты второго порядка связаны со стандартными отклоне­ниями для X, У, обозначаемыми g1 и а2, и с коэффициентом кор­реляции для X и У, обозначаемым т, следующим образом:
Vn=0I, V22=°l, Vi2 = ™i°2, (2.10—5) и тогда плотность вероятностей принимает обычную форму
(1-Т2)-у8
ехр
Глава III
СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ
В* этой главе применены изложенные в разделе 2.8 представ­ления о шумовых токах для вывода некоторых статистических свойств /(Z). Первые шесть разделов посвящены распределению вероятностей тока /(Z) и его нулям и выбросам. Разделы 3.7 ц 3.8 связаны со статистическими свойствами огибающей /(Z). В разделе 3.9 рассмотрены флуктуации интегралов, в которые входит Z2(Z). Распределению вероятностей суммы из синусоидаль­ного тока и тока шумов посвящен раздел 3.10, а в разделе 3.11 кратко описан другой метод получения выводов главы III. Боль­шинство материала этой главы тесно связано с теорией процессов Маркова.
3.1. РАСПРЕДЕЛЕНИЕ ТОКА ШУМОВ
В разделе 1.4 было показано, что распределение тока.дробового эффекта сходится к нормальному закону, когда ожидаемое число событий в 1 сек. V безгранично возрастает.
В соответствии с задачами этой части будем пользоваться
n
Ht)= J К cos (оп Z + Ьп sin (OnZ)
(2.8-1)
для того чтобы показать, что функция /(Z) распределена по нормальному закону. Этот результат немедленно может быть по­лучен, если следовать процедуре раздела 2.8. Так как ап и Ьп рас­пределены нормально, то таково же распределение ап CosconZ и bn sinconZ, если рассматривать Z как фиксированное. Поэтому /(Z) есть сумма 2N независимых нормально распределенных перемен­ных, а следовательно, и сама распределена по нормальному за­кону.
Среднее значение /(Z) по (2.8—1) равно нулю, так как
а
о,
(3.1-1)
Средний квадрат /(/) равен
n
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 127
/2=1
(3.1-2)
\w(f)df=m^%.
о
В верхней строчке (3.1—2) было использовано то обстоятель­ство, что все а и b независимы и, следовательно, среднее любого, комбинированного произведения равно нулю. Были также приме­нены результаты раздела 2.8
Ql=Fi = W(In)Af1 In = TlAf1 а>п = 2тг/п.
Как показано в разделе 2.1, ф(т) есть функция корреляции для /(/), связанная с w(f) следующим образом:
фт = ф(т) = ^w(I) cos 2тг/х df. (2.1 —6)
о
В этой главе для краткости аргумент ф(т) записан в виде индекса.
Так как известно, что /(/) распределен по нормальному закону, его среднее значение равно нулю, а средний квадрат есть ф0, то можно сразу же написать и функцию плотности вероятностей. Поэтому вероятность того, что I(I) находится в интервале (I1I+ dl), равна
тке~т- <зл~3>
Это есть вероятность нахождения тока в интервале между / и I+dl в случайно выбранный момент времени. Другими словами,, уравнение (3.1—3) дает ту долю времени, в течение которой ток находится в интервале (/,/ + dl).
Во многих случаях более удобно пользоваться выражением
n
I(t) =Jcncos(O)llZ-(Pn), cl =2w(fn)Afy (2.8-6)
/2=1
где <fсрдг— независимые случайные фазовые углы. Чтобы по­казать, что и в этом виде I(t) подчиняется нормальному распреде­лению, заметим прежде всего, что в (2.8—6) I(f) представлен в. виде суммы большого числа независимых случайных переменных
I(I) = X1 + X2 -I-----\-xNl
^n = CnCOS KZ — (pn),
часть ii. теория флуктуационных шумов
и, следовательно, когда AZr-* оо, то /(/) будет распределен по нор­мальному закону. Чтобы сделать предельный процесс конечным, вначале выберем N и Af такими, что NAf=F1 где
]w(f)df<s]w(f)df,
f о
а е — некоторая произвольно выбранная малая положительная величина. Положим теперь N—* оо, а А/—*0 таким образом, что NAf остается равным F. Тогда
n
А = А +А + ' * * +Aj =J 2ш(/п)А/соз2 (unt-wn) =
1
n f
=S w(fn)Af Lw(f)df, i ff
_. _ А _ (3.1-4)
В = Itf1I» + • • • + M8 =112а» (W) MY1' Icos К Z - (Cn)I» <
1
F
<4(A/)V.J [w(f)f'df,
О
где черта над членами обозначает усреднение по ср, а Z поддерживает­ся постоянным. Если предположить, что интегралы не являются расходящимися, то отношение ВА~3/*—*0, когда N—► оо. Следова­тельно, можно воспользоваться центральной предельной теоремдй1!, если w(f)=0 при />F. Так как F может быть взято сколь угодно большим путем выбора е достаточно малым, то можно перекрыть сколь угодно большой диапазон частот. По этой причине вместо F записывается оо.
Теперь, когда при помощи центральной предельной теоремы было показано, что распределение для /(Z) в виде (2.8—6) схо­дится к нормальному закону, остается только найти среднее зна­чение и средний квадрат для /(Z):
n
W=Ec-cosK'-*»)=0»
1
n
Ш= S cl cos«Kf-«pn) - f w(f) df = ф0 (3.1 -5)
1 О
Отсюда получаем плотность вероятностей согласно (3.1—3); та­ким образом, оба представления в этом случае приводят к одинако­вым результатам. Очевидно, одинаковые результаты будут полу­чаться до тех пор, пока можно применять центральную предель-
1I Раздел 2.10.
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 129
ную теорему. В дальнейшем, пользуясь (2.8—6), просто будем предполагать, что для доказательства сходимости к нормальному распределению может быть использована центральная предельная теорема, а все вычисления, относящиеся к уравнениям (3.1—4), будут опускаться.
Характеристическая функция для распределения I(I) равна
сред. eiuI«)) = ехр ( — ^-и*) (3.1 —6)
3 2. РАСПРЕДЕЛЕНИЕ l(t) и Kt + т)
Нужно найти распределение двух величин, в котором первая переменная есть ток шумов I(I)1 а вторая переменная — значение этого тока /(Z + т) через некоторый промежуток времени т. Ока­зывается, что это распределение нормально, как и можно было ожидать по аналогии с разделом 3.1. Моменты второго порядка этого распределения равны
oo
Pn=~lHf) = %=$w(f)df,
H22 = Фо, ° (3.2-1)
Hi2= /(/)/(/+ х) = ф, .
Выражение для Jiia соответствует нашему определению J2.1—4) функции корреляции
т
ф, = ф(х) = Iim J\l(t)I(t + х) dt. (2.1 -4)
T-* OO Q
Чтобы найти распределение, пользуясь выражением (2.8—6), напишем
n
I1 = I(t) =2 Cn cos (O)n I-(Ofl)y
1
n
h = И* + T) = S
л
1
cos (O)711 — Wn + OXn т).
Из центральной предельной теоремы для двух измерений следует, что Z1 и I2 распределены нормально. Так же как и в разделе (3.1):
n
Ix11 = 7[ =E d-L jW) df = фо, 1 о
_ £ _ (3.2-2)
1*12 = h I2 =L с% [cos (о)л Z — (On) cos (о)л Z — (оп + <оп т)]. 1
130
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Величина, помещенная в квадратные скобки, равна
cos2 (o)n t — фп) cos и)лх — cos ((Dn t — wn) sin ((Drz t — wn) sin (DrzX, и если взять усреднение по wnf то второй член пропадает, и тогда
n
Vit =J^ — cos cdIx J cos 2tuL df = b> (3.2—3) i о
где использовано соотношение (2.1—6) между w(f) и ф(т) и применено обозначение (nn = 2izfn.
Теперь может быть написана функция плотности вероятно­стей для Z1 и I2. Из рассмотрения нормального закона в разделе 2.9 следует, что она равна
—ST-ехр[—2ой=Ф!)-J (3'2_4>
Для полосового фильтра с полосой пропускания от fa до fb
имеем
Jb
ф, =J w0cos2izFdf=w0-S——,—=
» U
= В- sin тех (f, - fа) cos *х (/, + f J, (3.2-5)
<h = O>0 (/* — /а),
где а;0 есть постоянное значение до(/) в полосе пропускания, а
0),=2^, ioe=2ic/e. (3.2-6)
Согласно (3.2—4) Z1 и I2 независимы, когда фт =0. Для тех значений х, при которых фт =0, знание I1 не увеличивает наши све­дения об I2. Например, допустим, что имеется узкополосный фильтр► Тогда
ф, =0, когда т=[2(/^в)]-1
фх почти равно —ф0, когда х = (fb + fa)~K
При первом значении х известно только, что I2 распределен около нуля с 1\ =%. При втором значении х I2, вероятно, почти ра­вен—11. Это согласуется с представлением о том, что ток шумов, прошедший через узкополосный фильтр, ведет себя подобно
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 131
синусоидальной волне с частотой -у- (fb + fa), а что касается его амплитуды, то она подвергается флуктуациям с нерегулярной частотой порядка -у- Qb*— fa)- Первое значение т соответствует чет­верти периода подобной волны, а второе—половине периода. Начертив синусоидальную волну и рассмотрев точки, разделенные промежутками в четверть периода и в полпериода, можно убедить­ся, что подобное представление подтверждается.
Характеристическая функция распределения I1 и I2 равна
сред. emh+wl*= еХр _ Jk ^2 + 0i j — ^uv j . (3.2—7)
Распределение трех величин
Z1 = I(I)t Z2=Z(^t1), Z3 = 1(1 + t1 + т2),
где t1 и t2 заданы, а I выбрано случайным, является, как и следо­вало ожидать, нормальным во всех трех измерениях. Моменты, из которых по методу раздела 2.9 можно найти распределение, равны
P-Il = 1*22 = 1*33 = Фо> 1*12 = <|V
1*23 = К,
1*13 = Ф(Т1 + Т2) = <К + т,.
Характеристическая функция для J19 I2 и Z3 равна
izxixViz9 /,+ZZ3z3
сред, е =
= ехр ^—^^zJ + z\ + zj j — [х12Z1Z2 — Ji23 Z2 Z3 — [X13 Z1Z3 J * (3-2""8)
3.3. ОЖИДАЕМОЕ ЧИСЛО НУЛЕЙ В I-CEK.1) Пусть у равно
у = F(alta2t---taN\x) (3.3—1)
и пусть а—случайные переменные. Для данного ряда значений а это уравнение дает кривую зависимости у от х. Так как а являют­ся случайными переменными, то назовем эту кривую случайной. Возьмем короткий интервал (хъ X1J-(Ix) и затем выберем некоторый
1J Под этим понимается ожидаемое число прохождений кривой тока шу­мов через уровень, относительно которого распределение симметрично. (Прим. ред.)
132
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
ряд значений а. Вероятность того, что кривая, полученная в ре­зультате подстановки этих а в уравнение (3.3—1), будет иметь нуль в интервале (хъ X1 + dx)f равна
+ оо
dx j I •*] I р(0, т); x1)dri. (3.3—2)
— OO
Ожидаемое число нулей в интервале (Jt1, х2) равно
Xt +оо
Utf f I Yi I р(0, т); tf) di\. (3.3—3)
X1 — оо
В этих выражениях р(£, т\\х) есть функция плотности вероят­ностей для переменных
3F
\=F(al9...9aN\ х), 4=¾-. (3.3-4)
Так как а — случайные переменные, то таковы же I и т\ и в их распределение будет входцть х как параметр, что указывается обозначением р(£, tj; х).
Эти выводы могут быть получены таким же образом, как это сделано для случая распределения выбросов случайной кривой. Этому методу доказательства свойствен тот 'недостаток, что в не*Г требуется, чтобы а были ограничены.
Теперь перейдем к доказательству близко связанного с преды­дущим положения: вероятность прохождения у через нуль в ин­тервале (Jt1, X1 + dx) с положительной крутизной равна
OO
dx J т] р(0, % X1) dt\. (3.3—5) о
dx выбирается настолько малым, что участки почти всех возможных случайных кривых (за исключением ничтожной части), относя­щиеся к интервалу (Jt1, X1-^dx), могут рассматриваться как пря­мые линии. Если у=\ при X1 и проходит через нуль при хг<С <*<л;1 + dxy то отрезок, отсекаемый на оси х при у=0, равен
Jt1--L, где — крутизна. Поэтому ? и т\ должны иметь противо­положные знаки и
--^<*i + dx.
Согласно формулировке задачи нас интересуют только положи­тельные значения tj, и поэтому напишем это неравенство в виде
— 7jdx<?<0.
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ J 33
Для данной случайной кривой, т. е. для данного ряда а, значения I и равны
l=F(alt...taN\ Xi), к]= j^|LJ
Если эти значения S и т] удовлетворяют нашему неравенству, то кривая проходит через нуль в интервале (XltX1-Jdx). Вероятность этого равна1)
оо О оо
\dti J <Йр(5, V, *i)=JlO-(— fidx)] рф.-ц; X1) d-ц,
О - т\йх О
где учтено, что поскольку dx весьма мало, то £ равно нулю. Последнее выражение совпадает с (3.3—5).
Таким же образом можно показать, что вероятность прохожде­ния у через нуль в интервале (xlt X1 J-dx) с отрицательной крутиз­ной равна
о
-dx j 7) P(OjTjJX1)CfYj. (3.3-6)
-OO
Выражение (3.3—2) получается путем сложения (3.3—5) и (3.3—6).
Далее можно перейти к применению выведенных формул. Заменим х, у и ah на Z, I(t) и <рл, соответственно, и воспользуемся соотношениями
I(t)=Y °п cos KZ - <Pn), cl=2w(f)Af. (2.8-6)
я=1
1I Переход от двойного интеграла в левой части этого уравнения к ко­нечному результату (3.3—5) можно выполнить следующим образом: легко видеть, что искомая плотность вероятностей равна
Г d - о Jd(Ax) f *» j
О -TjAx
Действуя формально, безотносительно от выполнения условий, оправды­вающих аналитические преобразования (они выполняются в интересующих нас случаях), получим
d 00 0
IKxld^ J* ^6» ■n;*)* = J т]Дх, Y1; x)di\,
О - T1Ax О
а отсюда искомая плотность вероятностей равна
j т)р(0, Y1; x)df\.
134
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Первым шагом является нахождение функции плотности вероят­ностей двух случайных переменных
N
£ = £ CnCOS(O)nZ1-(Pn),
(3.3-7)
Tj=Zx(Z1) = — Y VnSin (O)nZ1 — (Dn)t где штрих обозначает дифференцирование по Z. Из раздела 2.10
1*11=Г2 = фо»
_ N _ N
1*22= += £ CWsin2KZ1-(Pn)= ^ (2*/п)2Ц/п)Д/->
^4**]>Ц/)ф=_ф;' о
/V
1*12= =— 2 с2о)пcos(O)nZ1 — (рп)sin(O)wZ1 — (Dn)=O.
Выражение для ^22 получается из (2.1—6) путем дифференцирования. В этом выражении ф0 обозначает вторую производную ф(т) по т при т = 0
OO
¢"('1)=-4*2 J f*w(f) сов2ф df. (3.3—8) о v^-
Отсюда плотность вероятностей равна
/Я. Г, t)= ЬМ^'ехр. (3.3-9)
где фо отрицательно. Заметим, что выражение справа не зависит от Z. Отсюда вероятность нахождения нуля в интервале (Z1,Z1+dZ)
* У H bfcSiV»; щ,, (3.з_10)
получающаяся из (3.3—2), не зависит от Z.
Ожидаемое число нулей в 1 сек., которое можно найти из (3.3—3) путем интегрирования (3.3—10) по интервалу в 1 сек., равно
ГЛ. Ш. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 135
1 Г—Y (0) T/»
«L ф(0) I
о_
OO
(3.3-11)
Для идеального полосового фильтра, полоса пропускания которого простирается от fa до fbf ожидаемое число нулей в 1 сек. равно
' L 3 /*-/« J
(3.3-12)
Когда /а=0, это выражение равно 1,155 fb, а когда fa весьма близко к fb, то оно стремится к fb+fa.
В недавней работе М. Кэк1) дает выражение, которое после не­большого обобщения приводит к
-/2/2ф0 1 /—+Va
dt
(3.3-13)
2п
фо
для вероятности того, что ток шумов пройдет через значение / с положительной крутизной в интервале (Z, t+df). Ожидаемое чис­ло таких прохождений в 1 сек. равно
-/а/2ф0 ч Г 1 „ . л 1 /о о 1>1\
е X ~2~ ожидаемое число нулей в 1 сек. . (3.3—14)
Уравнение (3.3—13) может быть также получено из выражения, аналогичного (3.3—5), в котором в p{Oyy\;xi) нуль заменен на у. В некоторых случаях интеграл
не сходится.
В качестве примера можно указать на случай воздействия на цепь, состоящую из последовательно включенных сопротивления и конденсатора, напряжения шумов, занимающего широкую поло­су частот. Энергетический спектр напряжения на конденсаторе имеет вид
M/)=y+i. (3-3-15)
Хотя ф0 бесконечно велико, ф0 конечно и равно */2а. Непосред­ственная подстановка в (3.3—11) дает для ожидаемого числа нулей в 1 сек. бесконечное значение.
1I См. «О распределении значений тригонометрических сумм с линейно независимыми частотами», Amer. Journ. Math., LXV, 609—615, 1943.
136
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Формула (3.3. —11) станет яснее при рассмотрении тока шумов, спектр которого состоит из двух частотных полос. Одна полоса ог­раничена сравнительно низкими частотами и ее энергетический спектр обозначим W1(F). Другая полоса весьма узка и ее централь­ной частотой является сравнительно высокая частота f2. Тогда полный энергетический спектр шумов
w(f) = w1(f) + A\f~f2)y
где единичная импульсная функция 8 используется для представ­ления весьма узкой полосы. Энергетический спектр узкой по­лосы примерно одинаков со спектром волны, уравнение которой А V 2 со$ 2*/2/.
Интегралы, встречающиеся в формулах, имеют вид
OO OO
J w(f) df=J W1If) df + A2=W + А2,
О и
OO OO
\ w(f)P df+Pw1(J)df + A2ft = U + A2fl.
О о Пусть А и /2 таковы, что
и?» л2, г/«лвя-
Тогда формула (3.3—11) дает ожидаемое число нулей
2 Ah
Можно дать качественное объяснение этой формуле, если рас­сматривать ток шумов, состоящим из малой компоненты
Z2=21/» Л cos 2*/^,
связанной с узкой полосой частот, наложенной на большую, медлен­но изменяющуюся компоненту, связанную с полосой более низких частот. Так как эффективное значение второй составляющей равно Wllsi то ей можно приписать некоторую частоту /х и тогда прибли­женно
11==(2Щ!* cos2icfrf.
Нули тока шумов сосредоточены вокруг нулей второй волны. Вблизи такого нуля
/1=±(2В?)1/.2*/1Д/,
где At есть расстояние от нуля. Колебания Z1 создают нули, когда j Z1) меньше, чем амплитуда I2y или когда
i4>U7a/.2iu/1|AZ|,
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ J 37
а интервал, в котором возникают нули, определяется из
Число нулей равно этой величине, умноженной на 2/2. Так как в 1 сек. 2Д таких интервалов, то число нулей в 1 сек. равно
Jaw11-U
Это выражение отличается от полученного из нашей формулы наличием множителя +. Расхождение объясняется тем, что ток шу­мов был представлен в двух частотных полосах в виде синусоидаль­ных волн I1 и /2.
Из этого примера ясно, что когда интеграл для ф0 сходится при д—Д) и в то же самое время интеграл для ф0" расходится при /2 -* оо таким образом, что Af2—* оо, ток шумов ведет себя как непрерывная функция, не имеющая производной. Кажется, для физических систем интегралы будут всегда сходиться, так как паразитные эффекты приведут к тому, что w(f) стремится к нулю достаточно быстро. Частота, представляющая область, в которой это проис­ходит, имеет порядок частоты микроскопических^ колебаний.
Ряд экспериментов показывает, что в некоторых случаях спра­ведливость формул этого раздела нарушается. Так, если ток флук-туаций, занимающий весьма широкий диапазон, будет протекать через контур, состоящий из конденсатора C9 включенного парал­лельно с последовательным соединением катушки индуктивности Ь и сопротивления R9 то уравнение (3.3—11) говорит, что ожидаемое число нулей в 1 сек. тока /, протекающего через R (и L), не
зависит от R. Оно просто равно + (LC)-Дифференциальное урав­нение для I одинаково с уравнением, которому подчиняется броу­новское движение зеркальца, подвешенного в газе; давление газа играет роль R. Из кривых, описывающих это движение, видно, что их характер сильно зависит от давления. К сожалению, из кривых трудно заключить, зависит ли ожидаемое число нулей от давления. Разность между кривыми при различных давлениях указывает, что здесь должна быть некоторая зависимость *).
3.4. РАСПРЕДЕЛЕНИЕ НУЛЕЙ
Задача нахождения функции распределения для промежутков между двумя следующими друг за другом нулями представляется
*) С тех пор, как это было написано, М. Кэк и X. Хурвиц исследовали задачу об ожидаемом числе нулей, пользуясь совсем другим методом, в ко­тором применяется представление дробового эффекта (разд. 3.11). Их выводы подтверждают справедливость (3.3—11), когда интегралы сходятся. Если интегралы расходятся, то должно быть рассмотрено среднее число электро­нов в 1 сек., вызывающих дробовой эффект.
138
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
весьма трудной, и, кажется, удовлетворительного решения еще не дано. Здесь будут приведены некоторые выводы, связанные с общей проблемой, которые дают представление о форме рас­пределения для области малых промежутков между нулями.
Будет доказано [в разделе, начиная с уравнения (3.4—12)], что вероятность прохождения тока шумов / через нуль в интервале (i,T+dx) с отрицательной крутизной, если известно, что / проходит через нуль при т=0 с положительной крутизной, равна
_dz_ I_фо_\1
2* Н'о)
lt(Mh2-MS3) ОН -ф|)-в/. [1 + H arcctg(-tf)], (3.4-1)
где M22 и M23 — алгебраические дополнения элементов Ji2»=—+ и |л23 = — V в матрице
M =
O о
а
I
-О-О
I
а -
<К —Фх —Фо
О
а
а -О
О
H = IW28 (AfJt-AfJ8)-
(3.4-2)
Выбираем 0=^arcctg(—Я)^*, значение * берется при т=0, а*/2 при т—+оо. Следует помнить, что аргументы функций корреляции представлены в виде индексов, т. е.—фт в действительности равно
OO
_Ф;' = — ф"(т) = 4*2 J/»tti(f) cos 2*/т df. (3.3—8)
По мере того как т становится все больше и больше, на пове­дение / в момент т все меньше влияет то обстоятельство, что ток проходит через нуль с положительной крутизной при т=0. Следовательно, (3.4—1) должно сходиться к вероятности того, что в некотором интервале длительностью dx, выбранном слу­чайно, / пройдет через нуль с отрицательной крутизной. Вследст­вие симметрии это равно половине вероятности того, что / пройдет через нуль. Поэтому (3.4—1) должно стремиться, согласно (3.3—10), к
dz I-
~bF \
жГ (з-4-з)
при т—* оо . Это действительно будет так, ибо M сходится к диаго­нальной матрице, а как M23, так и H стремятся к нулю при
-фофо- Для фильтра нижних частот с граничной
М23/Н—М
22
частотой fb выражение (3.4—3) дает
(3.4-4)
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 139
Поведение выражения (3.4—1) при т—можно определить без больших затруднений. M22 и M23 стремятся к нулю, как т4, M22-M* как X10, и соответственно H стремится к бесконечности как х-*. В результате (3.4—1) стремится к
при х—-0, полагая, что фо4) существует. Здесь индекс (4) указывает на четвертую производную при х=0
оо
ф(4) = 16*4 JV4K/) df. (3.4—6)
о
Для фильтра нижних частот с граничной частотой fb выражение (3.4—5) равно
A JL (2*/,)». (3.4-7)
Если (3.4—1) применить к случаю фильтра нижних частот, то вместо х более удобно иметь дело с переменной
W= 2izfbx9 dw = 2rfb dx. (3.4—8)
Поэтому, если написать (3.4—1) в виде p(<f)dy9 то из (3.4—4) и (3.4—7) следует, что
р (w) -* —1— = 0,0919 при w -* оо , 2тс у 3
i^ 1 п (3-4_9)
На фиг. 1 представлена p(w) как функция ср для диапазона зна­чений w от 0 до 9. Из рассмотрения кривой и из теоретических сооб­ражений ясно, что за пределами <р>9 функция р(ср) колеблется вокруг 0,0919 с постоянно уменьшающейся амплитудой.
Можно принять, что р (ср) dcp есть вероятность того, что / про­ходит через нуль в интервале (cp,cp+df), если известно, что / про­ходит через нуль при ср=0 с крутизной, обратной по знаку крутизне при (р. p((p)dcp превышает вероятность того, что / проходит через нуль приср=0 и в интервале (cp,cp+dcp), не имея нулей между ними. Это объясняется тем, что p(y)dw включает все кривые последнего класса и, кроме того, те кривые, которые могут иметь четное число нулей между 0 и ср. Отсюда следует, что кривая, представляющая плотность вероятностей интервалов между нулями, должна распо­лагаться под кривой р(ср).
Частичные неточности кривой р(<р) можно обнаружить при сравнении ее с функцией плотности вероятностей, эксперименталь-
140
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
но полученной М. Е. Кэмпбеллом для интервалов между 754 сле­дующими друг за другом нулями. Он пропускал шумы теплового движения через полосовой фильтр с нижней частотой пропускания около 200 гц и верхней частотой пропускания около 3000 гц. Ввиду плавного изгиба частотной характеристики трудно отметить точное значение верхней граничной частоты. Кружки на фиг. 1 соответ-
У 0,25
QW
0,15
0,10
0,05
0
\
I
0,i838
1
\— \ \
*
-\
Ч^
•/
У
0,0919
/
г?..
г
йй!4
O
Эксперимент. о точны
О I
14
2 4 6 8
10
12
<p = 2flfct
Фиг. 1. Распределение вероятностей интервалов меж­ду нулями тока шумов на выходе фильтра нижних частот.
у^Д<р — вероятность появления нуля в интервале А«р, если в нача­ле отсчета нуль. yD Д<р — вероятность появления нуля в интервале
D
Дер, если в начале отсчета нуль и крутизна кривых в нулевых точ­ках противоположного знака, у^ => р{<р), - граничная частота
фильтра, т — промежуток времени между нулевыми точками.
ствуют данным Кэмпбелла, если предположить, что его фильтр ведет себя как фильтр нижних частот с частотой среза /^=2850 гцу последняя величина выбрана для того, чтобы максимум кривой Кэмпбелла совпадал с максимумом кривой р(ср).
Как видно, некоторые кружки лежат выше кривой р(<р), что,, вероятно, объясняется тем, что характеристики реального фильтра в действительности отличаются от принятых нами для фильтра нижних частот.
На фиг. 1 нанесена также кривая, тесно связанная с (3.4—1). Она относится к случаю фильтра нижних частот и представляет вероятность прохождения / через нуль в интервале (т,т+А), когда известно, что / проходит через нуль при т=0:
^ '!+''(ir) (П-№~,и (1 +"arctgЯ), (3.4-10)
где обозначения те же, что и в (3.4—1), а — y=^arctg#^ у. Эта кривая расположена всегда выше кривой р(ср), а небольшая разни-
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 141
ца между кривыми до ср=4 указывает- на то, что вплоть до этой точки р(ср) хорошо представляет действительное распределение нулей.
Если (3.4—1) применить к случаю полосового фильтра со срав­нительно узкой полосой или к какому-нибудь подобному устрой­ству, то можно сделать некоторые приближения и получить несколь­ко более простое выражение* чем (3.4—1). Рассмотрим обычный идеальный полосовой фильтр с полосой пропускания от fa до fb. Функция корреляции и средний квадрат шумов, согласно (3.2— 5), равны
= sin*x(/,-fa) cos *х(/, + fa)9
% = w0(fb-fa). (3.2-5)
Из физических соображений ясно, что для случая узкополосно­го фильтра большинство промежутков между нулями равно при­ближенно
_ 1
Tl~ fb + fa'
т. е. примерно равно промежуткам между нулями синусоидальной волны, имеющей частоту, равную средней частоте фильтра. По­этому можно предполагать, что (3.4—1) будет иметь пик, весьма близкий к Xi. Можно также ожидать пиков при 3xi, 5xi и т. д., но они здесь не рассматриваются (исследуется только поведение (3.4—1) вблизи xi).
Оказывается, M23 примерно равно ZW22, так что H велико, и (3.4—1) приближенно равно
dz I фо V/. . M23
2 (4*-«Й)в/'в
где х лежит вблизи Xi.
Чтобы показать, что ZW23 примерно равно ZW22, следует восполь­зоваться выражениями
м23 = ф;(ф02-ф?) + фх ф;2,
M22 - M23 = (ф0 + ф,) [(ф0 - ф,) (- фх" - фо) - ф?] = = (Фо + М)(-В + С),
в=Фоф; — ф* Фо.
С = — фофо + фт Фт—Фх2
142
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Из (3.2—5) видно, что фт может быть написана в виде фт= A cospT, р=* (fb + fa),
где Pt1=*, а А есть функция т, медленно изменяющаяся по срав­нению с cos Рт. Видно, что вблизи t1 фх примерно равна —(J)0^ Так же точно фх колеблется вблизи нуля, а фт примерно равна — фо. Дифференцирование по т дает
(j)j=A' cos рт — А р sin Рт, фх = (А" — A P2) cos Рт — 2Af р sin Рт, Фо—-Ao — A0P, %=А09
где A0 и Ao есть значения Л и ее второй производной при т=0. Это приводит к
B={A0 A1 — А Л о) cos Рт — 2Л0 At р sin рт,
С=(АА — A2) cos2 рт — Л0 Ло + (Л20 — Л)2 P2.
Покажем, что С+В и С—В суть величины одного порядка. Если мы это сделаем, то г отсюда будет следовать, что ZW22—M25 значительно меньше, чем Al22+ZW23, так как ф0—фт, примерно равно 2фо> а ф0+(j)xiсовсем мало. Соответственно будет показано, что ZW25 почти равно ZW22.
До сих пор не делалось приближений. Представим теперь мед­ленно изменяющуюся функцию Л в виде степенного ряда по т. Так как для рассматриваемого типа функций + и +' должны быть равны нулю, то, следовательно:
Л=Л0 + ^-Ло + ...,
Л'=тЛо + ...,
А'=А1+^АУ + ...9
где мы пренебрегали всеми степенями выше второй. Умножение в возведение в квадрат дают
A* — Al=^A0Al AA"- A'*=A0Al + 4- Ио Л(о}- Л0'2)=A0 AQ+F,
A0A" - AAl = +{A0 A^ - Af) = F.
Так как (для малых т) Л и Л" примерно равны, соответственно A0 и Л о» то разность слева мала сравнительно с Л0Ло, т. е.
|В|«|Л0Ло|.
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 143
Тогда выражения для В и С приближенно равны B=F cos рт — 2Л0 Л о рт sin рт, C = F cos2 рт — A0 Ло sin2 рт — A0A0 р2 т».
Если т находится вблизи Ti , то рт приближенно равно *. Отсюда как С+В, так и С—В приближенно равны —Л0Л0*2 и являются величинами одного порядка. Соответственно ZW22 и ZW23 примерно равны, а
М23 = %(С + В) = -А1 Ло*2.
Если это выражение для ZW23 использовать в приближении для (3.4—1), то получим следующий результат: если функция корре­ляции имеет вид
фх =A cos Рт,
где Л — медленно изменяющаяся функция т, то вероятность того, что расстояние между двумя следующими друг за другом нулями лежит между т и т+с/т, приближенно равна
dx _а_
[I-Eaa(T-Tl)»]3/' '
где а — положительно, и Для идеального полосового фильтра с полосой пропускания (/6—fa)
oUb + fa)* 1
a = V3
fb-fa ' h + ta
а среднее значение |т—T1I=An1. Поэтому
|т—T1I_ 1 _ jb — fg__1__(полоса пропускания)
Ч ~^~~VZ(hJfa)~ 2/3" (средняя частота) Если функция корреляции не может быть представлена таким образом, но все же ведет себя подобно синусоидальной волне с медленно изменяющейся амплитудой, то можно использовать первое приближение для выражения (3.4—1). Тогда, вероятность того, что расстояние между двумя следующими друг за другом нулями лежит между т и т+Л, приближенно равна
bdz
когда т лежит вблизи T1, где T1 есть то наименьшее значение т, при котором фх ^—Фо- Эта вероятность предполагается быстро схо­дящейся к нулю при т, удаляющемся от T1, а Ъ выбирается так, что интеграл по действующей области вокруг T1 равен единице.
144
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Наиболее трудной задачей является, повидимому, получение выражения для распределения нулей в случае больших расстоя­ний между нулями. Первый метод заключается в расширении условий, приводящих к уравнению (3.4—1), путем добавления условия, чтобы / было положительным в равноотстоящих точках вдоль оси времени между 0 и т. Этот метод приводит к трудно вы­числимым интегралам; для одной точки между бит интеграл имеет вид (3.5—7).
Другой метод исследования состоит в применении способа «включения и исключения» нулей между 0 и т.
Рассмотрим класс кривых /, имеющих нуль при т=0. Тогда теоретически можно будет найти функции р0(х), P1(^x), p2(r, s,t), связанные с этим классом, где р0(х) dx—вероятность того, что кри­вая имеет нуль в интервале dx.
рЦг, т) drdz — вероятность того, что кривая имеет нули в интервалах dx и dr. •
P2UySi т) drdsdz—вероятность того, что кривая имеет нули в интервалах dx, ds и dr.
Выражение для p0U)dz дается уравнением (3.4—10). Метод «включения и исключения» приводит тогда к выражению для P0U) dx — вероятности получения нуля при 0 и нуля в интервале {x,x+dx), но отсутствия нулей между 0 и х. Эта вероятность равна
(3.4-11)
ООО
Выражение (3.4—П) может быть применено для случайных событий, происходящих независимо. Поэтому, если vdx есть вероят­ность наступления события в интервале dx, v постоянно, а события независимы, то получим для р0, plt p2i... соответственно v, N2iN3i... Из (3.4—11) приходим к известному выводу, что P0(x)=ve_VT.
Докажем теперь (3.4—1). Вывод основан на обобщении (3.3—5): если у есть случайная кривая, описываемая (3.3—1), то вероят­ность того, что у пройдет через нуль в интервале (хъ X1 + dxx) с положительной крутизной и через нуль в интервале (х2> X2 + dx2) с отрицательной крутизной, равна
о
о
где р(£ь Xii £2, Tj2, X2) есть функция плотности вероятностей для четырех случайных переменных
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 145
н+и,-
Б уравнении (3.4—12) X1 и X2 играют роль параметров. Этот вы­вод может быть найден во многом аналогично способу получения (3.3—5).
Если установить идентичность F с одним из представлений тока шумов /(Z), т. е. с (2.8—1), либо с (2.8—6),. то видно, что р подчи­няется нормальному закону во всех четырех измерениях. Можно получить моменты втброго порядка непосредственно из этого пред­ставления, как это было сделано в уравнениях, приведенных вслед за (3.3—7). Тот же самый результат можно получить из определе­ния ф(т) и, для разнообразия, можно выбрать этот второй метод. Положим x1=Z1, x2=Z1+^. Тогда
Ц=Ц=Щ=%у
M~2=/(Z) /(* + •*) =ф, , (3.4-13)
w (Ш+\Ф^М0 W+WWdt,
где штрихи обозначают дифференцирование по аргументам. Интегрируя по частям, найдем
T T
\l'(t + +dl{t) =[/'(' + *)/(/) J7" —j I"(t + x)I(t)dt.
О 0 0
Полагаем, что / и ее производные остаются конечными, так что при делении на T интегрируемые части в пределе исчезают. Так как
I"(t + *)=+Kt+z),
то имеем
WJl = — фм = — +.
Полагая т=0, найдем
TjJ = Tjf = - ф0
в согласии со значением [х22, полученным из (3.3—7). Таким же образом
т
Нъ = Ит 4" J /'(' + D Щ dt = 4 Мт) = U
г-00 о Г t
Vn1 = Hm +-J/'(/)/(/+T) dZ=lim(-)-L j /'(/+т) /(Z) dZ = — ф'
1 -*ОС 1 0 t-OO 7 q
146
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
где для получения E2Tj1 произведено интегрирование по частям. Полагая т=0 и используя +=0, найдем
Si^i = ^2Tj2= 0.
Чтобы получить матрицу M моментов второго порядка \irs в виде совершенно симметричном относительно ее центра, выбираем наши переменные 1,2,3,4 в порядке E1, Tj1, Tj2, E2. Из уравнений (3.4—13) и последующего видим, что этот выбор приводит к выраже­нию (3.4—2) для M.
Если положить I1 и E2 равными нулю, то получим для функции плотности вероятностей в (3.4—12) выражение
Ak2
ехр
2\М\
Вследствие симметрии матрицы М, M22=M33. Если в интеграле (3.4—12) произвести замену переменных
х =
M2
W У = —
M22 21 M
V2
Tj2,
2| M I
то получим
+р ^ jxdx \dyye- *-?+2Ш„1Ма»у.
Двойной интеграл можно вычислить при помощи (3.5—4). Пусть
W = arccos
M21 M2
= arcctg (-Я), H = M23 (Mf2 - Mf3) -v.,
где H имеет то же значение, что и в (в.4—2). Тогда выражение превращается в
(Ix1Cix2 |М|3/«
[1 + H arcctg (—Я)].
Atz2 м2 _ум2
М22 т23
По свойству определителей
M22M33-Mf3 = |М1(ф2-<|ф.
Используем это соотношение для исключения |М| и разделим выражение на
dI {~~^\'
2tz { I
что, как это следует из (3.3—10), есть вероятность прохождения через нуль в интервале (x1, x1+^) с положительной крутизной.
В результате получим вероятность прохождения через нуль в интервале dx2 с отрицательной крутизной, когда известно, что /
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ_147
проходит через нуль при x3rc положительной крутизной:
Это и есть (3.4—1).
Выражение (3.4—10) дает также вероятность прохождения / через нуль в интервале dx, когда известно, что / проходит через нуль вначале с положительной крутизной. Эта вероятность может быть получена из (3.4—1) путем добавления вероятности прохож­дения / через нуль в интервале А с положительной крутизной, если известно, что этот ток проходит через нуль с положительной крутизной. Поэтому нужно добавить выражение, содержащее ин­теграл, в котором интегрирование по отношению к Tj1 и ?]2 произ­водится в пределах от 0 до оо Этот интеграл, написанный при по­мощи введения переменных х и yf равен
6 о
Это эквивалентно изменению знака M23 и, следовательно, и Н. После сложения надо рассмотреть
1 + H arcctg (—//) + 1 —Н arcctg H = 2+H [arcctg (—Н) — arcctg Н] =
= 2+7/ (* —2 arcctg H) = 2 (1 + H arctg Н), а это приводит к (3.4—10).
3.5. КРАТНЫЕ ИНТЕГРАЛЫ, ВХОДЯЩИЕ В ФОРМУЛЫ Нужно вычислить интегралы вида
J = Jdx1 Jdx2 в-*!-2«*л-*1. (3.5-1)
о о
Одним из методов является сведение показательной функции к сумме квадратов путем соответствующей линейной замены пере­менной, а затем преобразование к полярным координатам. Этот метод пригоден также для тройных интегралов такого же типа, но если применить его к четырехкратным интегралам, то последнее интегрирование, повидимому, не может быть выполнено в конечной форме.
Сведение показательной функции к сумме квадратов основано на следующем преобразовании. Если
X1=^y1 Jh2D21y2+h3D31y3+.. .+hnDnAyn>
X2 = O +h2D22y2 + +flnDni2yn> (3.5-2)
x« = 0 +0 + +KDn,nynt
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
где D0=I, Di=O11, Dr,r=Dr_i, а Drs есть алгебраическое допол­нение элемента asr (или arSi так как они равны) в Dr:
D =
аи а12... air
CLi2 CL22
CLir... arr
, h,=(D,-iD,)-\
тогда, если ни один из Dr не равен нулю:
п
YarsXrXs = У\ +У1 + -..+ У*п.
1
Из (3.5—2) якобиан dd{{*v ' ' равен Dlu-
Применяем это преобразование к показательной функции x1 = U1-CLD^y29 X2 = O + D-1^2, D2= 1—а2.
Так как x2 пробегает от О до оо, то так же должен вести себя й у2. Выражение для x1 показывает, что ух пробегает от aDl1* у2 до оо. Поэтому интеграл равен
оо оо й Ъ
J = D-1^dy2 Je-"-" Az1.
Перейдем теперь к полярным координатам ^1=PcosO, i/2=p sin 6,
dyi Az2=P dp db9 y2 > О при О < 0 < тс, Ух> aD~1!*y2 при ctg 6 >oD~ Vi
и получим
arcctg [aD-Lj ^
J = Dllt j d6 J pe~p2 dp .= +- D2-1'' arcctg (aD2 v»),
о O
где arcctg лежит между О и тс. Можно написать и в более простой форме
J = +- (1 —а2)-1/» arccos а = -L- cpcoseccp,
где
а = cos (р,
причем подразумевается, что 0<ф<тс.
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ J 49
Другие интегралы можно получить путем дифференцирования. Поэтому из
OO OO
\ dx J dy е~*2-у2-2*ycos«p = у cosec (3.5—3) о о
получим
оо оо
j dx § dyxye~x2~y2~2xycos<? = -L Cosec2<p(l — <pctg<p). (3.5—4)
о о
Используя такое же преобразование, можем найти
[dtf jdyye-*-^ = (3.5-5)
О о 1
Конечно, можно разложить показательную часть в степенной ряд и интегрировать почленно, но это приводит к ряду, который должен быть суммирован в каждом частном случае:
]dx fdyx^-y^ = 4LS-— Г (—-) Г )•
Если принять —1 <Re(я)< — у , —1 < Re(m) <— + , то ряды
могут быть суммированы при а=1. Результат, сформулированный в соответствующем месте текста после уравнения (3.8—9), получен путем аналитического продолжения т и п.
Тот же метод применим, если пределы будут +оо . Когда тип целые числа, то получим
J dx ^dy хпуте~
х2-уг-2ху COS <р _
О, п+т — нечетное (3.5—6)
/ т+п+\ \
/ 4„-i/—~ \ 2 /г+ 1—п—т 1— cos со \ .
(sm^Z F(-n>-m> —'•-2-1)' "+'"-четное
Гипергеометрическая функция может быть также написана в виде
Путем преобразования этого выражения приходим к следующим значениям для интеграла:
150
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
0, п+т — нечетное,
г/«+!\ —+1
(smy)n + m + 1
Ff----^-, +-; Cos2Cp ], туп — четные,
тЬ+ + \гЬ+а
— 2
(sin ср)
п + т+ 1
г,/ 1—т 1 — п 3 „ х
COS <pF|——2"-; "2"'» COS2Cp],
m, п— нечетные.
Как указывалось раньше, метод, использованный для вычис­ления двойных интегралов, может быть также применен в случае схожих тройных интегралов. Здесь приведем два результата, полученные таким образом:
j dx J dy ^dz ехр (—х2 — y2 — z2 — 2сху — 2bzx — 2ayz) =
о о
OO OO
J dx I dy ^dzyzexp (—х2—у2—z2—2сху—2bzx—2ayz) =
OOU V TZ
1-fa—b—с а—bc / , Q t \
—-•--цг U+P+Y-V
\+а Dd'
(3.5-7)
где P и у получаются путем циклической перестановки а, 6, с из
а—cb
= arcsin
[-*
a = arccos
(1—с2)1/г(1— &2)1''»
, а—Ьс = arcctg —T7-,
где а, р, Y все лежат в интервале (0,тс) и где 1 с b
D3= с 1 а
= 1 +2abe — а2 — Ь2 — с2.
b а 1
Для справок приведем интегралы, которые получаются из определения нормального распределения, данного в разделе (2.9):
+ OO + OO Il
Jdx1... f dx„exp (— Y^+s
-со-'оо \ 1
+ оо + оо П 
Ifll
Tzn VltA
(3.5-8)
Jdx1... \dxnxtxu ехр ¢-¾% j = (\^^ ~Ч
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 151
где квадратичная форма является определенно положительной, |а| — ее определитель, Atu — алгебраическое дополнение элемен­та atu. Кстати, эти интегралы могут рассматриваться как частные случаи следующего выражения:
+ оо оо П П
Jdtf1... J dxn UrfXrXs j F^X b+r j =
+ OO OO
n—\
\a\
aJ dx§dyy»-zf(x*+y2)X
XFlx
ELbA
1 Ia| J J
(3.5—9)
3.6. РАСПРЕДЕЛЕНИЕ ВЫБРОСОВ ТОКА ШУМОВ
Здесь воспользуемся выводом, подобным применявшемуся в разделах 3.3 и 3.4. Пусть у будет случайная кривая, заданная уравнением (3.3—1):
у = F{aly..., aN\ х). (3.3—1)
Если соответствующие условия удовлетворены, то вероятность того, что у имеет максимум в прямоугольнике (х,, X1-Jdxli уъ yi+dyj), причем At1 и Ад — величины одного порядка, равна
о
-dxxdyx I р{уъОу C)CdC, (3.6-1)
— OO
а ожидаемое число максимумов у в интервале а^х<6 полу­чается путем интегрирования этого выражения по интервалу' —со Ky1Koo , а<х1<Ь. Здесь /?(Е, ?], С) есть функция плотности вероятностей для случайных переменных
E = F {а1у...у aN\хг),
(3.6—2)
= (—)
Применяя этот вывод как и раньше, заменим х и у на t и Л Тогда
n
E = Z=S cncos {wnt —(Dn)i
152
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
где штрихи обозначают дифференцирование по t. Согласно централь­ной предельной теореме, распределение Е, т], С сходится к нормаль­ному закону. Моменты второго порядка, определяющие этот закон могут быть получены либо из приведенных выше определений Е, т\9 С [ либо из функции корреляции, как это было сделано вслед за уравнением (3.4—13):
Г2 = Ф0, Ih=O9
T1C= If(t)F(t) =Hm 4
jl'(t)F(t)dt =
C2 = Hm
T-*
о
= Hm^ [/'2UW2(O)] =0,
T 1
tt = Km-Lj W(0 dt = Hm ++ = С,
о
T T
-| I"{t) I"{t) dt= Hm
VoiK
о о
где значок (4) обозначает четвертую производную. Матрица момен­тов поэтому равна
M =
Фо
0
Ф-
0 -
•О-
I
0
0
е-
Определитель |ZW| и алгебраические дополнения равны
ImI=-Vhvw-V02),
(3.6-3)
Функция плотности вероятностей в (3.6—1) равна
р(/,ОД)= (2*— IMj-1-'. ехр
MnR+
2|М|
+М33^+2Л413/С
(3.6-4)
и если подставить ее в (3.6—1) и выполнить интегрирование по С, то получим
dldt
(2*) Af33
-V2
(3.6-5)
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 15Я
где erf означает функцию ошибок. Это и есть вероятность насту­пления выброса в прямоугольнике dldt.
Как указывалось в соответствующем месте текста после урав­нения (3.6—1), ожидаемое число выбросов в интервале (ZbZ2) может быть найдено путем интегрирования (3.6—1) в пределах от I1 до Z2 после замены х на Z и в пределах от —оо до +оо после замены у на /. Если применить (3.6—4), то легче сначала выпол­нить интегрирование по /. Тогда получим
Отсюда ожидаемое число выбросов в 1 сек.
1 Г W U
2Ч-ф;1
\Rw{f)df
(3.6—6)
J Rw(I) df
L- О
Для полосового фильтра ожидаемое число выбросов в 1 сек. равно
где fb и fa — частоты среза. Полагая /„«=0, найдем число выбро­сов для фильтра нижних частот
M-f =0,775/,
(3.6—8)
Из (3.6—8) и (З.бг—5) можно получить функцию плотности вероятностей для выбросов в случае фильтра нижних частот. Поэтому вероятность того, что случайно выбранный из всех вы­бросов будет лежать в промежутке IyI + dly равна
dl
-9У/8
+
уе
~у2/2
1+erf у
(3.6-9)
2ё
3/2тсф0
где
/4¾ '
Когда у велико и положительно, (3.6—9) приближенно равно
dl -VЪ
Уе
-У!
/Фо
154
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Если написать (3.6—9) в виде/?/(у) dy, то плотность вероятно­стей pj(y) для у может быть графически представлена фиг. 2. Функ­ция распределения Р(/Макс. <СуУ~%) определяется как
Я(/Макс.<УКФо) = J Pl{y)dy\
-OO
она дает вероятность того, что случайно выбранный выброс
меньше,чем заданная величина у ]Л];0 = /. Это одна из четырех кри­вых, представленных на фиг. 4.
од
>
0,3
/
о
-л
(
с
/
►
о
\
)-
/
\
о
—Я
-А—о-с
У
L0.1
<
N
к ь
-2 t
-I
I
У
Фиг. 2. Плотность вероятностей выбросов тока шу­мов на выходе идеального фильтра нижних частот.
Рф)
— _ dl — вероятность выбранный произвольно
Гф0
макс заключен междУ L и I + dJ.
Если / велико и положительно, то можно получить приближение из уравнейия (3.6—5). Замечаем, что
M11 \м\
W_. 1
— +"2 ё>
4о
так что когда / велико и положительно, то
е-М1Х р\2\М\ -Г»'2ф0.
В этих условиях 1 -f-erf примерно равно двум. Поэтому, сохраняя только важнейшие члены и пользуясь определениями 714, найдем приближение для (3.6—5)
dldt ( -ФоУ''2
Ie
-/2/2ф0
(3.6—10)
2тсф0
Отсюда следует, что ожидаемое^число выбросов в 1 сек., лежа-
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ J 55
щих выше линии I=Ily приближенно равно, когда I1 велико:
2*V Eo / (3.6-11) = е~71/2Фо_1_ (ОЖИдаемое число нулей Z в 1 сек.).
Интересно отметить, что приближение (3.6—11) для ожидаемого числа выбросов, превышающих Z1, совпадает с точным выраже­нием (3.3—14) для ожидаемого числа моментов, в которые Z проходит через I1 с положительной крутизной.
3.7. ПЛОТНОСТЬ ВЕРОЯТНОСТЕЙ ДЛЯ ОГИБАЮЩЕЙ ТОКА ШУМОВ
Ток шумов на выходе сравнительно узкополосного фильтра, имеет характер синусоидальной волны, частота которой грубо равна средней частоте полосы пропускания, а амплитуда подверже­на нерегулярным флуктуациям, причем быстрота флуктуаций имеет порядок ширины полосы пропускания. Здесь будут рассмо­трены флуктуации огибающей подобной волны.
Прежде всего дадим определение огибающей. Пусть fm пред­ставляет среднюю частоту полосы пропускания фильтра. Тогда если
««=2^. (+7-1) то ток шумов может быть представлен как (см. 2.8—6)
n
п = 1
= ZcCos (dmZ-Z^sin (dmZ, где составляющие Ic и Is суть
(3.7—2)
Zc =V^nCOs(u)riZ— (dm Z — срп),
Tl= 1
n
(3.7—3)
Огибающая R есть функция Z
R = (Fc+П)Ф (3.7-4)
Как это следует из центральной предельной теоремы и из определений (3.7—3) для Zc и Isi здесь имеются две нормально распределенные случайные переменные. Они независимы, так как
156
ЧАСТЬ II. ТЕОРИИ ФЛУКТУАЦИОННЫХ ШУМОВ
IcIs=Of и имеют одинаковое стандартное отклонение, равное кор­ню квадратному из
oo
IJ= IJ= R + w(f) df = %. (3.7-5) й
Соответственно вероятность того, что точка (/с, Is) лежит внутри элементарного прямоугольника (dlcdls), равна
В дальнейшем удобно ввести другую случайную переменную 6,
где
Ic = R cos 6, Is = R sin 6. (3.7—7)
Так как IcHls — случайные переменные, то таковы же R и б. Дифференциалы связаны так:
dIcdIs = RdQ dRy (3.7—8)
а функция распределения для R и 0 получается из (3.7—6), если произвести замену переменных:
S_Rd^e-n^0 (37_9)
Так как эта функция может быть представлена как произведение членов, содержащих только R и только 0, то R и 0 — независимые случайные переменные; 0 равномерно распределена в интервале (0+2ти), а R имеет плотность вероятностей
-^е~т (3.7-10)
Выражение (3.7—10) представляет собой плотность вероятно­стей для огибающей. Подобно нормальному закону для мгновен­ных значений /, она зависит только от средней полной мощности
%=§w(f)df.
Рассмотрим теперь корреляцию между R в момент / и ее зна­чением в некоторый более поздний момент Z+т. Пусть индексы 1 и 2 относятся, соответственно, к моментам t и Z+т. Тогда из (3.7—3) и из центральной предельной теоремы следует, что четыре случайные переменные / / Ic , Is^ имеют нормальное рас­пределение в четырех измерениях. Это распределение определяется моментами второго порядка
ГЛ. Ш. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 157
Ц = //, = /». = /»=ф0 =
Ic1 Is1 = Ict Ist =Oi
n
Ie1 Iet = Is1 Ist = \ S С% COS (о>я T — о>т х) -
/2 = 1
оо
— j w(f) cos 2ictf — /Jx df = {1ХЗ,
Л, W, =— Ic, Is1 = 4- S C« Sin (<On
(3.7—11)
n = l
— jU(/)sin2*(/ -/Jxdf = jx14.
O
Матрица моментов для переменных, расположенных в порядке
1C1 > L > 1C. * I3u > РаВНа
M =
Фо
О
Vn
Vu
О
Фо -
- Vu
Vis
— 1*14
Фо
О
Va
Vis
О
о
отсюда алгебраические дополнения определителя \М\ равны M11 = IH22 - IH33 = IH44 = % (VI — R23 — Jii4) = фо л,
^ = Фо — ИЗ — Н4.
IH12 = IH34 =0,
IH13 = Af24=-jx13^ (3.7-12) IH14=-M23=-jx14 + |1Н| = Л2.
Поэтому плотность вероятностей для четырех случайных пе­ременных равна:
+il+il+il)
Wexp
-{-та [♦»(/?
-Sjx13(I1Z3-FZ2I4)^jx14(I1Z4-Z2Z3) J , где написано Z1, Z2, Z3, Z4 вместо Z^ Z5i Zc> Z5j
158
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Сделаем теперь преобразование
11 = R1 cos 6Ь I3 = R2 cos 02,
12 = R1 sin G1, I1 = R2 sin G2
и усредним результирующую плотность вероятностей по и 02> чтобы получить вероятность того, что R1 и R2 лежат в интервалах ClR1 и dR2. Она равна
2тс 2тс
о и 1
-2|х13 R1R2 cos (б2 - G1) —2рь14 R1R2 sin (G2 — G1)
Так как подинтегральное выражение есть периодическая функ­ция G2, то можно интегрировать в пределах от G2 = G1 да 62 = 61 + 2тс вместо пределов от 0 до 2тс. Это интегрирование дает I0 —функцию бесселя первого рода от мнимого аргумента. Резуль­тирующая плотность вероятностей для R1 и R2 равна
Fi R2 т Г F1 R2A loI А
I
U23 +VUY1'] [-^f (Я?+Я1)] • (3.7—13)
где из (3.7—12)
Л = ф8-Hi3-PiV
а Pi3 и Pu находятся из (3.7—11). Конечно, R1 и R2 всегда поло­жительны.
Для идеального полосового фильтра с частотами среза fa и fb положим
L=-H—, Hf^w0 для
и получим
V = wMb-fа)'
P13= f ш0cos 2*(/- fjxdf = ^""tr^^ '
Ia
h
Vn= f w0sin27r(/ —/m)xd/=0.
i
Член /0 в (3.7—13), который устанавливает корреляцию между R1 и R2, приобретает вид
/о
F1 F2
Фо
sin2 а:
x2
j
V
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 159
где х = Щь—/д)т. Когда х кратно тс, то R1 и R2 — независимые случайные переменные. Когда х = 0, то R1 = R2. Отсюда можно приближенно заключить, что период флуктуаций огибающей R есть время, которое требуется, чтобы х возросло от 0 до тс, или (fb—fa)'1- Это связано с выводом, полученным в следующем раз­деле и утверждающем, что ожидаемое число выбросов огибающей в 1 сек. равно 0,641 (fb—fa).
3.8. ВЫБРОСЫ ОГИБАЮЩЕЙ
Здесь будет рассмотрено распределение выбросов R. Иссле-/ дование основано на выражении [ср. с (3.6—1)]
о
— dRdt j p(R,0,R")R"dR", (3.8-1)
- OO
представляющем вероятность того, что выброс R попадает в элементарный прямоугольник dR dt. Плотность вероятностей для распределения трех переменных R, R', R" есть p(Ry Rff Rr,)r где штрихи обозначают дифференцирование по t.
Определим p(Ry R', R") из плотности вероятностей для Icr Ts, Г'сУ Isy Ycy Ist которые будем обозначать х1у х2У...у х6. Чередо­вание Ls и F обнаруживается в последующем. Удобно ввести обозначения
OO
bn = (2«)*$w(f)(f-fM)"df9
0 (3.8-2)
6о = Фо>
где fm есть средняя частота полосы, т. е. частота, выбранная при определении огибающей R. Как видно, Ьп аналогично производным Ф(т) при т = 0.
Из определений (3.7—3) для Ic и Is получим моменты второго порядка:
^|"=7|=ф0=б0,
х+—Т2 — Ь
л4 — 1S — uOi
_ n
H=HIi Hfn) M 4*2 (W - fmY=K,
160
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Xl =W2=U
_ _ N
X1X2=Ic I1s= £ w{fn) м 2u(f„ - и=*,,,
1
Х4 X5 = IS = — Ьъ _ _ N
X1X3=Ic С = - Yi w (/)Д/М/„- U2=-&2, 1
Xa Xq= Is Is=-&2>
X2 X3=IsIc= Ь3 у
хъ xq-Ic Is = Ь3.
Все другие моменты второго порядка равны нулю. Поэтому матри­ца моментов
CT
о-
К
I
0
0
0
Ьг
ь2
-ь3
0
0
0
CT
Ьг
0
0
0
0
0
0
к
-К
-К
0
0
0
Ьг
К
0
0
0
-ь2
h
Ьг
Взаимная матрица равна
B0
B1
-B2
0
0
0
B1
Вгг
-B3
0
0
0
B2
-B3
Bi
0
0
.0
0
0
0
Во
-S2
0
0
0
-B1
S22
S3
0
0
0
-B2
B3
Bi
B0 = (b2b4-bl)B, S22=(fc0fc4-fc')B, Si = - (К fc4 - fc2 fc3) B, В3 = -(Ь0Ь3- Ьг Ь2) В, В2=(ЬгЬ3-Ы)В, ВА=(Ь0Ь2-Ь\)В, В=Ь0 &2fc4 + 2fc1fc2fc3-Ь\ - Ь0Ъ\ -fc4fc?,
\М\ = В*, (3.8.—3)
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 161
где В есть определитель матриц третьего порядка в верхнем левом и в нижнем правом углах М.
Как и в болёе раннем выводе, распределение X1,..., X6 нормаль­но во всех измерениях. Показательная функция равна —12|ZW|]~\ умноженному на
В0(х ] + х\) + 2 B1 (X1X2 — X4 х6) —2 B2 (X1X3 + X4 х6) + ' + В22(х\+х\)-2В3(х2х3-хъхь) + В4(х§+х2). (3.8.—4)
В согласии'с предыдущими выводами положим X1 = Zc=RccsO, X4 = Z^=RsinO, X2=Is = Rf sin G + Rccs 00', X5 = Z^=R' ccs 0 — Rsin 00', X3 = Ic = Rf ccs 0 — 2R' sin 00' — R ccs 00'2— R sin 00", X0 = Z5' = Rff sin О + 2R' ccs 00' — R sin ОО'2 + R ccs 00V
Угол 0 изменяется от 0 до 2тс, а 6' и 0" изменяются от—оо до + оо. Образуя якобиан, можно показать, что
At1 At2.... At6=R* dR dRf dRff d0 dOf db\
Величины, входящие в (3.8—4), равны
х?+Xi=R2, Xi X2-X4 X5=R2O', Xi X3 + х4 X6 = RR" — R2O'», х\ +X2 = R'2 + R2O'2, X2 X3 — X6 X6=RR" 0'- 2R'2 0'-R'R 0"— R2 О'3, xl+xl =R"2—2RR" 0'2 + 4R'2 О'2 + 4RR' 0'0" + R20м + R2 О"2.
Выражение для p(R, 0, Rff) найдем, если подставим эти значе­ния х в (3.8—4) и проинтегрируем результирующую плотность* вероятностей по интервалам 0,0', 0":
Pip' 0,^) = -1¾-! <*0 J d6' J d6"exp{--[B0R* +
0 - ее -оо V
+ 2 B1 R2о;—2B2(RRn — R20'2)+B22 R2О'2—2 B3ROf (Rn-R0'2) + + B4(R',2-2RR"0'2+R2e"4 + R20"2)]J. (3.8—5)
Интегрирование по 0 и 0" может быть выполнено сразу, и P(R, О, R") будет состоять из некратного интеграда, с которым, к сожалению, трудно иметь дело. Поэтому положим, что спектр
162
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
w(f) симметричен относительно средней частоты полосы fm. Из (3.8—2) &! и Ь3 равны нулю, а из (3.8—3) B1 и B3 равны нулю.
При таком предположении выражение (£.8—5) приводится к виду
p(Ry 0, R")=R2(2tc)-8/' B4" j dW ехр {-^5 [B0 R2 +
— OO
+ (B22 + 2 B2) R26'2-2 B2R R"+B4 (R"-R 6'2)2] J . (3.8-6)
Вероятность того, что выброс случится в элементарном прямоугольнике dRdty равна из (3.8—1) p(tyR)dRdt9 где
о
p(t, R)=- J р(Я, О, R) R dRT. (3.8-7)
— OO
Подставим (3.8—6) в это выражение и сделаем следующую замену переменных:
" ^_R6'2, у=— _4*_R",
/28 /28
Z=-^-R = -6A=R, /2 84 8 /2 84
(3.8-8)
_ (Даа+2 8а) / 3__60 64 \ /о ^2V
2 862 ~Ц 2 261 j~~ 3 а''>
па_ 2 84 _ 6064 " 28» 6* ~~ 61 *
Здесь используются выражения для В, полученные из (3.8—3), при условии, что Ьг и Ь3 равны нулю. Поэтому
X ехр [— а2 Z2 + 2 6zx + 2 zi/ — (х + у)2]. (3.8—9)
Как и следовало ожидать, это выражение показывает, что p(ty R) не зависит от /.
Ряд для p(t9R) может быть получен путем разложения ехр 2z(y+bx) и последующего почленного интегрирования. Восполь­зуемся выражением
oo OO
1*1
AtVHW+yP- W Г(?+1) T(H-I)
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 163
которое может быть вычислено, подставляя х=р2 COs2 w, у=р2 sin2 w.
Двойной интеграл в формуле (3.8—9) превращается в
_ 00 /п чя « ltm rf m+-L) Г(л —m+2)
* * -i/T тс V (2г) V_п] ъ V2A _
Г ~2~ я! (л — m)! „ 2 г/ я 7\ ~~
n^vW+-*)
где A0= 1, а
An=Y «I--Чя-т + 1)^ OO
6 (3.8-10) Л* (л+ О(1 — *)"ж/---1- (1— *)-e/s п велико.
Член, соответствующий ш=0 в (3.8—10), равен п+1. Поэтому получим
и ох *~а2*2 (Sz)3/- Y1 2я л
Нас интересует ожидаемое число выбросов в 1 сек. N. Из аналогичного вывода для / следует, что N есть коэффициент при dty когда (3.8—1) интегрируется по R в пределах от 0 до оо Поэ­тому из (3.8—7) и из
dR=V2B~b;2dz = (2b0Byi*bl''dz=[2b0 (а2-1)]*/. dz находим
Уравнения (3.8—11) и (3.8—12) были выведены в предположений, что спектр w(f) симметричен относительно /ш, т. е. что ослабление
164
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
полосового фильтра симметрично относительно средней частоты. Сделаем теперь дальнейший шаг и рассмотрим идеальный полосовой фильтр
W(Z) = W0f fa<f<fb,
W(F)=Oi во всех других случаях,
2/m=W+W- (3.8-13)
Подставляя это в (3.8—2), получим нуль для Ъх и Ьъ и, кроме того,
V=Woifb-f а) =%, V= + (fb-fa)\
V=+(fb-LV,
, а2=1Г' (3.8-14)
6=-1-(3-*) = А,
tf=[2&0(*_l)]V.z= (4 U'''2'
п An п An
0 1 4 6,775
1 2,3 5 8,333
2 3,735 6 9,9002
3 5,238 7 11,4736
An^ 1,581U+0.3953
Из (3.8—12) находим, что ожидаемое число выбросов огиба­ющей в 1 сек. на выходе идеального полосового фильтра равно
IV =0,641 IO(W-W). (3.8-15)
Распределение выбросов R для случая идеального полосо­вого фильтра может быть найдено путем подстановки результатов (3.8—14) в выражение (3.8—И). Тогда получим
я=0 Г\ 2 + 4 /
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 165
Удобно представить у как отношение
___R_______
эфф. знач. /(/)'
Т0
/ 8 \ V. Ы Z*
где подразумевается, что R соответствует выбросу огибающей. Так как значение Rf соответствующее случайно выбранному вы­бросу огибающей, есть случайная переменная, то и у также яв­ляется случайной переменной. Плотность вероятностей для у обозначим через рц(у), причем
_ p(t,R) dR
0,64110 Ub -fa)
На фиг. 3 рфу) представлена как функция у.
0,6"
о
N
<
Г
>
<
>
/
о
/
и
/
о
<
>
ч
У
N
?---
0,5 0,4 0,3 0,2
OJS 10 IJS
Ifi
У
2.5 3.0 3^>
Фиг. 3. Плотность вероятностей выбросов огиба­ющей тока шумов на выходе идеального полосового фильтра.
PR(y)
—— ^-вероятность того, что случайно выбранный выброс
у Фо
огибаюшей заключен между R и R dR.
Функция распределения Я(7?Макс.< У Vty0), определяемая как
P(R«M<yVjs)=\ Ря{у)dy,
изображена на фиг. 4 вместе с другими подобными кривыми. Эта функция представляет вероятность того, что случайно выбранный выброс огибающей будет меньше заданного значения yV%= P-
166
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ УЙУМОВ
Если у велико, скажем #>2,5, то
-3 -2 -I О ! 2^3 4 5
Фиг. 4. Распределение вероятностей выбросов. А=Р(1<у yr^l,). — вероятность того, что / меньше, чем у typ .1 По­добно этому C=P(R<v *■ ^о)'В=Р(1мянс <У V tyi) - вероятность то­го, что произвольный выброс I меньше, чем у Ъ ty0. Подобно это- „<t Щ му z>=P(i?viai<c. <у Vtyj).
Приближенное выражение для Pфу) может >б\лтъ получено из интеграла (3.8—9) для p{tyR). Действительно, !заменяя переменные интеграции Xf у в (3.8—9) на
Xf = X1 у' = х + уу
ГЛ. 111. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 167
интегрируя часть интеграла, в которую входит у'9 по частям и предполагая 6<1 (согласно неравенству Шварца а2>1, так что всегда 6<1), получим
когда R — велико.
Если вместо случая идеального полосового фильтра рассмотрим случай, когда w{f) равно1)
W(Z)=-UrW^)2'2'1, Zm»», (3.8-16)
q у Ztz
то найдем
Ь0=1, Ь2 = 4кЧ*, &4=48тс4а\ а2=3, 6=0, Ап = (п+\).
Грубо приближенно сумма ряда в (3.8—12) равна 3,97. Поэтому ожидаемое число выбросов огибающей в 1 сек. равно
М=2,52а. (3.8—17)
Полоса пропускания определяется коэффициентом а. Пред­ставляется трудным сравнить этот случай со случаем идеального полосового фильтра. Если воспользоваться тем обстоятельством, что фильтр, для которого
w(f)=w0exp [-^(£^)2] ,
пропускает туже самую среднюю мощность, как и идеальный по­лосовой фильтр с полосой пропускания, равной fb—fa9 то получим
W-W=0V^
и выражение для N превращается в
1,006 (fb-fa).
3.9.%>ЛУКТУАЦИИ ЭНЕРГИИ
Nii
Здесь исследуем статистические свойства случайной переменной
tx + T
E= J Z2(Z) dZ, (3.9—1) t%
где Z(Z) — ток шумов, а Z1 выбрано случайно.
1J Уравнение (3.8—16) нормировано в том смысле, что средняя мощность Фо принята равной единице. Здесь а имеет другое значение, чем раньше, и размерность ее есть размерность частоты. (Прим. ред.)
168
4ACtb II. ТЕОРЦЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Если пользоваться представлениями (2.8—1) или (2.8—-6), то можно написать случайную переменную E в виде
Т/2
F=J D(Z)A, (3.9—2)
Г/2
где случайный характер выражению, стоящему справа, придается наличием либо ап и 6„, если используется представление (2.8—1), либо Wny если применяется (2.8—6).
Среднее значение E обозначим через тт, где из (3.1—2)
Г/2 Г/2
E = mr.= J D(Z) dt = j ф(0) dt= 7+ =T$w{f) df. (3.9-3)
" " —Г/2 -Г/2 О
Момент второго порядка равен
7/2 Г/2
£* = jdh j йитЩШ- (3.9-4)
-Г/2 -Г/2
Если теперь положим Z2=Z1-EtjTo, как видно из раздела 3.2, получим выражение плотности вероятностей для Z(Z1) и Z(Z1-Et) и, следовательно, можем написать для искомого среднего значения
7^=-UrI+адп х
-оо — оо
Х'^+^о7» + ♦<»'* -2фх Z1Z2)
(3.9—5)
Л2=>8-ф|, Z1 = Z(Z1), Z2 = Z(Z^x) = Z(Z2). Интеграл может быть вычислен при помощи (3.5—6), если положить
WAx/ 4-, It = Ay
<1>т =— Фо c°s <р, А = ф0 sin (р. (3.9—6)
Поэтому
TfTj = <|>2 (1 +2 COS2Cp) = ф2 +2ф|. (3.9-7)
Кстати, это дает выражение функции корреляций для Z2(Z). Заме­няя т его значением Z2-Z1 и возвращаясь к (3.9—4), получим
Г/2 Г/2
E2 = T2 Го + 2J A1 J A2 <p(Z2 - Z1). (3.9-8)
-Г/2 —Г/2
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ /59,
Если введем от — стандартное отклонение E
4 -F2-Znb
то найдем
4 = (E-E)2 =2 J A1 J A2ф2(/2 — Z1) =
-Г/2 -Г/2
Г
= 4j(T — x)r(x)dxf о
где вторая строчка может быть получена из первой либо путем замены переменных интеграции, как в (3.9—27), либо методом,, применяемым ниже при рассмотрении E6. Следует замеЕить, что-пределы интегрирования — Т/2, Т/2 в двойном интеграле могут быть заменены на О, T путем замены переменной Z==Z'—Т/2 как для Z1, так и для Z2.
Если воспользуемся выражением
ф(х) =^wQ) cos 2ф df, (2.1 -6>
о
то получим
sin*+к Jf2) T
°r=jo>(/i)d/ijо о
*2(/14/2)
SWiz(U-U)T
[(3.9-9)
4
*2(/i-/2)2
Если эту формулу применить к случаю сравнительно узкополос­ного полосового фильтра и если T(fb — /J>1, то членом с Д+ 4-Д можно будет пренебречь и получить приближение
- о т те
8 Г f Jt Г At sin2 — h)T
от+
(3.9-10>
I — оо
= ™lT{f„-fa) = w0mT ,
где из (3.9—3)
тт =w0T(fb-fa). (3.9-11)
Момент третьего порядка E6 может быть вычислен подобным же образом. Однако в этом случае имеет смысл ввести характе­ристическую функцию для распределения /(Z1), /(Z2), /(Z3). Taic
170
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
как это распределение нормально, то его характеристическая функция равна
сред, ехр (IZ111 + iz212 + iz313) =
ехр
^(zl+zl+zl) + W2 - Z1) Z1 Z2 +
(3.9-12)
+ Ws — Д) Zi Z3 + Ws — h) Z2 Z3 Из определения характеристической функции следует
коэф. при -grghf в х- Ф-
(3.9-13)
= ФВ + 2ф0 (ФД + Ф £ + ФЛ) + 8Ф21 Фз1 Ф32,
тде ф(^2—Zi),...обозначены, соответственно, через ф21 и т. д. Если (3.9—13) умножить на dt1dt2dt39 затем проинтегрировать в преде­лах от 0 до Г и воспользоваться приведенным выше двойным инте­гралом для of, то получим
TTT
(E-Ef =2! 22JdZ1JdZ2 JdZ3 ф21 ф31 ф32.
Oub
Обозначая тройной интеграл справа через J и дифференцируя, имеем
т т
Lf =3 ^dt^ йШг-к) ф(Г —Z1) ф(Г —Z2) =
о о
TT Tx
= 3 Jdxj di/ ф(х - у) ф(х) ф(//) = 6 j d* Jdy ф(х - у) <|>(х)
0 0 0 0
При переходе от первой строчки ко второй Z1 и Z2 были заменены на T—хи T—у соответственно. При переходе от второго выражения к третьему использовались соотношения, символически представ­ленные в виде
TT Tx TT Tx Ту
^dx^dy = Jdxf di/ +Jdxfdy = \dx^dy + Jdyfdx ,
00 00 Ox 00 00
а также то. обстоятельство, что подинтегральное выражение сим­метрично по Jt и у. Интегрируя dJ/dT по T в пределах от 0 до Tlf пользуясь формулой
T1 T T1
j dT f f (x) dx = \ (T1 —x) f(x) dx,
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМо£ J 71
замечая, что J=Of когда T=O9 и, наконец, опуская индекс при Ti9 окончательно получим
__т х
(Е — Ef =48Jdx \dy (Т — х) ф(х) Ф(у) ф(х — у). о о
Аналогично можно свести к сумме двух тройных интегралов и F4.
До сих пор в этом разделе говорилось о статистических кон­стантах Е. Нахождение точного выражения для плотности вероят­ностей E9 в котором T рассматривается как параметр, представляет­ся весьма трудным.
Когда T очень мало, то E приближенно равно Z2(Z)T. Вероят­ность того, что E заключено в интервале d£, равна вероятности нахождения тока в промежутке (—/,—/—dl) плюс вероят­ность нахождения тока в промежутке (/, I-JdIf.
7^ехр(-2у0)= 7ШГехр{-ЖтУЕ> (3-9~14)
где E положительно,
'=W ■"'-Hwde-
а T предполагается настолько малым, что в течение интервала длительностью T Z(Z) значительно не изменяется.
Когда T очень велико, можно разделить его на ряд интервалов, скажем п9 длительностью каждый Tln. Пусть Er будет доля энергии от r-го интервала. Тогда энергия в полном интервале
£ = £, + £,+ ...+£„.
Если частичные интервалы достаточно велики, то Er — существен­но независимые случайные переменные. Если, в дополнение, п достаточно велико, то E приближенно распределено по нормаль­ному закону. Следовательно, когда T весьма велико, вероятность того, что E заключено в интервале d£, равна
dE Г (Е—тт)
(3.9-15)
7=- exP
/2тс
I-
ч
где
mT = T\w(f)df, о
OO
+ = T+(J)df,
(3.9—16)
172 •
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
причем второе соотношение получено, полагая в (3.9 — 9) T—►oo . Аналогия с теоремой о наложении случайных возмущений (раздел 1.2) очевидна.
Если имеем дело с полосовым фильтром, то можно пользовать­ся (3.9—10) и (3.9—11).
Рассмотрим полосовой фильтр со сравнительно узкой полосой пропускания, так что можно найти T9 для которого 77а^>2тс, но T (fb— fa) <^0,64. Следовательно, в T содержатся несколько перио­дов частоты fa9 но, согласно (3.8—15), в течение этого интервала огибающая значительно не изменяется. Поэтому на протяжении этого интервала /(/) может рассматриваться как синусоидальная волна с амплитудой R. Соответствующее значение E приближенно* равно
где распределение огибающей R берется из (3.7—10). Отсюда сле­дует, что вероятность нахождения E в интервале dE равна
когда E мало, но не слишком.
Рассматривая (3.9—14) и (3.9—17), замечаем, что они имеют вид
пп + 1 Fn nv
W+ dE- (3-9-18>
Кроме того, нормальный закон (3.9—15) может быть отсюда полу­чен, полагая, что остановится большим.
Этим подразумевается, что приближенное выражение для распределения E дается формулой (3.9—18), если а и п выбра­ны так, что значения тт и от получаются из (3.9—3) и (3.9—9). Это дает
а= 4 "+1 = 4 (3.9-19)
и если опустим индекс T и подставим значение а в (3.9—18), то получим
(шеУ
\о*) ( mE\.lmE\ „ m* (3.9—20)
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 173
Представление об этом распределении дает следующая таблица:
п
Н/й—fa) *0,25
Xq, 50
+ 75
Xr, п~
л0-2;> JCa га
Xr, г-~
"^0,50
о
kj
0
0,29
kj,kjvo
I ,OZ/
0 413
U, t 1 U
9 ПО
^,UU
1 1
1,45
0,96
1 VJU
2 6Q
0 372
kj,0 I Z*
1 ,VJU
О
Za
2,4
1,73
9 67
3 Q4
0 847
1 47
I ,41
3
3,4
2,54
3,67
5,12
0,692
1,39
5
5.4
4,22
5,67
7,42
0,744
1,31
10
10,5
8,63
10,67
13,02
0,808
1,22
24
25
21,47
24,67
28,17
0,870
1,14
48
50
44,1
48,7
53,5
0,905
1,10
где п — показатель степени, входящий в (3.9—20). Столбец T(fb—fa) справедлив только для полосового фильтра с узкой полосой про­пускания. Цифры в этом столбце не очень точны. Следующие три столбца дают точки, которые делят распределение на четыре интер­вала равной вероятности
x0 25 = m^'25, £0)25 = энергия, превышаемая в течение 75% времени mFo.bo р__ _км/ _
#0,50 -—' + 50 —-п-/о п-
т£р,75 р __о со/__
*0,75 = —^2—» ^0,75 —-т>-zo /0-„-
Цифры в этих столбцах получены из таблицы неполных гамма-функций Пирсона. Последние два столбца показывают, как рас­пределение группируется вокруг среднего значения, когда оно сходится к нормальному закону.
При больших значениях п достигается нормальный закон (3.9—15). Так как в случае справедливости этого закона точки 25, 50 и 75% соответствуют т — 0,675а, т и /п+0,675а, то в первом приближении
+50=-j = ("+1)^Г (/,-u, х0,25 = J- [т -0,675а) = *о.50-0,675]/^7о, (3.9-21)
#о,75 = #0,50+ 0,675vrX0f50.
Это согласуется с таблицей (см. также фиг. 5). Исследуем теперь флуктуации интеграла
Л(/)=|/2(х)/а('-г)А. (3.9-22)
Показания термоэлектрического амперметра, через который про­ходит ток /, пропорциональны A(t). а— постоянная прибора.
Начнем исследование A(I) с нахождения его функции корре­ляции. Сплошной участок энергетического спектра A(t) дается урав-
174
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
нением (3.9—30). Если энергетический спектр Z(Z), обозначаемый w(f)9 равен всюду нулю за исключением участка fa<Cf<ifb> где он равен W09 то энергетический спектр A(t) равен
2wi(fb-fa-f) 0<rf^f _f
и равен нулю от fb—fa до 2fa. Спектр на участке от 2/а до 2fb не ра­вен нулю и может быть найден из (3.9—34). Средний квадрат флук-
2.0 u5 У / GlS 0
-2t0Qnpui
MfSiipuO
ь
20 30 40 5060
1
3 4 5 6 8 Ю
Tffrfa)
Фиг. 5. Шумы теплового движения на выходе филь­тра— разброс энергии флуктуаций.
ti + T
J P(t)dt, I1 - взято произвольно, / — ток шумов.
I1
Е0,75 Ео,25 , л v = -g- Xa= -£-• Jb Ja-ширина полосы фильтра.
0,50
0,50
туаций A(Z) дается в общем случае уравнениями (3.9—28) и (3.9— 32). Для полосового; фильтра, если^l- велико,
эфф. знач.
Л(0-Л] Г а A J [Wb-fa)
Начнем с того, что положим T=Z—U9 благодаря чему интеграл для Л(Z) преобразуется в
A(t) =J D(t — U)e~audu.
(3.9—23)
Чтобы получить функцию корреляции W(~) для Л(Z), умножим A(t) на Л^ + т) и усредним по всем возможным значениям токов
OO OO
W(z) = A(t)A(t + z) = J e""du j e~'vdv 1T(t^u)7"(t+z—v)
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 175=.
Так же как и в (3.9—4), среднее в подынтегральном выражении есть функция корреляции для Z2(Z), аргумент равен Z+т — v — Z+ ^_u — z+u — v. Из (3.9—7) видно, что она равна
Ф?+2ф2(т + а-ц), где W) есть Функция корреляции для Z(Z). Следовательно,
oo oo
W(x) = j +2 ^dufa e-au-avrU + u — v). (3.9—24) о о
Из интеграла (3.9—23) для Л (Z) видно, что среднее значение-Л (Z) равно
T=E.= **-. (3.9-25).
где
%=№+ Mftdf = 7:
О
Применяя последнее соотношение опять, но только на этот раз. к Л(Z), получим *
OO OO
Щ) = W(O) = Л+2 ^du^dv e-*u-*v Г(и — v). (3.9—26)
о о
Двойные интегралы могут быть преобразованы путем замены переменных u + v=xy и—v=y. Тогда (3.9—24) превращается в­
ЧГ(т) = A+ ([dy^dx+]dy^dx\ е'^ги + У) =
(3.9-27)
= А + -L-J Cay [ф!(т + у) + W - У)] dy.
Если воспользоваться тем обстоятельством, что ф(у) есть четная функция у, то из (3.9—26) следует, что средний квадрат флуктуа-ций Л(Z) равен
_ г
[Л(Z) - Af =ГЩ -Л2 = A U - ах dy. (3.9-28)
о
Функция W(t) может быть записана при помощи интегралов, в которые входит w(f)—энергетический спектр Z(Z). Вывод на­чинается с (3.9—24); он аналогичен переходу от (3.9—8) к (3.9—9).
176
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
В результате получим •
•о - *•+\ Ah да <м Ф+тш+тш?) ■
Удобно обозначить через w(—/) спектр для отрицательных частот, равный w(f). Интегрирование по /2 может быть тогда произведе­но в пределах от — оо до + оо ; в итоге получим
оо 4 оо
W(I) = A2 +J d+df2w(f Jw(J2) .¾¾¾¾ (З-9-29)
Энергетический спектр W(f) для A(t) можно найти, интегри­руя T(t)1
W(f) = 4 j W(i) ccs 2ф dz. о
Рассмотрим часть A(I)y подверженную флуктуациям, т. е. {A(I)—Л]. Ее энергетический спектр Wc(I) равен
Wc(I) = 4 j[ W(t) - Л2] ccs 2тс/т dx.
о
Интегрирование упрощается при применении формулы интеграла -Фурье в виде
оо 4 оо
J dz J df2 F(J2) ссз2г(ы-/2)т = 4" fM-
О -оо
Получим
oo
^с(/) = I dZiMzo w(f+fi) + w (/о а» (-z+zoi =
+ оо
= Ь'М w if-fi) dfi- (3-9_30)
Простота этого результата наводит на мысль, что может быть найден менее сложный вывод. Если попытаться воспользоваться формулой
Ъ(1) = \\т 2LVLt (2.5-3)
T-* во
где S(f) берется из (2.1—2), то нужно доказать, что T г
Iim JL J dtl jd/W'^ R(h)Ihh) =
Г-«0 q Q
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЙХ ШУМОВ 177
+ оо
= Jif0Wtf-Mdf1, (3.9—31)
— oo
где f >0, /(Z) есть ток шумов, а w(f) — его энергетический спектр. Это можно доказать, пользуясь (3.9—7) и соотношением
OO +оо
8 |ф2(т) cos 2ф dx=§w(x)w(f—x) dx
О - OO
в соответствии с уравнением (4С—6) в Приложении 4С.
Выражение для среднего квадрата флуктуаций A(I)9 в которое входило бы W(I)9 может быть найдено, полагая в (3.9—29) т=0:
(Atf)-Ay = *(0) - A2-¾?¾? ,(3-9"32!
о
Тот же самый результат получим, интегрируя Wc(f) из (3.9—30) в пределах от О до оо:
oo +00
I ,*+!*/» Idfl "tf^-W- (3-9-33)
О -оо
Хотя по внешнему виду это выражение и отличается от (3.9—32), но оно может быть представлено в такой же форме' при помощи соотношения w(—f) = w(f).
Предположим, что /(/) — ток через идеальный полосовой фильтр, так что w(f)=0 за исключением полосы fa<Cj<Cjb> где w(f) = w0. Тогда, если 3fa+>fb9
A = +tfb-fa) ,
<2wltfb-fa-f), 0<f<h-fa. (3.9-34)
J(x)w(f-x) dx = Iwltf- 2fa), 2fa<f<fb + U,
\wK2U-f), fb+U<f<2U
и равно нулю за пределами этих диапазонов. Энергетический спектр Wr(f) немедленно может быть найден по (3.9—30) путем делений этих значений на <х2+4тс2/2. Из (3.9—33)
(A(I)-Xf= 2wi]^=Jdf + о
+ W0 ) а2+<1л2/а Щ+ w0 j al+47t,/a Щ.
173
ЧАСТЬ И. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Если желательно получить точное решение, то интегрирование должно быть выполнено. Положив, что fb—/fl<C/a+/a> можно по­лучить приближения для последних двух интегралов
{A(I)-A)2 ^ W20 [&=&arctg 2тс(/^/а) -
4ti» iu^ а» «a+4*»(/* + /a)»J-
Далее, если 2тс^б--/а) велико, то
(Л(О-Л)^шГ-^ и относительное эффективное значение флуктуаций равно
Этот результат может быть также получен из (3.9—10) и (3.9— 11), полагая а настолько малым, что интеграл для A(I) может быть разбит на большое число интегралов, каждый из которых охва­тывает интервал длительностью Т. Предполагается, что аТ настоль* ко мало, что е-аи существенно постоянно в каждом интервале.
[3.10. РАСПРЕДЕЛЕНИЕ СУММЫ ИЗ ТОКА ШУМОВ И СИНУСОИДАЛЬНОГО ТОКА
Допустим, что имеется установившийся синусоидальный ток
Ip = Ip(I) = P cos (о)/ - Фр). (3.10-1)
Выберем случайные моменты времени ZbZ2,... и заметим соответ­ствующие значения тока. Как распределены эти значения? Выбор случайных моментов времени в (3.10—1) со статистической точки зрения представляет собой то же самое, что и сохранение Z посто­янным и выбор случайных фазовых углов Wp в диапазоне от 0 до 2тс. Если Ip будет рассматриваться как случайная переменная, определяемая случайной переменной Qp9 то ее характеристическая функция равна
2тс
сред. ешр =^j eizP cos (•/*-*> dw = J0(Pz)9 (д ш_2) где J0(Pz)—функция Бесселя. Плотность вероятностей для Ip
IJe-H(Pt) dz=\+P2-Hl'\ \1Р\<Р, (ЗЛ0_3) -- Io |/_| >Р.
ГЛ. III. статистические свойства флуктуационных ШУМОВ 179
В этом случае проще найти плотность вероятностей непосредствен­но из (3.10—1), а не при помощи характеристической функции-.
Допустим теперь, что имеется ток шумов In плюс синусоидаль­ный ток. Сопоставляя выражение для In (2.8—6) с изложенным вы­ше понятием о случайных фазовых углах wp9 приходим к следующе­му представлению:
м
Hf) = I = Ip+ lN=Pcos(wpt-wp) + Ycn^s(wnt-wn)f (3.10-4)
c\ = 2wtf№>
где wp и (fl9...wM— независимые случайные углы.
Если наблюдать / в случайные моменты времени Z1, Z2,..., то как будут распределены отмеченные величины? Так как Ip и /4v могут рассматриваться как независимые случайные переменные и так как характеристическая функция суммы двух таких перемен­ных равна произведению их характеристических функций, то из (3.1—6) и (3.10—2) имеем
сред. е?« =сред. Л+/"> = J0(Pz) ехр j. (3.10-5)
Это выражение представляет собой характеристическую функ­цию для /. Плотность вероятностей / равна1)
+ Jexp [-/г/-(+^0(P2)d2 =
Подобным же образом можно показать, что плотность вероят­ностей для {I1, I2), где I1=I(I) —ток шумов плюс синусоидальный ток (3.10—4), а I2=I(t+z) — значение этой суммы спустя некото­рый постоянный промежуток времени т, равна
(+иг
2*
-Jdeexp bifLd' (ЗЛ0_7>
о где
Вф) = <Ы(Л - P cos 6)* + [I2 - P cos (0 + «DpT)]»} -1 — P cos б) Ut — P cos (0 + (OpT)].
Ч Другой вывод этого выражения дан У. Р. Беннетом, BSTJr 97, январь 1944.
180
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Характеристическая функция для I1 и I2 равна
сред. eiuI>+ivI* = /0(^ У"2 + v2 +2 w cosoyc) X
Xexp | — 4-("2 + ^2)-фг^|. (3.10-8)
Иногда представляет интерес распределение огибающей тока
/ = PccspZ + In. (3.10—9)
Здесь о)р заменено на р, а <р положено равным нулю. Под оги­бающей подразумевается R(I)9 которую можно найти из
R*(t) = R2 = (P + Ic)2 + I>9
(3.10-10)
где Ic есть составляющая In «в фазе» с cos р!9 а Is —составляющая лв фазе» с sin pZ:
С = S сп ccs [((Dn — р) Z — <ря], 7U = S ^sin [((Dn-p) Z — (ря], In=Ic cos pZ — sin pZ,
'T = WWo-
Так как /с и Is распределены по нормальному закону вокруг нуля с дисперсией %, плотности вероятностей переменных
X = P+ Ic, у = Is
равны соответственно
(2*40
■DJ]
2ф,
(2*4»0)
■*«р(-&)-
Положив
x = Rcos0, p = Rsin8
и пользуясь этими распределениями, видим, что вероятность на­хождения точки (х9 у) в кольце (R9 R+dR) равна
2тс
RdR
2г+
ехр
-L(R2 + P*-2RPccsQ)
d0
ехр
F2+P2
/ЯР
(3.10—11)
гл. iil СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 181
где I0 — функция Бесселя мнимого аргумента
Л>0 = Xi^T,
которая является табличной функцией. Из (3.10—11), отбрасывая dR9 получаем плотность вероятностей огибающей R.
Среднее значение Rn может быть найдено путем умножения (3.10—11) на Rn и интегрирования в пределах от 0 до оо . Разложе­ние функции Бесселя и почленное интегрирование дают
W= ^0W(W) e-HF^-j+n иЩ =
= (2фоГ/2^-|-+^Л[-+ W-+). (З.Ю-12)
где есть гипергеометрическая функция1!. При переходе от пер­вой строчки ко второй было использовано первое преобразование Куммера для этой функции. В частном случае
RJ2= Р2 + 2ф0. (3.10-13)
Когда имеются только шумы, P=O и
* = «U) -(*Г (з,о-н,
R2 = 2ф0.
Прежде чем итти дальше, в (3.10—11) удобно сделать следующие изменения обозначений:
V= * Clv=Lrt U=Lftt (3.10-15)
Фо* Фо
где а есть отношение амплитуды синусоидального тока к эффектив­ному значению тока шумов.
Вместо случайной переменной R теперь имеется случайная переменная Vt плотность вероятностей которой
p(v) = uexp (--^L+^j /о(от). (3.10-16)
Кривые p(v) в функции от v представлены на фиг. 6 для значе­ний а=0, 1, 2, 3, 5. Кривые, показывающие вероятность того, что V меньше, чем заданная величина, т. е. кривые распределения Vt приведены на фиг. 7. Эти кривые были получены путем численного
1J Кривые этой функции приведены в «Таблицах функций» Янке и Эмде, 373, 1948, а некоторые ее свойства изложены в Приложении 4В.
О 12345678 V
Фиг. 6. Плотность вероятностей огибающей R тока /(/) = р cos pt + In.
99.99
99.95 99.9 99,8 99.5 99
-37
Ж
Ф
1
/ъ/з
2
fl
'а=0
>
98
95 &90
о
во
70 60
50 40 30 20
10 5
2 1
0,5 0,2 0.1 0.05
0,01
!
I
S
-3
-2
о v-Cf
Фиг. 7. Функция распределения вероятностей огиба­ющей R тока /(/) = P cos pt + /л/.
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 183
интегрирования p(v). Следующее полезное выражение для этой вероятности было дано У. Р. Беннетом в одной неопубликованной работе
v »
J p(«)du = exp (_it+f!)2/п(оо). (3.10-17)
Это выражение получается путем интегрирования по частям, пользуясь соотношением
J Un In-X (au)du = ~ In(QU)e
При аи>1, но 1<а—Vf Беннет показал, что (ЗЛО—17) приво­дит к
^exp [_ S*^\ X
Эта формула может быть также получена путем подстановки асим­птотического разложения (ЗЛО—19) для p(v) в (ЗЛО—17), выполне­ния дважды интегрирования по частям и пренебрежения члена­ми высшего порядка.
* Когда av становится большим, I0(av) можно заменить его асим­птотическим значением. Тогда выражение для p(v) превращается в
'«Н'+аНнГЧ--^} <3-10-19)
Поэтому, когда а становится большим, либо v находится далеко у края кривой плотности вероятностей, распределение становится по­добным нормальному закону. Нормальный закон определяет среднее значение P и стандартное отклонение фо'. Это стандартное откло­нение таково же, что и стандартное отклонение мгновенных зна­чений /,у.
Когда аи>1 и а> \v—а|, можно разложить коэффициент при
показательной функции в (3.10—19) в ряд по V~Qa Почленное
интегрирование этого разложения дает, если пренебречь членами, по величине меньшими а"3:
v
j р(и) du =¾= 4-+4-erf уг~-
о
2а/2^ V 4а + 8а« JeXp[ 2 J'
184
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Когда / состоит из двух синусоидальных токов плюс шумы:
/ = Pcospt+QsiT\qt + IN, (3.10—20)
где угловые частоты р и q не имеют общего множителя, плотность вероятностей огибающей R равна
ф0г«
г J 0(Rr)J0(Pr) J0(Qr)e~ ~dr, Iz'10~21>
О
где %=1 N. При Q=O интеграл может быть вычислен и тогда полу­чается (3.10—11). Когда P=Q=O, получаем плотность вероятно­стей для R при наличии одних только шумов. Если вместо двух синусоидальных токов будут три, то в подинтегральное выражение следует поместить еще одну функцию Бесселя и т. д.
Для определения R удобно считать шумы сосредоточенными в сравнительно узком частотном диапазоне, а частоты синусоидаль­ных токов — лежащими внутри этой полосы или вблизи нее. Как и в уравнениях (3.7—2)—(3.7—4), относим всё члены к средней частоте диапазона/т = <от/2тс, пользуясь уравнениями типа
cos pZ=cos [(P-cdm)Z + (dmZ ] =
=cos(p — (dJZ cos (dmZ — sin (р — (dm) Z sin (omZ.
Таким путем получим
У=Л cos (dmZ — В sin (dmZ =Rcos ((dmZ + 0), (3.10—22)
где А и В — сравнительно медленно изменяющиеся функции Z, равные
A=P cos (р — (dm) Z + Q cos (<7 — (о J Z+
+ JJ Cn COS (o)nZ — (dmZ — <рп),
(3.10—23)
Б=P sin (р — (dm) Z + Q sin — (dm) Z +
+ JjAnSin(o)nZ-(dmZ -Cpn)
R2=42 + B2, R>0, (3.10-24) tg0=4-.
Как и следовало ожидать, уравнение (3.10—21) тесно связано с задачей о случайных смещениях и может быть получено из вы­вода Клюйвера1!, полагая, что шумы соответствуют весьма большо­му числу очень малых случайных смещений.
*) 1 Н. В а т с о н, «Теория бесселевых функций», ГИИЛ, 1949.
ГЛ. Ш. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 185
Другой путь вывода (3.10—21) основан на предположении, что (P-U)771)/, (q — o)m)/, <Pi,<p2>- • • суть независимые случайные углы. Характеристическая функция для Af В равна
сред. е,иА*»В =Jo(PV*Hfl) J.(QV*++)*~*"**' Плотность вероятностей для Af В составит
+ ов ■+ OO
/ 1 \2 С . ( . -UiA-IvB laA + ivB
(йг) \du \dve сред-е­— OO -OO
Если произвести замену переменных
Jl=R cos 0, w=rcos ср, B=RsinO, D=Tsincp,
то интегрирование по (р может быть выполнено. Двойной интеграл превращается в
Фо т%
-L JtJ0(Pt)J0(Qr)J0(Rr)e' 2 dr. о
Это ведет прямо к (3.10—21), если обратить внимание на то, что dAdB = RdR dQ. Кстати, если
/=Q(1 -f k cos pt) cos qt+INf
где p<<7, то подобные же соображения показывают, что плотность вероятностей для R равна
2 л «о
4г J dcL j г J0(Rr) J0 [Qt(1 + k cos а)]е~ ^ '* drf
где (D771 принято равным q. Интегрирование по т может быть выпол­нено. Это соотношение тесно связано с (3.10—11).
Возвращаясь теперь к случаю, когда / состоит из суммы двух синусоидальных токов плюс шумы, можно показать при помощи (3.10—21) и соотношения
2Я+1Г|1 + —) I R^iJ0(Rr)dR =- \
» ^(-4-)
что среднее значение Rn равно, если — 2<Re (п) <—,
2"+1r(l+-|-) С -W R"--' \ г-»-Ч0(Рг) J0(Qr)e 2 dr =
166
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
A=O /я-0
=(2фо)"/2г(|-+1)£
(3.10-25)
Представляется весьма вероятным, что этот результат может быть распространен путем аналитического продолжения на поло­жительные целые значения п. В (3.10—25) применялись обозначе­ния
(о)*=а(а+1). .. (а + £-1),
P2 Q2
(3.10-26)
а полиномы Лежандра были обозначены через Р/,(г). Ряд сходится для всех значений Pt Q и ф0 и обрывается, когда п есть четное положительное число.
Если х или у или оба вместе велики сравнительно с единицей, то можно из интеграла для Rn получить асимптотическое разложение, полагая Q<P, так что y<Jx:
(3.10-27)
Когда п — четное положительное число, этот ряд обрывается и дает такое же выражение, что и (3.10—25). Когда п — нечетное це­лое число, функция 2F1 может быть выражена через полные эллип­тические функции E и К модуля i/1'-*+
2
1_.
(3.10-28)
2
9 А' X ) те С те
Высшие члены могут быть вычислены из в (1-Zp1F1 (а +1, а + 1; 1; г) =
= (2а-1)(1+г)Л(а, с; 1; г) + + (1 —а)2^(а —1, с—1; 1; г),
(3.10—29)
ГЛ. III. СТАТИСТИЧЕСКИЕ СВОЙСТВА ФЛУКТУАЦИОННЫХ ШУМОВ 187
что является частным случаем соотношения
a6(Y + l)(l-z)22Fi(a+l, 6+1; с; г)= = A 2Fi (а, Ъ\ с\ z) — -(Y-I) (c — a)(c — b)2F1(a-l9 6—1; с; z)f (3.10-30) где 1=с—а—6, и
Л=а2-1)Т + 0-г) \Ь-\)(с-Ь)(Ь-\) + Ъ+\)а{с-а-\)\.
Хотя из данного выражения это и не видно, но А действительно сим­метрично по а и Ь. Симметричная форма может быть получена при использовании выражения, которое находится, если в (3.10—30) положить 2=0.
3.11. НЕКОТОРЫЕ ДОПОЛНЕНИЯ О ТОКАХ ДРОБОВОГО
ЭФФЕКТА
В большинстве выводов этой главы в качестве исходных исполь­зовались выражения (2.8—1) или (2.8—6). Покажем сейчас, что пред­ставление токов дробового эффекта, применявшееся в главе I, может быть также взято как исходное.
Например, допустим, что надо найти двумерное распределе­ние /(/) и /(/+-с), рассмотренное в разделе 3.2. Это — частный случай распределения двух переменных
/(Z)=JF (/-4),
/<о+-<.>, <3"-'>
A=-OO
где теперь предположим
+ оо +оо
Jf(Z) dt= j*G(0 dt =0, (3.11-2)
- OO -OO
чтобы средние значения / и J могли быть равны нулю. Чтобы полу­чить /(/+О из J(t)y положим G(/) = F(/+x).
Распределение / и J может быть найдено во многом подобно тому, как в разделе 1.4 было найдено распределение для одного /. Характеристическая функция распределения равна
+ оо
f(ut v) = сред. eiuI+ivJ= ехр v J (ехр [iuF(t)+ivG(f)]—l) dtf
— OO
(3.11—3)
188
часть ii. теория флуктуационных шумов
где v есть ожидаемое число событий (т. е. для дробового эффекта — попаданий на анод электронов) в 1 сек. Плотность вероятностей для IhJ равна
+ во +во
1С С —iuJ—ivJ
4**)du)dve КМ- (3.11-4)
Семиинварианты Хт,„ находятся из
* \ Iog f(u, v)=Y Ц-5 №* («>)"+Tj [(ш)*, (ш)*]
т!п!
т, я—1
и равны
+ «>
W,.»=v J Fm(f) G"(t)dt. (3.11-5)
— oo
Когда v—»-оо , распределение IhJ сходится к двумерному нор­мальному закону. Приближение к этому нормальному закону можно найти, следуя методике раздела 1.6. Из допущения (3.11—2) следует, что X10 и X01 равны нулю. Из соотношений между момен­тами второго порядка и семиинвариантами X имеем
+ oo — oo
+ ~
Ы=Wi+Wo Wi-v J F(I) G(t) dt, (3 11 -6)
-oo
+ оо
|*22 = X02+^1 = V f G\t)dt.
Здесь индексы при fi отличаются от индексов при X, причем это изменение сделано для того, чтобы привести индексы в соответ­ствие с разделами 2.9 и 2.10, так что можно сразу написать нормаль­ное j распределение.
Глава IV
ПРОХОЖДЕНИЕ СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА
Здесь будут рассмотрены две проблемы, относящиеся к про­хождению шумов через детекторы или другие нелинейные устрой­ства. Первая относится к статистическим свойствам тока на выходе нелинейного устройства, т. е. среднему значению тока, флуктуа-циям вокруг этого среднего значения и т. д.
Вторая проблема может быть сформулирована более определен­но: дано нелинейное устройство, на вход которого подается либо одно только напряжение шумов, либо напряжения шумов и сигна­ла. Каков будет энергетический спектр на выходе?
При написании этой главы полезным оказалось ознакомление со статьей Беннета 1K а также с рукописью вскоре выходящей статьи Миддльтона 2K
4.1. ТОК НИЗКОЙ ЧАСТОТЫ НА ВЫХОДЕ КВАДРАТИЧНОГО
ДЕТЕКТОРА
Пусть ток на выходе устройства / следующим образом связан с входным напряжением V:
/=аР», (4.1—1)
где a=const. Если энергетический спектр V ограничен сравни­тельно узким диапазоном частот, то энергетический спектр / со­стоит из двух частей. Одна часть сосредоточена вокруг удвоенной средней частоты спектра Vi а другая — вокруг нулевой частоты. Нас интересует низкочастотная часть. Ток, соответствующий этой части спектра, будет обозначаться In. Это ток, который должен протекать на выходе, если включить фильтр нижних частот для отфильтрования верхней части спектра. Удобно разделить Itl на две составляющие
_ W=U+U (4.1-2)
1I Цитирована ранее (раздел 3.10). В следующих разделах при ссылках на статью Беннета и рукопись Миддльтона упоминаются только фамилии авторов.
2) Автор, повидимому, имеет в виду работу Миддльтона «Реакция линей­ного и кьатрагичного детекторов на флуктканионные шумы», опубликованную в Journ. Appl. Phys., Г/, 778, октябрь 1946. (Прим. ред.)
190
ЧАСТЬ П. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
где индексы обозначают, соответственно, «полная низкая» частота (//), «постоянный ток» (dc) и «низкая частота» (//). Имеем
Cc = I а*
TTf=Vil-IdP=Ih-Iic • (4.1-3)
Простейший способ нахождения Idc состоит в возведении в квад­рат данного выражения для V и выделении членов, не зависящих от времени. Поэтому, если
V=P cos pt+Q cos qt+VN, (4.1 —4)
то получим
[fT + "21 + Щ • (4Л~5>
Ilf может быть, конечно, определен путем выделения низкочас­тотных членов. Вместо этого здесь будет развит на примере квад­ратичного детектора, а в следующем разделе — линейного детек­тора общий метод исследования статистических свойств тока на выходе нелинейного устройства, когда входное напряжение огра­ничено относительно узким диапазоном частот.
Если низкочастотные составляющие спектра целиком пропус­каются фильтрами, то
(4Л-6)
где R — огибающая напряжения V. Плотность вероятностей и статистические свойства Itl могут быть найдены из этого уравне­ния, если известна функция распределения R1). Прежде чем рас­сматривать эти свойства, докажем справедливость (4.1—6).
Уравнение (4.1—6) является частным случаем более общего решения, полученного в разделе 4.3. Его справедливость может быть показана рассмотрением примера
V=P cos pt+Q cos qt+VN, (4.1—4)
где /р=р/2тс и fq=ql2-k лежат внутри, либо примыкают к частот­ному диапазону напряжения шумов Vn.
1J Если часть низкочастотного спектра не пропускается, то вопрос услож­няется. Idc может быть найден, как и выше, но для нахождения Iff необ­ходимо сначала определить энергетический спектр / (раздел 4.5) и затем проинтегрировать по соответствующей его части. Что касается распределения Iifi то пока можно только утверждать, что оно находится между распре­делением по уравнению (4.1—6) и нормальным распределением, которого оно достигает, когда только узкий участок низкочастотного спектра про­пускается фильтром звуковых частот (раздел 4.3).
rjl. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 191
Применяя формулы типа
COS pt = COS [(J) — ojt + uj] = COS (р — (Dm)/ COS (Dm/ —
X4 — sin (р — (Dm)/ sin шт/, (4.1—7)
можно отнести все члены к средней частоте диапазона /т=ют/2тс, как это сделано в (3.7—2) и (3.7—4). Таким образом, получим
V=A cos шт / — В sin (от/=R cos (шт /+8), (4.1 —8>
где Л и Б — относительно медленно изменяющиеся функции /, равные
A=Pcos(p —(Dm)/+Q.cos (q—ю J/+S сп cos К t — wj — wn)t
п
B=P sin (р — <oJ/+Q sin — сп sin К/ — шт/ — (оп),
R2=42+fl2, #>0> (4.1-9) tg0 = 5A4.
Такое определение R было также дано в (3.10—22, 23, 24). Огибающая V есть Rt а выходной ток равен
/=OcR2 JX- + -J- cos (2<%/+26)]. (4.1-10)
Так как R — медленно изменяющаяся функция времени, то такой же функцией является и R2. Энергетический спектр R2 ограничен частотами, значительно более низкими, чем 2/т, и в результате энергетический спектр R2 cos (2<om/-j- 20) сосредоточен вокруг 2fn. Поэтому единственным членом в уравнении для /, соответствующим низкочастотному выходному току, является aR2/2, что и нужно было доказать.
Возвратимся теперь к статистическим свойствам Itl. Во-первых, рассмотрим случай, когда напряжение V состоит только из одних шумов V=Vn9 так что плотность вероятностей для огибающей R равна
-Хв-*'/2фо ' (3.7-10)
где
отк
ф0=[эфф. знач. Vn]2=V^ (4.1-11)
- у aR~2 Г «F2 R -Rl4ojr> , О
Iff= lJ-ll=]++e-«'2*>dR-&=a?y0. (4.1-12)
Во-вторых, рассмотрим случай, когда
V=Vn + Pcospt, (4.1—13)
192
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
где р/2тс лежит вблизи полосы частот шумов Vn* Плотность ве­роятностей для огибающей R равна
W--sSr-WTr)- <3-">-'»
Отсюда и из уравнений (3.10—12), (3.10—13) найдем
Idc=jI1-= *% + ^~, (4Л-14)
Ifi=L- Ri = а*[ 2Го + 2Р2фо + "Г"].
Tff = Tjl- fdc=*4%+P?) ф0. (4.1-15)
В (4.1—14) ф0 есть средний квадрат напряжения шумов Vn, а R2/2 — средний квадрат сигнала. Эти уравнения показывают, что Idc и эффективное значение Ilf не зависят от распределения энергетического спектра шумов Vv до тех пор, пока входное на­пряжение V ограничено относительно узким диапазоном частот. Другими словами, хотя это распределение и влияет на выходной энергетический спектр, но оно не влияет на постоянную составляю­щую и эффективное значение Ilft когда ф0 и P заданы. То, что это справедливо для большой группы нелинейных устройств, было указано Миддльтоном (см. конец раздела 4.9).
Когда входное напряжение равно
V = Vn+ P cos pt+ Q ccs qtt (4.1—4)
p=+q9 получим из уравнения (3.10—25)
Cc= T Я2 = *(Л+-Г+-2-)'
Ih- 4~R4' (4.1—16)
4.2. ТОК НИЗКОЙ ЧАСТОТЫ НА ВЫХОДЕ ЛИНЕЙНОГО ДЕТЕКТОРА
В случае линейного детектора
/ = /0, V<0, (4 2^7)
1 Uv9 v>o, (4*z [)
и выходной ток низкой частоты, считая, что фильтр звуковой частоты отсутствует, равен *)
In = ^ (4.2-2)
*) Автор рассматривает случай безинерционного детектирования. (Прим. ред.)
ГЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 193
Здесь, как и в аналогичном случае (4.1—6) при квадратичном детекторе, предполагается, что подводимый сигнал и шумы лежат внутри относительно узкого диапазона частот. Эта формула может быть использована для вычисления плотности вероятностей и статистических свойств Itv если известны необходимые данные об огибающей R приложенного напряжения.
Справедливость (4.2—2) может быть доказана рассмотрением выходного тока /. Он состоит из положительных полуволн aV, огибающая / тождественна огибающей aV. Однако площадь, лежа­щая под кривой /, составляет только 1/тс площади, лежащей под кривой aR; именно таково соотношение площади, ограниченной кривой sinx:, к площади прямоугольника, имеющего единичную высоту и длину 2тс. В результате ток низкой частоты изменяется по закону aR/тс.
Если V состоит из синусоидальных колебаний и шумов
V = VN + Pcospt, (4.1—13) то среднее значение Itl равно
= «(&)'"-"г[<1+*>'4т)+*'.(т)) (4.2-3)
где I01 I1 — бесселевы функции мнимого аргумента,
х =Л1= сред, мощность синусоид, колебаний (4.2—4) 2^0 сред, мощность шумов
а ф0 есть среднее значение Vn- Уравнение (4.2—3) следует из фор­мул (3.10—12) и (4.В—9)1). Если х велико, то асимптотическое раз­ложение (4.В—3) для iFi дает
J (4-2-5) Подобным же образом средний квадрат тока Itl равен
W= +& = + (Р* + 2%), (4.2-45)
а средний квадрат тока низкой частоты /,,, (без постоянной со­ставляющей) равен
ITf=Ifi-Iic .
1J Сч. Приложение 4В. (Прим. ред.)
194
ЧАСТЬ II. ТЕОРИЯ. ФЛУКТУАЦИОННЫХ ШУМОВ
________L
Если х велико, то
W/W(4-Sr )=SUo(l-+ ), (4.2-7)
а если х =0, __
'>=-£ фо(2-+. (4.2-8)
Кривые Idc приведены на фиг. 1,2 и 3 статьи Беннета. JOh также приводит на фиг. 4 кривые, показывающие зависимость Г(/ от х. Из них следует, что влияние комбинационных членов высшего порядка мало, когда Ilf находится путем сложения низкочастот­ных комбинационных тонов.
Если напряжение V состоит из двух синусоидальных колебаний и шумов &
V = Vn + P cos pt + Q cos qt, (4.1 —4)
то в среднее значение //; по уравнению (3.10—25) входит двойная функция J^1
-«(MbSSFfe-^(Ff). <«-9>
A=O
где
х=~Що* у=Щ~о* ^(г) —полином Лежандра . (4.2—10)
Если х велико и у<Сх9 то из (3.10—27) получим асимптотическое выражение
A=O
Функция 2Pi может быть выражена через полные эллиптические функции EhK модуля у*1* дг-,;». Поэтому
.".(-FU >U)-U4(--U*
^ ■ ,F,+ ,+Ih U -U • (3.10-28)
а высшие члены могут быть вычислены по рекуррентному урав­нению (3.10—29)*. Первый член £=0 в (4.2—11) дает Idcf когда шумы отсутствуют.
гЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 195
Средний квадрат тока Itl равен
П » +&=+ (2фо + P*+Q2) < (4.2-12)
Из этого уравнения, а также из выражения для Idc может быть найдено эффективное значение тока низкой частоты (за вычетом постоянной составляющей). Например, когда шумы невелики,
+2*.[|-.ъ(-+-+,1 + )4-])- (4.2-13)
Член, не зависящий от ф0, дает средний квадрат тока низкой ча­стоты в отсутствие шумов. Когда Q уменьшается до нулй, (4.2—13) сводится к главному члену (4.2—7), как и должно быть. Если P=Q9 то формула негодна и необходимо пользоваться асимптоти-ческим^значением
Ввиду нестрогого характера выводов в разделе 3.10 представ­ляется ценной численная проверка эквивалентности уравнений (4.2—9) и (4.2—11). Для этого во второй ряд (4.2—9) подставляем значения х=4, у=3. Оказывается, что наибольший член в сумми­ровании имеет место при £=11. В общем, учитываем 24 члена. В результате получаем
= 2/5502.
Для тех же значений х и у асимптотический ряд (4.2—11) дает
2,40+0,171 +0,075+0,052+ •
Если остановиться перед третьим членом, то сумма равна 2,57 При включении наименьшего члена получим 2,65. Соответствие результатов показывает, что (4.2—11) действительно является асимп­тотическим разложением (4.2—9)
Если входное напряжение имеет вид
_ V= Q(l +£ cos pt) cos qt+VN, то можно воспользоваться уравнением
-Rn =(2to)»/2r(l + ++J1Fi + + Г; ^(1 +*cos 8)«] db,
0.
(4.2-14)
196
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
где R — огибающая по отношению к частоте q/2iz9 а у находится из уравнения (4.2—10). Интеграл может быть вычислен путем представления в виде степенного ряда и почленного интегри­рования, пользуясь соотношением
X-j(l+£cos 8)' cosmb M = о
= (-i3fW)m2W[+-, *+Ь»;т+1;*]. (4.2-15) где т — неотрицательное целое число, / — любое число, (a)m = a(a+l)...(a+m-l)f (a)0=l, (O)0=L
Интеграл может быть также взят при помощи присоединенных функций Лежандра.
Применяя методы раздела 3.10 к (4.2—14), приходим к сле­дующим выражениям:
^=Q2(l+4)+2V
fw_iw_M ( 1 ч (4.2—16)
R - Q Y М'И* Л (s- L * s; 1; *2)
s=0
где асимптотический ряд применим, если у очень велико, а £ не слишком близко к единице. Из этих выражений
W -S- {Q2 jX +«2-(1+)-'''] + •••}• (4.2-17)
Сопоставление коэффициентов при ф0 в (4.2—17) со сплошным участком выходного энергетического спектра не будет правильным*
Основная составляющая, вносимая в Iff сплошным участком энергетического спектра, есть а2ф0/тс2, т. е. как и в (4.2—7), если £=0. Разница между этим значением и соответствующим членом в (4.2—17) появляется, повидимому, из-за того, что амплитуда выделенного сигнала не точно равна aQ£/ir, но оказывается изме­ненной вследствие присутствия шумов. Это обстоятельство можно было ожидать по физическим соображениям, так как изменение в уравнении (4.2—7) P9 скажем удвоение, незначительно сказывается
на токе/2/ в (4.2—7), который обусловлен исключительно сплош­ным участком шумового спектра. Модулированная волна может рассматриваться как результат медленных изменений Р.
4.3. НЕКОТОРЫЕ СТАТИСТИЧЕСКИЕ СВОЙСТВА ТОКА НА ВЫХОДЕ НЕЛИНЕЙНОГО УСТРОЙСТВА ОБЩЕГО ТИПА
Рассматриваемая задача такова: дано нелинейное устройство, ток на выходе которого связан с входным напряжением соотношением
гЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ» УСТРОЙСТВА \ 97
/ = X-J F(iu) e?Vudu, (4. А—1)
с
которое приведено в Приложении 4А1). Пусть входное напря­жение V наряду с сигналом содержит и шумы. Выберем для иссле­дования на выходе некоторую полосу частот. Каковы будут ста­тистические свойства тока в этой полосе частот?
Решение этой задачи в таком общем виде представляется трудным. Однако два следующих утверждения будут справедливы.
1. По мере сужения полосы частот на выходе статистические свойства соответствующего тока приближаются к свойствам шумо­вых токов, рассмотренным в главе III (полагая, что гармоники сигнала не попадают в эту полосу частот). В частности, мгновен­ные значения токов распределены по нормальному закону.
2. Если входное напряжение V ограничено относительно узкой полосой частот, то энергетический спектр выходного тока / сосре­доточен вокруг нулевой (постоянная составляющая), 1-й, 2-й и т. д. гармоник средней частоты полосы частот напряжения V. Вы­ходной ток низкой частоты, включая и постоянную составляющую, равен
Ia = A0(R) = Uj F(iu)J0(uR) du, (4.3-11)
с
где R — огибающая V
Огибающая п-й гармоники выходного тока при п>0 равна
Ап (#) = ~!r[ Hiu)Jn(uR) du. (4.3-1)
с
Тогда
OO
I =S An(R) cos (п*т t + nQ)> (4.3-9)
где/т=шт/2тс—средняя частота полосы частот напряжения V, а 6— сравнительно медленно изменяющийся фазовый угол. Результаты, полученные в разделах 4.1 и 4.2, являются частными случаями этого уравнения.
Заключение о том, что мощность шумов в каждой полосе частот на выходе (в полосе частот, соответствующей данной гармо­нике fm) зависит только от!/^=ф0и не зависит от спектра Vn, где Vn— составляющая напряжения шумов во входном напряжении V9 может быть также получено из (4.3—9). Замечаем, что полная мощность в п-й полосе частот зависит только от среднего квадрата
*) Здесь F (ш) представляет собой преобразование Фурье вольтамперной характеристики нелинейного устройства. (Прим. ред.)
198
' ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
огибающей An(R) и что в плотность вероятностей огибающей R на­пряжение шумов Vn входит только через ф0.
Обоснование первого утверждения не является вполне удов­летворительным. Оно сводится к следующему. Выходной ток / может быть разделен на две составляющие. Одна, обусловленная сигналом, состоит из синусоидальных членов. Другая является шумовой составляющей.
. Здесь будет рассматриваться последняя; обозначим ее In, Корреляция между двумя значениями In, разделенными проме­жутком времени, стремится к нулю, когда этот интервал стано­вится большим. Пусть т будет промежуток времени, достаточно большой для обеспечения существенной независимости двух зна­чений In- Выберем промежуток времени T достаточно большим так, чтобы он заключал в себе много интервалов продолжитель­ностью т. Разложив In в этом промежутке в ряд Фурье, получим
г а0 . V* / 2тсп/ , , . 2те/гЛ
С = — +Zj \ап cos-^+^sin -ут- I
/2=1 \ /
тг (4.3-2)
ап — йп = —\ е In(I) dt. о
Пусть рассматриваемая полоса частот простирается от /0—р/2 до Zo+P/2 и ПУСТЬ
T(fo—f") = T(fo+ 4")= п*> (4'3"3)
где пг и п2 — целые числа. Число составляющих тока в этой полосе частот будет (п2—пх). Полагаем [5 существенно меньшим, чем 1/т. Выходной ток в этой полосе частот
Пг I \ In= S kcos^ +Ья*хпЩ , (4.3-4)
где
о Г -i2«ff-/o)/ -Wo*
"n-ibn = 4- \ е е C(t)dt9
О
„ , „ „ , „ (4.3—5)
п = Eip + п - rLp = f0T+(n-f0T).
Полоса частот выбрана настолько узкой, что
Яг — — или jfr < 1.
(4.3-6)
ГЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 199
Это дает возможность написать приближенно
где T1= а Г выбирается таким, чтобы T1 было целым числом. До­пустим, что так проделано с большим числом промежутков дли­тельностью каждый Т. Тогда IN(t) будет различным при переходе от интервала к интервалу. Группа интегралов для г=1 дает ряд значений, которые можно рассматривать как определяющие рас­пределение комплексной случайной переменной, скажем хг. Ана­логично ряд интегралов для г=2 определяет распределение второй случайной переменной X2 и т. д. вплоть до хГх. Вследствие выбора -z настолько большим, что значение In (t) в данном интеграле прак­тически не зависит от его значений в других интегралах, можно сказать,, что Jt1, #2,..., хГх являются независимыми. Получаем
S -z2itW-/0)rT
г=1
CLnlIl —/&Bl + i =2j е Хг> Ul -Ю* (р -/0)гт
an% — ibn9 =Zje Xr
Если п2—I1^r1, как это предполагалось в (4.3—6), то можно применить центральную предельную теорему для доказательства того, что аПхУ ЬПхУ аПх+1, . . .,ая>, Ьп% стремятся стать независимыми и нормально распределенными вокруг нуля, по мере того, как ширина полосы P—► 0, а T—»-оо (и, следовательно, гх—► оо) таким образом, что (п2—Ti1) поддерживается постоянным. При этом используется то обстоятельство, что ток In(I) таков, что вещественные и мнимые части Jt1, Jt2,..., хг все имеют то же самое среднее значение и стан­дартное отклонение. Удобно полагать f0T целым числом.
Поэтому, когда ширина полосы частот P достигает нуля, выход­ной ток в этой полосе In9 определяемый (4.3—4), может быть представлен таким же образом, как (2.8—1), т. е. как это было сделано при изучении шумового тока в Главе III. Следовательно, статистические свойства In должны сходится к свойствам рассмо­тренного там шумового тока. Например, распределение вероятно­стей In сходится к нормальному закону.
200
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
В нашем рассмотрении было положено, что jft<g;l. Если напря­жение V9 подводимое к нелинейному устройству, ограничено от­носительно узким частотным диапазоном, скажем fb—fa9 то про­межуток времени т (выбраннйй выше так, что /(/) и I(t+z) суще­ственно независимы) может быть выбран порядка l/(fb—/а). В этом случае In ведет себя подобно шумовому току, если $/(fb—/^зна­чительно меньше единицы.
Теперь обратимся ко второму утверждению, сделанному в на­чале этого раздела. Пусть приложенное напряжение ограничено сравнительно узким диапазоном частот так, чтобы оно могло быть представлено уравнением (4.1—8) раздела 4.1,
V = RcosOom/ + 0), R>0, (4.1—8)
где \т = есть некоторая опорная частота внутри полосы
частот, а R и 6—функции времени, медленно изменяющиеся по сравнению с coswm/. Через R обозначена огибающая V Из уравнения (4А—1)
I = HsmHH^du. (4.3-7)
С
Разложим подинтегральное выражение при помощи соотношения
ix COS ср
е
= Y^n *п cos Щ Jn(x)> (4.3—8)
л=0
где е0 есть 1, еп есть 2, когда п>0, а Jп(х)— функция Бесселя. Поэтому
OO
/ = 2 An(R) cos (n<om t+ nQ), (4.3-9)
л=0
где
Ап(р) = 6+J ади("#) du. (4.3-10)
с
Так как R есть сравнительно медленно изменяющаяся функция времени, то можно ожидать, что то же справедливо и по отноше­нию к An(R)9 по крайней мере для небольших значений п. Поэтому из (4.3—9) видно, что энергетический спектр / будет состоять из последовательности полос; n-я полоса сосредоточена вокруг ча­стоты nfm. Если при помощи фильтра устранить все полосы за исключением п-й, то выходной ток будет иметь огибающую An(R)9 когда п>1. Положив п=0, видим, что выходной ток низкой ча­стоты равен просто
A0(R) = Xj F(Iu)J0(UR) du. (4.3-11)
с
гЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 201
Положив п= I9 для полосы частот, сосредоточенных вокруг fm> найдем
X^ V. (4'.3-12)
Статистические свойства выходного тока низкой частоты и оги­бающих выходных полос могут быть получены из соответствующих статистических свойств R. Например, плотность вероятностей для An(R) имеет вид
PWj-dR- (4.3—13).
где p(R) есть плотность вероятностей для R. В этом выражении R рассматривается как функция An.
Предполагалось, что учтены все полосы, окружающие гармо­нические частоты nfm. Если учтем только, часть их, то, повидимому, статистические свойства будут стремиться приблизиться к ста­тистическим свойствам шумового тока в соответствие с первым утверждением, сделанным в начале этого раздела.
Если применить (4.3—И) к квадратичному детектору, то* получим
ад = W
MR)—ITj^-Clu = ^ RK Применяя (4.3—11) к линейному детектору, получим
U''")= - +
— OO
где путь интегрирования у начала координат отступает книзу.. Эти результаты согласуются с результатами, полученными в раз­делах 4.1 и 4.2.
В качестве последнего примера найдем выходной ток низкой частоты линейного детектора со смещением, выразив его через огибающую R приложенного напряжения. Из таблицы для F(Zw),. приведенной в Приложении 4А, видим, что F(Zw), соответствующее / = 0, VHBf I=V-Bt V>Bt
равно
-iuB
ад)=--+^-
202
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Соответственно выходной ток низкой частоты равен
+ оо
MP)=- + [ е~ ШВ MuR) и* du,
— OO
;где путь интегрирования отступает книзу у начала координат. Когда B>R, интеграл равен нулю, так как путь интегрирования может быть замкнут на нижней полуплоскости бесконечным полу­кругом. Это значение также следует из физической сущности во­проса. Если —R+B<+R, то, интегрируя по частям, получим
+ оо
A0(R) = — J UBJ0(UR)+ RJ1(UR)] U^du=
= — 4+4J" [BsinuBJ0(uR) + RcosuBJ1(uR)]u-1 du=
° _ (4.3-14)
=-4+4arcsin 4+4?*^= =—2+4^(—4 - 4; 4; 4")' —r<b<r-
Эта гипергеометрическая функция встречается опять в уравнении {4.7—6). В пределах —R<B<.R
dA0
-Li/1-JL.
п Y 1 Ri
dR
Если в отрицательно, а r<C—в, то путь интегрирования может быть замкнут бесконечным полукругом на верхней полуплоскости и значение HHferpafla пропорционально вычету полюса а начале координат
Л0(Я)=2*/(-4) (-1щ = -в.
Поэтому выходной ток низкой частоты для линейного детектора равен при 5>0 (r всегда положительно)
A0(r)=o, r<B,> (4.3-15)
mr)=- 4+4arcsin 4+4?*2-52' в < r'
а при £<0 равен
A0(r)=\B\, r<\B\, (4.3-16) mr)=+++ arcsin \JL+J-yW=&, \B\<r,
ГЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 203
где значения арксинусов лежат между 0 и -^- • A0(R) и ее первая
производная по R непрерывны.
Из (4.3—15) постоянная составляющая выходного тока при В+0 равна
и=Я-4+4arcsin 4+4v#2-HpWdR, (4.3-17)
В L 9 J
где /?(R) есть плотность вероятностей огибающей входного напря­жения Vf т. е. p(R) имеет вид (3.7—10) для случая одних шумов и вид (3.10—11) для шумов плюс синусоидальное напряжение. По­добным же образом эффективное значение тока низкой частоты (без постоянной составляющей) Ilf может быть найдено из
72 72 г2 Ч/= hi— Idc ,
где, если В>0,
L2/=j[-Х +JL arcsin -A + -J- YRs -BzJp(R) dR. (4.3-18)
Если V состоит из синусоидального напряжения с амплитудой P плюс шумы VW, то оно может быть представлено как (4.3—13), а если P значительно больше эффективного значения Vn , то рас­пределение R приблизительно подчиняется нормальному закону. Если, вдобавок, (P-B) > (эфф. знач. Vn) >0, то (4.3—17), (4.3—18) и (3.10—19) приводят к приближениям
Cc^-L+L arcsin JL+pVp^+^_^
F.P, АЧ-фо 2 ' те 2теР
72* P2-P2 . 1 if ^ —^pT- То-
(4.3-19)
Второе выражение для Idc предполагает, что Р>В. Если Б=0, то эти выражения сводятся к первым членам (4.2—5) и (4.2—7). Применяя другой метод, Миддльтон получил более точную формулу для этого случая.
Для данного приложенного напряжения ток Idc(+)> соответ­ствующий положительному смещению \B\f связан с Idc (—), со­ответствующему отрицательному смещению—|Б|, следующим об­разом:
U(-) = |S|+U(+)- (4.3-20)
Точно так же эффективное значение Ilf(+) равно эффективному значению ///(—). Уравнение (4.3—20) следует из физических
204
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
соображений, основанных на рассмотрении площадей, ограничен­ных кривой /. Оба приведенных соотношения вытекают из фор­мул, данных Миддльтоном для случая, когда V состоит из сину­соидального напряжения и шумов. Они могут быть также выведены из (4.3—17) и (4.3—18).
4.4. ВЫХОДНОЙ ЭНЕРГЕТИЧЕСКИЙ СПЕКТР
Рассмотрим теперь методы решения следующей задачи: дано нелинейное устройство и входное напряжение, состоящее либо из одних шумов, либо из шумов и сигнала. Каков будет вы­ходной энергетический спектр?
В некоторых отношениях ответ на этот вопрос дает меньше, полезных сведений, нежели методы исследования, рассмотренные в первых трех разделах. Например, помимо определения эффектив­ного значения, он говорит очень мало о плотности вероятностей тока, соответствующего данной полосе частот на выходе. С другой стороны это эффективное значение может быть найдено (путем инте­грирования энергетического спектра) для любой исследуемой поло­сы частот. Описанные ранее методы ограничены случаем, когда вход­ное напряжение занимает сравнительно узкую полосу частот. Давае­мые ими сведения относятся ко всей полосе, соответствующей данной гармонике (0-й, 1-й, 2-й и т. д.) входного напряжения. Не существует другого пути для изучения выходного эффекта, когда часть полосы частот задержана фильтрами, за исключением нахож­дения энергетического спектра некоторой функции огибающей.
В настоящее время имеются два общих метода, пригодных для определения выходного энергетического спектра, причем каж­дый из них обладает своими преимуществами и недостатками. При прямом методе шумы представляются в виде суммы конечного числа синусоидальных составляющих и вычисляются типичные комбинационные тона. Выходной энергетический спектр получается из рассмотрения плотностей и амплитуд этих комби­национных тонов. Главное преимущество этого метода заключается в его тесной связи с известной теорией искажений в нелинейных системах. Вообще комбинационные тона низшего порядка являются единственными, имеющими существенное значение для мощности на выходе, и если они известны, то вопрос близок к решению. Основной недостаток метода — трудность подсчета комбинацион­ных тонов, приходящихся на данный интервал. Однако Беннет разработал способ решения этого вопроса .
Основная идея второго метода заключается в нахождении функ­ции корреляции для выходного тока. Отсюда выходной энерге­тический спектр может быть получен путем преобразования Фурье.
*) BSTJt 19, 587—610, Приложение В, 1940.
ГЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 205
Метод функции корреляции и его варианты имеют более недавнее происхождение, нежели прямой метод.
В методе функции корреляции обойден вопрос о подсчете ком­бинационных тонов. Однако в некоторых случаях он становится несколько ограниченным. Вероятно, лучше всего при исследовании какого-либо вопроса иметь в виду оба метода. Прямой метод будет иллюстрирован применением его к квадратичному детектору. В дальнейшем будут приведены примеры двух решений методом функций корреляции.
4.5. ЭНЕРГЕТИЧЕСКИЙ СПЕКТР НА ВЫХОДЕ УСТРОЙСТВА С КВАДРАТИЧНОЙ ХАРАКТЕРИСТИКОЙ
Вероятно, наиболее прямой путь получения ' W(f) — энерге­тического спектра тока /, где
I=aV\ (4.1-1)
а V — напряжение шумов, заключается в возведении в квадрат выражения
м
V=VN = Yi Cm cos ((oj-tfj, (2.8-6)
1
в котором C2m = 2о)(/ш)Д/, (от=2тс/т, fm = m&f9 а <рь <р2, wM — случайные фазовые углы.
Значительное упрощение алгебраических выкладок достигается при замене (2.8—6) на
+ оо
^ = T2jV т- (4-5-1)
Здесь добавлен член с0/2, чтобы не было пробелов в суммирова­нии, и введены обозначения
С-т — Ст->
ч-т = -*т, (4.5-2)
а=2тсД/.
Возведение в квадрат (4.5—1) дает двойные ряды
vl=ltbH(n+n)at'i9m'"n =
=S-S 2 ск-псае*«-*»-"-*°
206
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Допустим, что надо рассмотреть составляющую Vn частоты fk=kAf. Очевидно, она равна
1 + 00
Ak cos К/ — ф*) = -у- Y Ck~nCn cos (kat — Vk-n — Vn)- (4.5—3)
П— - оо
— энергетический спектр тока / на частоте fk равен а2, умно­женному на коэффициент при Д/ в среднем квадрате (4.5—3),. где усреднение производится по (р. Поэтому
■+- OO + OO
nf*W = +YY Ck-nCnCk.mCMX
— OO -OO
Х[ cos (kat — %_п — <?„) cos (kat -%.т- <fm) ] >
где суммирование распространяется на тип. Пусть п — фиксирова­но; рассмотрим те значения ту которые дают среднее, отличное от нуля. Видно, что т=п и m=k—п суть два таких значения. Единственные другие возможности суть m=—п и т=—k+nf но они приводят к членам, содержащим (за исключением слу­чаев, когда п или k равно нулю) три различных угла wnf wk-n и Wk+п , усреднение по которым дает нуль. Используя то обстоятельство, что
среднее косинусов, возводимых в квадрат, есть L и чт0 для данного
п имеются два таких члена, получим
+во + ОС
W(Ilt)Af=+ Y dnc2n=**Af £ ш(/*-цад)д/,
/Z= — оу Я»= - оо
(4.5-4)
где в последнем выражении было использовано
/*_я = (k-n)Af=fk-fn и учтено, что из с-п=сп следует
w(f-n) = w(— n Af) = w(— fn) = w(fj. Поэтому из (4.5—4) найдем для энергетического спектра тока /
W(f)=afij w(x)w(f — x)dx, (4.5—5)
— оо
подразумевая, что /^O и что
w(—x)=w(x). (4.5—6)
ГЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 207
Результат, который получается при использовании (2.8—6) с введением косинусов и только при положительных значениях ту равен
/
W( f) = *2§ w (х) w (f — х) dx+2a? (*) w (f+x) dx. (4.5—7)
0 0
Он содержит только положительные значения частоты. Урав­нения (4.5—5) и (4.5—7) эквивалентны и легко могут быть преоб­разованы одно в другое.
Первый интеграл в (4.5—7) учитывает суммарные комби­национные тона второго порядка, а второй интеграл — разност­ные комбинационные тона. Это можно показать путем написания тока в виде
оо оо
/ = aV* = a Y Y ст°пcos(")mt — <£>J cos (ш„/ —wn) =
m = l л = 1
OO OO
S S °тСп {c0s[K-o>n)t-Wm + Wn] +
m=i /2=1
+cos[(o>m+i»n)t+wm+ion]}. (4.5-8)
Мощность в полосе частот (fk, fk +М) состоит из мощности, создаваемой разностными комбинационными тонами (щ+i — ^l) ,плюс мощность, создаваемая суммарными комбинационными тонами (^k-i+ ^i). В первом случае / пробегает от 1 до оо, а во втором случае/ пробегает от 1 до k—1.
Рассмотрим сначала разностные комбинационные тона и на мо­мент предположим, что как £, так и / фиксированы. Два ряда значений m=k+l, п=1 и m=l9 n=k+l суть единственные зна­чения т и п в (4.5—8), дающие частоты (щ+i— ю,). Два соответ­ствующих члена в (4.5—8) равны, так как cos (—х) равен cos х. Сред­няя мощность, связанная с этими двумя членами,
(-у- CkTl C1 ) 4C0S2[(tDA+z — (Di)/ — <Pa+z+<P/] =
= L(OLC^1C1)Z. (4.5-9)
Мощность в полосе частот (fk, fk+Af)9 связанная с разностными тонами, получается суммированием по / от 1 до оо :
2 OO OO ос
-\YcTc} = 2** Y w(fk+i) w (Il)(Af)*^ 2а* Af § w(fk+f)w(f)df.
z=I z=I о
Это приводит ко второму члену в (4.5—7).
208
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Рассмотрим теперь суммарные комбинационные тона. Для членов такого типа в (4.5—8), приводящих к частоте <ол, m+n=k. Пусть л=1, тогда m=£—1. Фаза этого члена по отношению ко всем другим членам случайна, за исключением одного члена, соответ­ствующего n=k—1, m=l, который имеет такую же фазу. Средняя мощность, вносимая этими двумя членами в (4.5—8), равна, как и в (4.5—9),
l(a C1Ck-I)*.
Она связана с двумя членами, для которых m+n=k. Положив л=2 и проделав ту же процедуру, получим еще два члена. Поэтому, предположив, что k — нечетное число, найдем, что мощность, создаваемая в интервале (/>, fk J-Af) суммарными комбинацион­ными тонами, равна
<*-п/2 *-i fk
\ Y -J-E l?CnCk-nY-+ °?Af \w(f)w(fk-f)df9
л=1 п=1 S
что приводит к первому члену в (4.5—7).
Если напряжение V9 приложенное к устройству с квадратичной характеристикой, является суммой напряжения шумов Vn и си­нусоидального напряжения
V=Pcosp/+V;V, (4.1 — 13)
то получим
V2=P2COs2pt+2PVN cospt+Vl- (4.5—10) Из двух уравнений
cos2p/ = -J- + -L cos 2р/,
АЛ оо 1 о
следует, что /=aV2 имеет постоянную составляющую
a-L + a]w(f)df9 (4.5-11) о
что согласуется с (4.1 — 14), и гармоническую составляющую
^L2 cos 2р/. (4.5-12)
ГЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 209
Сплошной участок энергетического спектра Wc(f) определяет­ся остальными членами (4.5—10)
2PVN cos pt+ V*.
Используя (2.8—6), видим, что м
2PVNCOS pt = PY Cm [COS (O)jfl/ + pt— wm) + cos (pmt — pt— (Dm)].
1
Предположим, что р=2тсгД/. Члены, имеющие отношение к часто­те fn=nAf9 это те, для которых
% + P = 2^n* hm — P I = 2^fп>
т + г = п9 \т — г\ =п9
т = п — гг т = г ± п9
где должны быть приняты во внимание только положительные значения т. Если п+>г9 то т=п—г или т=г+п. Если п<г9 то т=г—п или т=г+п. В обоих случаях значениями т являются I л—г I или п+г. Члены частоты fn в выражении для 2PVncos pt поэтому равны
РС\ n-r \ COS (2тс/п/ — (?, л_г 1 ) + РСп + г COS (2izf + — (Dn + r)t
а средний квадрат этого выражения, если усреднение взять по (D9 равен
-¾ - г , + <4+, ) = [ H U п-г ,) +XUn + r)] =
= P2Af[w(\fn-fp\) + w(fn+fp)]9
где fp=p/2n.
Добавляя еще выражение (4.5—5), полученное йз Vh9 видим, что сплошной участок Wc(f) энергетического сцектра тока / рдвен
wc(f) = **p*[w а -Ip)+w а+Ip)] +
+ OO
+ afi jw (х) w(f — x) dx, (4.5—13)
— OO
где w(—f) имеет такое же значение, что и w(f).
Уравнение (4.5—13) было использовано для вычисления Wc(f) (фиг. 8). Предполагается, что составляющие входных шумов имеют одинаковые амплитуды в полосе частот шириной [J с центральной частотой fv (ср. фильтр C9 Приложение 4С). Рассматривая пло­щадь, ограниченную кривой низкочастотной части спектра, найдем P
\Wc(f)df = *2$w0(P*+$w0). * о
210
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Так как средний квадрат входного напряжения Учесть ф0=рш0, то это уравнение совпадает с выражением (4.1—15) для среднего квадрата тока Ilf (ток низкой частоты без постоянной состав­ляющей). Если фильтры звуковых частот срезают часть спектра, то, чтобы получить средний квадрат соответствующего выходного тока, Wc(J) следует интегрировать по сохранившейся части спектра, о чем упоминается в примечании к уравнению (4.1—6).
Ol
lWctt)
2с
7
JL
Вход сигнал
JS
Вход, шумы
pr —»
-г—
2fP-P
2fp тр-
» .8/2 P
Фиг. 8. Сплошной участок спектра на выходе устрой­ства с квадратичной характеристикой.
Напряжение на входе—Pcos t+ Vjj. Постоянная составляю-
щая на выходе
Когда напряжение V состоит из напряжения шумов Vn и двух синусоидальных напряжений, частоты которых не являются крат­ными:
V = Pcospt + Q cosqt + Vn,
то можно показать, что сплошной участок Wc(J) энергетического спектра тока / равен (4.5—13) плюс дополнительные члены
a2q2 [w{f _ ffl)H_ w(f + fq)]t (4.5-14)
где Jq = q/2*.
Если напряжение, приложенное к устройству с квадратичной характеристикой (4.1—1), равно
V(f) = Q(\+k cos pt) cos qt + Vn = = Q cos qt + Щ eos(p+q)t + ^ cos (p - q) t + Vn ,
то результирующий ток содержит постоянную составляющую
во
Q J1 + +j + « jHf)df. (4.5-15)
ГЛ. ГУ. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 211
Синусоидальные члены тока / можно получить возведением а квадрат
Q(l + k cos pt) cos ^/
и умножением на а. Оставшаяся часть тока / имеет сплошной энер­гетический спектр
Wc(f) = a2Q2
w(f-fq) + w(f + fq) +
+ 4
4 «"Vf Ip IqJ i 4
1 +
+ L
+ с
w(x) w(f — x) dxf (4.5—16)
где Jp = р/2тс и Jq = q/2iz.
4.6. ДВА МЕТОДА ФУНКЦИИ КОРРЕЛЯЦИИ
Как упоминалось в разделе 4.4, эти методы определения выход­ного энергетического спектра основаны на нахождении функции корреляции W(z) для выходного тока. Отсюда энергетический спектр W(J) выходного тока можно определить из (2.1—5), пере­писанного в виде
W(J) = 4 j* W(x) cos 2ф dx. (4.6-1)
о
Напомним, что W(J)Af может рассматриваться как средняя мощ~ ность, которая рассеивалась бы составляющими тока /, лежащими в полосе частот (/,/+А/),если / протекает через сопротивление 1 ом.
Допустим, что на вход нелинейного устройства подано напря­жение V(t). Оно может состоять из напряжения шумов Vn(t) плюс синусоидальные составляющие. Предположим, что ток на выходе есть /(/). Нелинейное устройство характеризуется связью между V(t) и /(/). В данной рабрте предполагается, что /(/) в момент / полностью определяется значением V(t) в момент /. Будут описаны два метода нахождения 1JrCO: а) интегрированием двумерной плотности вероятностей для V(t) и V(t+x) в пределах, заданных свойствами нелинейного уст­ройства; этот метод является наиболее прямым в случае, когда> на детектор действуют только одни шумы;
212
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
б) введением и использованием характеристической функции двумерной плотности вероятностей для V(t) и V(t+x); ради крат­кости характеристическая функция будет обозначаться х. ф.
4.7. ЛИНЕЙНОЕ ДЕТЕКТИРОВАНИЕ ШУМОВ — ПЕРВЫЙ МЕТОД
Первый метод исследования будет иллюстрирован применением его к определению энергетического спектра на выходе линейного детектора, когда входное напряжение состоит только из одних шумов.
Линейный детектор характеризуется следующими соотноше­ниями:
У) WQ9 V(f)>0, (4.7-1)
которые могут быть получены из (4.2—1), если положить <х=1, а входное напряжение равным
VQ-VnV), (4.7-2)
где Vn(I) — шумовое напряжение, функция корреляции которого есть ф(х), а энергетический спектр w{f).
Функция корреляции Щх) есть среднее значение I(t)I(t+x)9 которое равно среднему значению функции
F(VvVi) = № когда V* >0. (4.7-3)
х 1 ' \0, при всех других Vy 4
где было положено
V1 = Vtf), V2 = Vtf + +
Двумерное распределение для V1 и V2 находится из (3.2—4), откуда следует, что среднее значение функции F(VV V2) есть
+ во +о
(%V\ +%У\-Ц%УУ^, (4.7-4)
2 |Af|
W
— ао — оо
где
|М| = Фо2-е
Для случая линейного детектора, когда F(VljV2) находит­ся из (4.7—3), интеграЛ равен
OO OO
I^rv'ij dv^ ^dV2V1V2 ехр -щщ^+МХ-ЦУм] =
ГЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 213
(Фо — ФЭ*'1 + фх arccos
-Фт
Фб
где ДЛя Вычисления интеграла было использовано (3.5—4). Зна­чение арккосинуса берется в пределах от 0 до тс. Итак, функция корреляции для /(/) равна
= Jr
(фо —ф?)1'*+ фх arccos
— Ф„
(4.7-5)
Отсюда при помощи (4.6—1) может быть получен энергетиче­ский спектр Wtf). С этой целью удобно написать (4.7—5) через гипергеометрическую функцию. Путем разложения и сравнения членов найдем
щх) = 7+_J_. _L. + =
W 4 + 2* Ц 2 ' 2 ' 2 ' ф§ /
Ф?
(4.7-6)
_ Fx
= J7L л.+.л.++ + члены с ф*, ф? и т. д..
4 2и 471+
Как будет более подробно изложено в разделе 4.8, постоян­ный член A2 в ЧГ(т) относится к постоянной составляющей тока /(/) силой в А ампер. Поэтому /(/) имеет постоянную составля­ющую, равную
V8
1
X [эфф. знач. V(t)].
(4.7-7)
2тс
/2тс
Это совпадает с (4.2—3), если положить P равным нулю. Интегралы вида
W(Z)=Jt?
cos 2тс/х dt,
которые получакпгся, если (4:7—6) подставить в (4.6—1) и почлен­но интегрировать, рассматриваются в Приложении 4С. Из при­веденных там результатов видно, что если пренебречь ф£ и выс­шими степенями, то получим следующее приближение для сплош­ного участка Wc(J) спектра W(J):
Wc(f)*= G1(I)++ =
Mf)
1 Ul w(x)wtf —x)dx,
(4.7-8)
4 ' 4тхф0 2 где w(—/) определено как wtf).
214
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Если спектр Vn(I) равномерен в сравнительно узком диапазоне, простирающемся от Ja до Jby так что w(f) равен W0 в этом диапазоне и нулю вне его, то можно воспользоваться полученными в Прило­жении 4С результатами для фильтра с. Приведенные там величины /о и P связаны с Ja и Jb следующим образом:
fa ~ fo I » fb = fo~\ 2 '
а значение W0 такое же, что и в данном случае, и равно Le При­веденное там значение Gz(J) ведет к следующему приближению для низких частот:
WJ ('-O = U1-W ^
КОГДа 0 <f<(fb-fa)> И К Wc(J)^O ДЛЯ (fb-fa)<f<fa.
Положив для кривой Wc(J) (фиг. 8), соответствующей квадра­тичному детектору, P=O, видим, что форма низкочастотного уча­стка спектра представляет собой треугольник, а при /=P спектр равен нулю. Поэтому из (4.7—9) можно придти к заключению, что в первом приближении форма выходного энергетического спектра в случае линейного детектора такова же, что и для квадратичного детектора, если входное напряжение представляет собой шумы в сравнительно узкой полосе частот.
Приближенное эффективное значение низкочастотного выход­ного тока может быть получецо интегрированием (4.7—9)
_ VL
ib = \wc(f)dj^ wM£7fa)=i>
о
откуда
эфф. знач. тока н.ч.^ -т=Х [эфф. внач. приложи напряжения].
У 8те
(4.7—10)
Как видно, этот ток равен половине постоянной составляющей. Следует помнить, что (4.7—10) является приближением, так как мы пренебрегли ф£ и высшими степенями. Точное значение может быть получено из (4.2—8). Тогда коэффициент (8^)-^=0,200 следует заменить на
н
2—7L Ju=о, 209.
Для других типов полосовых фильтров можно найти Wc(J), если из Приложения 4С взять соответствующие значения G. Ока-
ГЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 215
зывается, что (4.7—10) справедливо для всех трех типов фильт­ров. Это частный случай теоремы, упоминаемой несколько раз раньше, которая утверждает, что полная мощность любых комби­национных частот зависит только от полной мощности действующих на входе шумов, но не от их спектрального распределения. Позже в разделе 4.9 будет показано, что член ф? в (4.7—6) соответствует комбинационным частотам n-го порядка.
4.8. МЕТОД ХАРАКТЕРИСТИЧЕСКОЙ ФУНКЦИИ
Как упоминалось раньше, особенно в связи с уравнением {1.4—3), х. ф. случайной переменной х есть среднее значение ехр (шх). Она является функцией и. X. ф. двух случайных пе­ременных х и у есть среднее значение ехр (iux+ivy)t т. е. функ­ция UHV.
X. ф., которой мы будем здесь пользоваться, есть х. ф. двух случайных переменных V(t) и V(t+x)9 где V(t) — напряжение, приложенное к нелинейному устройству. Его случайный харак­тер определяется тем, что / выбирается случайным, а х остается фиксированным. Эту характеристическую функцию можно написать в виде
т
\g(u9v9x) =fHm L f-ехр [iuV(f)+ivV(t+x)] dt. (4.8-1)
1 о J
Если V{t) содержит напряжение шумов Vn(I)9как всегда будет предполагаться в этом разделе, и если используются уравнения (2.8—1) или (2.8—6), то в уравнении (4.8—1) появляется боль­шое число случайных параметров (ап и Ьп или (Dn). В соответ­ствии с применением упомянутых уравнений можно произвести усреднение по этим параметрам без изменения значения (4.8—1) и 1%м самым упростить интегрирование.
Например, положим
V(t)=Vstf) + VN(t), (4.8-2)
где Vs(t) есть некоторое регулярное напряжение, которое может, например, состоять из одной или более синусоидальных состав­ляющих. Подставляя в (4.8—1) и используя соотношение (3.2—7), для характеристической функции Vn(I) и VW(/+t) найдем
gN(u9 v9x) = сред, {ехр \iuVN(t) +ivVN(t + T)J I =
= ехр [ — L (u*+v*)—фх uv] ,
(4.8-3)
216
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
где фх E= ф(т)—функция корреляции напряжения шумов V^(Z). Для х. ф. V(Z) и V(t+x) получим
g(u,v,x) - ехр [—-L (u*+v*) — +uv] X
T
ХДгп L j ехр [*uVsQ + ivVs(t + т )J dt=gN(u9v9x) gs(u,v,x). (4.8-4)
0
В последней строчке g"5(w,d,t) обозначает предел выражения в средней строчке
т
gs(u9 V1 х) = Hm -Ljexp [Zw VsQ + wVs(t + х)] dt. (4.8-5)
о
Основной причиной, по которой удобно пользоваться х. ф., является то, что совсем немногие нелинейные устройства могут быть описаны интегралом
/= L j* F(Iu)ei^du , (4А— 1)
с
где функция f(Zw) и путь интегрирования С выбираются в соответ­ствии с типом нелинейного устройства. Примеры таких устройств даны в Приложении 4А.
Функция корреляции W(x) для /(Z) равна
т
W(x) = Iim -L Г I(t)I(t + x)dt =
T-у оо J
T 0
= limU_ \dtj F(iu)eiaV«4u$F(iv)e»v^ dv=
г-*°° о С с
= L J f (ш) <fw J F(Zd) <fo Hm L J ехр [Zw V(Z) + tvV(t + x)]dt =
CC U
= Lf ^Jf(Zd)£(w, d, т) dv. (4.8-6) с с
Это основная формула метода характеристической функции.
Если V(Z) есть сумма напряжения шумов и регулярного напря­жения, как (4.8—2), то (4.8—6) превращается в
W(x) ^rL Г F(iu)e-W^du \ F(iv)e ~Ы* <ГФГ gs(u9v9x)dv9
" i L f (4.8-7)
ГЛ. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 217
T^cgs(U1V1X) есть х. ф. для Vs(t) и Vs(t+x)f определяемая уравне­нием (4.8—5). Это окончательное выражение для W(т). Все даль­нейшее сводится к вычислению этого интеграла и к нахождению* из уравнения
OO
Wr(Z) = 4 I W(x) cos 2izfxdx (4.6— 1}
энергетического спектра для /.
Весьма часто ток I(I) имеет постоянную и периодические составляющие. Представляется удобным рассматривать послед­ние отдельно, так как они соответствуют тем членам в W(x)y благодаря которым интеграл (4.6—1) для W(J) расходится. Дей­ствительно, из раздела 2.2 следует, что функция корреляции вида
A*+L cos 2тс/0т (2.2—3>
соответствует току
А + CXos (2тсу — се), (2.2—2>
где фазовый угол ср не может быть определен из (2.2—3), так как он не влияет на среднюю мощность.
Рассмотрим функцию корреляции для V(t)=Vs(t)+VN(t). Она равна
Iim JJ \ Vs(t) Vs(t + х) dt + ] Vs(t) VN(t + T)dt +
+ \vN(t)Vs(t+x) dt+J Vn(I)Vn (t + x)dt. (4.8-8> о о
Так как Vs(t) и VN(f) независимы, то второй и третий интегралы исчезают.
В результате
Функция корреляции для V(f) = функция корреляции для
4 VsQ + функция корреляции для VN(t). (4.3—9>
Теперь, когда х—+Co1 функция корреляции для Vn(I) становится равной нулю, а функция корреляции для Vs(f) приобретает приве­денную выше форму (2.2—3). Таким образом, функция корреляции регулярного напряжения Vs(I) может быть найдена из V(I)1 если положить т—►oo и собрать остающиеся члены.
Результаты, полученные для V(I)1 справедливы и для /(/), и такая же процедура может быть Повторена при собираний тех частей W (х) , которые соответствуют постоянной и периодическим составляющим I(I).
218
часть ii. теория флуктуационных шумов
Обращаясь теперь к (4.8—7), видим, что, когда т—► oo, фт —►O, тогда как gs(u, vf т), определяемая уравнением (4.8—5) и соот­ветствующая напряжению Vj(Z), остается, в общем, по величине не­изменной. Это последнее утверждение может показаться не сов­сем очевидным, но исследование ряда случаев позже докажет, что оно справедливо, по крайней мере, для этих случаев. Поэтому, полагая в (4.8—7) фх =0, находим ту часть W(J)f которая соот­ветствует постоянной и периодической составляющим I(t)\
T-W=4SiJ ^)LHzw U(W)I^v2 gs{UiVr)dVi (4.8-10) с с
где. индекс оо показывает, что W00(J) есть та часть W(J), которая не исчезает при т -► оо.
Уравнение (4.8—9) в применении к /(Z) можно написать в виде
Т(т) = Т4т)+ВД\ V 8-11)
тде Wc(J) есть функция корреляции сплошного участка энергети­ческого спектра тока /(Z).
Кстати, если воспользоваться импульсными функциями 8(/) для интерпретации интеграла в (4.8—6), как это изложено в разде­ле 2.2, то можно избежать разделения W(x) на две части в (4.8—11). Этот метод дает надлежащие значения постоянной и синусои­дальной составляющих, если даже (4.6—1) не сходится [вследствие наличия членов, ведущих к 1jrOo(t)]
4.9. ЭНЕРГЕТИЧЕСКИЙ СПЕКТР НА ВЫХОДЕ НЕЛИНЕЙНОГО УСТРОЙСТВА ОБЩЕГО ТИПА
Чтобы иллюстрировать метод характеристической функции, рассмотрим случай нелинейного устройства общего типа, описы­ваемого уравнением
/= L^F(iu)eiVuduf (4А— 1)
с
где V состоит из напряжения шумов плюс синусоидальное напря­жение
V(Z) = Pcospt + VN(t). J4.1-13)
Как обычно, VN(t) имеет энергетический спектр w(f) и функцию кор­реляции ф(т). Ради краткости ф(т) часто записывается в виде + Сравнивая (4.1—13) с (4.8—2), найдем
Vj(Z) = PcospZ. (4.9—1)
Гл. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 21 9
Первой задачей является вычисление характеристической функ­ции gs(uf v1 х) для двух случайных переменных Vs(t) и Vs(t+*). Это можно сделать, пользуясь интегралом (4.8—5):
т
gs (u1v1j) = Iim Tp f ехр [iuP cos pt + IvP cos p(t + j)] dt =
Г-oe 1 g
= J0(PVи* + v* + 2uv cos рт ) , (4.9—2)
где J0 — функция Бесселя. Интегрирование выполнено при помощи следующей подстановки:
и cos pt + v cos p(t + т) = (и + V cos рт) cos pt — v sin рт sin pt = = уХ2 + d2+ 2wd cospT cos (pt + фазов. угол), и пользуясь соотношением
2*
О
Характеристическая функция для (4.1—13) была найдена в разделе 3.10.
Функция корреляции W(J) для I(t) теперь может быть получена путем подстановки найденных выше выражений в (4.8—7)
= №}dU J dV Х
'с с
X C^uv J0 (pyu* + v*+2uvcospx) • (4.9—3)
W00(J) — функция корреляции для постоянной и периодической составляющих / согласно (4.8—10) определяется из этого урав­нения, если положить ф(т) = 0.
а Если надо рассмотреть какой-либо частный случай нелиней­ного устройства, то соответствующая функция F(iu) может быть найдена в Приложении 4А. Так, например, F(iu) для линейного детектора есть — и~2. Подстановка этого значения в (4.9—3) приводит к некоторому двойному интегралу. Если бы существовал какой-либо легкий способ вычисления этого интеграла, то тогда все было бы решено. К сожалению, до сих пор не найдено простого метода вычисления.
Здесь может быть применен один способ, близко связанный € прямым методом. Он основан на разложении
gs(u> v> т) = Jo{PV"2 + с2 + 2uv cos рх ) =
X= £ еп(-Г Jn(Pu)Jn(Pv)Cosnpx; (4.9-4)
220
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Это разложение дает возможность написать те члены в (4.9—3), которые, собственно, создают трудности, в виде
е ~^ии J0 (РУи* + d2 + 2uv cos рх) = = SS (->Л + * ^osnpx Jn(Pu)Jn(Pv). (4.9-5)
Преимуществом применения двойной суммы является упроще­ние интегрирования. Подставляя ее в (4.9—3) и полагая
[П+k г»
Hnk = -^r F(Iu) ир Jn(Pu)e ~ (w2)»2 du, (4.9-6) с
получаем
4 оо оо
л-О A=O
Функцию корреляции W00(x) для постоянной и периодической составляющих / найдем, полагая х—► оо и фх ->0. Остаются только те члены, для которых £=0:
1M*)= S ^h20 cosпрх. (4.9-8)
л=0
Сравнивая это с известным уже результатом, а именно, что для А + С cos (2xzf0t — (f), (2.2—2)
функция корреляции равна
А* + L2 cos 2тс/0т, (2.2—3)
и помня, что S0=I' а еп — 2 для п>1> получим
Амплитуда постоянной составляющей тока I=h00,
Амплитуда-^--ой составляющей тока I=hn0. (4^ ^
Кстати, эти выражения для амплитуд почти сразу получаются при прямом методе решения, что будет показано в связи с урав­нением (4.9—17).
Так как функция корреляции Wc(x) для сплошного участка Wc(J) энергетического спектра тока / определяется как
Wc(x) = W(x)-Wo0(x)f (4.8-11) то также получаем
ВД=Ё SiFUL3„cosnpx. (4.9-10)
л=0 A=I
Гл. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 22 1
Если это подставить в уравнение
Wc(f) = 4 \ Wc(x) cos2tc/t dx, (4.9-11)
b
то получим
^(0=2 Sl5 *Ц +Gj(f иЩ , (4.9-12)
где
OO
Gk(J) = J <|4 cos 2тс/х dx (4.9-13)
о
есть функция, исследованная в Приложении 4С и являющаяся четной функцией /. Двойной ряд (4.9—12) для IVc выглядит доволь­но сложным. Однако если представляет интерес только какой-то определенный участок частотного спектра, то часто достаточно учесть лишь небольшое число членов ряда.
Выше упоминалось, что прямой метод нахождения выходного энергетического спектра тесно связан с только что выведенными выражениями. Исследуем теперь эту связь.
Начнем со следующего вывода теории комбинационных тонов. Пусть к нелинейному устройству типа (4А—I) подведено напря­жение
V=P0 COStf0+/5!COS*!+ . . . +Pn COSXn]
Xk=Pkt1 k = 0, 1,..., N1 (4.9-14)
где pk некратны друг другу. Выходной ток равен
OO QO
I-Y"' E ТАт0...
TTi0=Q TTipj =O
... sm^cos т0 X0Cos tu1X1... cos TunXn , (4.9—15)
где е0 = 1, а при 1 em = 2. Если произведение косинусов предста­вить в виде суммы косинусов углов tu0x^m1x1... +TunXn> то видно, что коэффициент при типичном члене есть ЛОТо...т^, за исключе­нием случая, когда все т равны нулю. Тогда этот коэффициент равен уЛ0...0. Поэтому
A0...о—постоянная составляющая тока /, \А1По...тм \ —амплитуда составляющей частоты
-¾-1 ЩР0±т1р1 ± . .. ±mN Pn | . (4.9—16)
222
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Для всех значений т
Am^... ж = +г\ F(Iu) П Jrrtr(PrU) du,
{ '=° (4.9-17) M=Tti0J-Tn1+ ... +mN. Заменим (4.9—14) на
V=PcospZ+^, (4.1—13)
полагая P0=Pf P0=р и представляя напряжение шумов Vn в виде суммы остальных членов. Так как при этом P1,...Pn будут весьма малыми, то способ Лапласа показывает, что в (4.9—17) можно положить
П WOWxp [- + {Pl+ ... +Р\) }ъе~*~ (4.9-18)
Здесь было использовано то обстоятельство, что ф0 есть сред­ний квадрат напряжения Vn. Из этих уравнений следует:
—
Постоянная составляющая / = -j^-J F(iu)J0(Pu)e 2 duf
С - Ьи1
Эти результаты идентичны с (4.9—9).
Выведенные уравнения показывают, что hn0 должно быть свя­зано с п-й гармоникой р. Подобным же образом можно доказать, что hnk должно быть связано с комбинационными тонами создава­емыми п-й гармоникой частоты р и k элементарными синусоидаль­ными составляющими напряжения Vn. Рассмотрим только комби­нации типа Piip2 ±Рз> взяв для примера £=3 и пренебрегая чле­нами типа Зрх и 2рх+р2. Комбинации первого из упомянутых вы­ше типов значительно более многочисленны, а именно: число таких членов порядка N39 тогда как число членов последних двух типов соответственно N и N2.
Итак, примем £=3 и mlf m2l т3=19 а m4,..., mN=0 в соответствии с комбинационными частотами вида пр^рх+р2+р3. Пользуясь приближениями, найдем
/Л+ 8 р р р P ~ Ф*И>
я, 1.1,1,0,0, ...,о =~Т~ ' 8 3 \F(iu)Jn(Pu)u3 е 2 du =
с
Fi F2 P3 # =—4-nnS-
Если рассматривается какая-либо другая комбинационная ча­стота типа пр JzpTxJzpr% JcPrt, то получается подобное же выражение,
Гл. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 223
в котором P1 P2 P3 заменено на PriPrtPr,. Это может быть сделано для любого значения £. Полученный результат показывает, что Itnk и, следовательно, также (п,£)-ые члены в двойных рядах (4.9—10) и (4.9—12) для Wc(x) и Wc(J) должны быть связаны с комбинационными частотами порядка (п,£), где п относится к сигналу, а £ — к составляющим шумов.
Теперь можно сформулировать теорему относительно полной мощности, связанной с комбинационными частотами данного порядка. Для выбранного нелинейного устройства (т. е. когда F(iu) задано) полная мощность, которая рассеивается всеми комбинационными частотами порядка (п,£), если ток / протекает через сопротивление 1 ом9 равняется
Vnk(V) =--rink =-J-. (4.9—19)
Существенной особенностью этого выражения является то, что оно зависит только от эффективного значения напряжения Vn и от функции F(iu) и вовсе не зависит от спектрального распределе­ния шумов на входе.
Доказательство (4.9—19) основано на соотношении
Wnk(O)= j wnk(f) df
о
между полной мощностью всех комбинационных частот порядка (n9k) и соответствующей функцией корреляции, найденной из (4.9-7).
Эта теорема была применена Миддльтоном для доказательства юго, что если входное напряжение ограничено относительно узкой полосой частот, так что выходной спектр состоит из ряда полос, то мощность в каждой полосе частот зависит только от Vff у но не от спектра Vn-
4.10. НЕКОТОРЫЕ РЕЗУЛЬТАТЫ, ПОЛУЧЕННЫЕ МЕТОДОМ ФУНКЦИИ КОРРЕЛЯЦИИ
В этом разделе приводится ряд выводов, которые могут быть получены из теории, изложенной в разделах, следующих за 4'.6.
Если напряжение на входе квадратичного детектора, описы­ваемого уравнением
I=OiV29 (4.1—1)
состоит только из одних шумов, так что V= Vn, то функция корре­ляции для тока / равна
Т(т)=а»(ф8+2ф|), (4.10-1)
224
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
где фх есть функция корреляции для Vn- Сравним (4.10—1) с уравнением (3.9—7). Если V взять в общем виде, то
W(x) = I(t) I(t + х) = сс2 V2(Z) V2(t+x) =
--**Х
Ни)2 (iv)2
коэфф. при v2!7 -4^— в разложении в степенной ряд
характеристической функции для V(Z), V(Z+x)
(4. 10—2)
где было использовано известное свойство характеристической функции. Выражение для х. ф., обозначенной g(u,v,x)f дается уравнением (4.8—4). Например, если напряжение V состоит из синусоидального напряжения и шумов (4.1 —13), то характери­стическая функция находится из (4.8—3) и (4.9—2). Следовательно:
коэфф. при —v— в разложении выражения
4_ г , Л =
a2J0{PVu2+v*+2uv cos рх ) ехр I-Jy (и2 + d2) — фхш? J
= а2 + фо J + Ц cos2px + 2Р2фх cos рх + 2фх2]. (4.10—3)
Первые два члена дают постоянную составляющую и вторую гар­монику. Последними двумя членами можно воспользоваться для вычисления сплошного участка энергетического спектра по урав­нению (4.5—13).
В качестве примера приложения теории раздела 4.9 рассмотрим случай, когда синусоидальное напряжение вместе с напряжениями шумов (4.1—13) подается на вход детектора со следующей характеристикой:
7=о. v<o,
I=V-, v>o. K'lv '
В таблице Приложения 4А находим
F(iu) = r(v+l)(ra)"-1-
Путь интегрирования С проходит вдоль вещественной оси от —оо до +оо, отступая книзу у начала координат. Тогда интеграл (4.9—6) для hnk приобретет вид *
hnk = -
+*-,-1 р -V
— r(v + l)J и*—» Jn(Pu)e 2 du =
2ic
Гл. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 225
P2
где х = -щ+ интегрирование выполнено путем разложения Jn(Pu) по степеням и и использования соотношения
J е~аи2 U21-1Ciu = ier**« а~Нт Xiu Г(Х) =
/ «Л (4.10-6)
2V / а Г(1-Х)
Здесь подразумевается, что arg w=0 в положительной части С.
Согласно (4.9—9), постоянная составляющая / дается урав­нением
Л°° = 2Г
Фи)
\Т) Н- — '1'-х) (4.10-7)
которое сводится к (4.2—3), когда v=l для линейного детектора (за исключением коэффициента а).
Если входное напряжение (синусоидальное напряжение и шумы) ограничено относительно узкой полосой частот, а нас интересует низкочастотное выходное напряжение, то следует рассмотреть раз­ностные комбинационные тона, соответствующие комбинационным
частотам порядка (0,0), (0,2), (0,4),..... (1,1),(1,3),..., (2,0),(2,2)...
и т. д., где типичные частоты имеют порядок (nfk). Члены порядка (0,0) и (2,0) дают постоянную составляющую и вторую гармонику и, следовательно, не учитываются при вычислении Wc(f). Из остав­шихся членов наибольшее значение в рядах (4.9—12) и (4.9—10) для 1VC(/) и 1PcOc) имеют либо (0,2), либо (1,1). Другие члены имеют все меньшее значение по мере возрастания пик. Тогда низкоча­стотная часть сплошного участка выходного энергетического спект­ра по (4.9—12) равна
Wcif) = 4г ^o22G2(Z) + L-Ao24 G4(Z) + • • • +
+L-A^G1(Z-Z0)+ G1Q+ Z0)]+ 4rh?s[G3(f-Z0)+ (4.Ю-8)
+ G3Q + /о)] +4\hL W ~2fo) + G*(f + 2/o)l + • • •
Из табл. 2 в Приложении 4С можно определить низкочастотные части функций G. Следует помнить, что Gm(x) есть четная функция х и что 0</«/0.
3 качестве примера пусть напряжение входных шумов Vn имеет такие же w(f) и ф(х), что и в случае фильтра а (фильтр
15 Теория передачи сигналов
226
ЧАСТЬ И. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
с вероятностной характеристикой) в Приложении 4С, так что W® =-Me-"-'^
ау 2те
Допустим, что частота синусоидального сигнала лежит в середине полосы частот, т. е. р=2тс/0. Поэтому из (4.10—8) в случае рас­пределения входных шумов, следующего нормальному закону, для участка низких частот найдем:
we(f) = * *л Го +Tj7= d п е-+
4ау те 64зу 2те
, 2 , 2 , -/2/2а2 , 1 ,2,3 —/2/6а2 .
W A22 H е"//4;2 + • • • • (4.10-9)
4а/ те
Хотя здесь рассматривался детектор с характеристикой степени- v, уравнение (4.10—9) дает низкочастотный участок спектра IVc(Z), соответствующий шумам, подчиняющимся нормаль­ному закону, для любого нелинейного устройства, если только в уравнение подставлены надлежащие hnk.
Частный случай уравнения (4.10—9) возникает тогда, когда на линейный детектор подаются одни шумы. Низкочастотный участок выходного энергетического спектра
те — ^ т\т\ 4/пте
_ фоте"8/» Г_1_ /W .__L_ . (4.10- 10)
~~ 2а 1 4 е +64/2 6 +
• 1 >г-/2/12
256/3"
где были применены уравнение (4.7—6) и табл. 2 из Приложения 4С. Функция корреляции для "
Vs = P cos pt + Q cos qtt
где р и q — некратные величины, есть
J0(PYu* + d* + 2uv cos рт) JoiQVи* + V2 + 2uv cos qx).
*) См. примечание на стр. 167. (Прим. ред.)
Гл. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 227
Из уравнений (4.9—16) и (4.9—17) немедленно следует, что
Aooo = ^rJ F(iu) J0(Pu) J0(Qu) е-{а%12)Ь du (АЛ 0-1 \у
с
есть постоянная составляющая тока /, если приложенное напря­жение равно
P cos pt+ Q cos qt + Vn . (А. 1 —4)
Рагадзини получил приближенное выражение для выходного энергетического спектра, когда напряжение
V = Vs + vMy (4 ]0—\2\
Vs = Q(l + г cos pt) cos qt ш 1 '
подведено к линейноми детектору1). В наших обозначениях его выражение для сглошного участка энергетического спектра (для области низиих частот)
^c(Z) — nia*(Q*+2tyo) Х
Wc(J) по уравнению (4.5—16) для квадратичного детектора
(4. 0-13)
В знаменателе подставлено а2, чтобы сократить а2 в выражении (4.5—16). Для линейного детектора было положено
>+\ IS: <*л°-ч>
и4индекс модуляции k в (4.5—16) заменен на г.
Формула Рагадзини совершенно точна, если индекс модуляции г мал, особенно когда y=Q2/(2ty0) велико. Чтобы доказать это, поло­жим в (4.10—13) г=0; тогда
™ = *'(Q*Uo) [Q2 W{f« ~f) + Q2 W«o + f) +
+ oo (4.Ю-15)
-f- j w(x)w(f — x)dx
где fq=ql2iz. Это выражение нужно сравнить с низкочастотной частью Wc(F) из уравнения (4. IO—8) для частного случая линей­ного детектора, на входе которого действуют синусоидальное напряжение и шумы. Основные члены в (4. IO—8) дают
Wctf) = Aj41 Iwtf f)+wtfq + f)] +
+ OO
+ £02^- j wW w(f — x)dx-
(4.Ю-16)
1JCm. уравнение (12) в статье «Действие флуктуационных напряжений на линейный детектор», PIREt 30, 277—288, июнь 1942.
228
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Значения А, соответствующие линейному детектору, полу­чаются, если положить в (4.10—5) v=l, помня, что Q теперь играет роль Р:
М = Щ~У"++;2;-у) Ao2 = (2*<l>0r'Vi(4-; U-у)
(4.10—17)
У~ 2+
Кстати, первое приближение для выходного эффекта линейного детектора, даваемое уравнением (4.10—16), интересно само по себе. На фиг. 9 показан низкочастотный участок Wc(f), вычислен-
WjfJ
2с
Вход сигнал
Вход, шумы
W0 I
ii_t—
I
П Р/2 P
Частота
-P •
Фиг. 9. Низкочастотный участок спектра на выходе линейного детектора.
UM-SH
Постоянная составляющая на выходе=РЛи+рге/0Ло1«
ный по уравнению (4.10—16) для случая, когда шумы на входе равномерно распределены в узкой полосе частот шириной (3, а Jp — средняя частота этой полосы частот. A11 и A02 можно определить «з кривых фиг. 10. На фиг. 9 и графиках фиг. 10 P и х заменяют Qhz/, входящие в (4.10—17), чтобы сохранить те же обозначения, что и на фиг. 8 для квадратичного детектору
Для сравнения полезны следующие значения:
когда х =0 Au=O
когда х велико
(4.10—18)
те 1
TzQm
А02 = (2тсф0)",/- Ao2 =
Гл. IV. ПРОХОЖД. СИГНАЛА И ШУМОВ ЧЕРЕЗ НЕЛИНЕЙНЫЕ УСТРОЙСТВА 229
Значения для больших х найдены из асимптотического разложения (4В—3) в Приложении 4В.
Первое сравнение между (4.10—15) и (4.10—16) произведем,, полагая Q -+оо. Тогда оба выражения приводятся к
wc(f) = Hfg -f) + wQq + f) 1 (4.10-19)
Q|-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1
0 0,5' 1,0 1,5 2,0 2,5 3.0 3,5 kfl
у Cpeg. мощность синусоиды _ P2 л " Сред, мощность шумов ~ 2Pw0
Фиг. 10. Коэффициенты для расчета выходного эффек­та линейного детектора согласно фиг. 9.
A»iVw(7* 4
что показывает, что в этом случае имеет место полное совпадение. Пусть теперь Q=O. Тогда оба уравнения дают
+ OO
-Wctf) = +^ojw(x)wtf-x)dx,
— оо
где A=Tz для формулы Рагадзини и A=A для (4.10—16). Поэтому результаты вычислений все еще вполне хорошо согласуются. Предельное значение (4.10—16) может быть также получено из (4.7-8).
Даже если индекс модуляции г и не совсем мал, то можно пока­зать, что, когда Q->oo , Wc(J) все еще достигает значений, определяе­мых уравнением (4.10—19). Формула Рагадзини дает несколько больший результат, так как она включает дополнительные члены, показанные в (4.5—17), которые содержат £2/4, но эта разница не кажется серьезной. Если Q2+2^0 в знаменателе (4.10—13) заме­нить на Q2+ —Q2£2+2^0, то согласие между формулами улучшается.
230
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Приложение 4А Таблица нелинейных устройств, описываемых интегралами
Многие нелинейные устройства могут быть описаны интегралами
вида
i=L^F{lu)eivudUf (4А_1}
С
где функция F(Zw) и путь интегрирования С выбираются в соответ­ствии с нелинейным устройством. В таблице даны примеры подоб­ных устройств. Некоторые важные случаи не могут быть представ­лены в. такой форме. Примером является ограничитель с характе­ристикой
I=—aDt V< — Dt
I=oVf _D<V<D,
I=aDt D<V, (4А-2)
для которого можно написать
•о
I=L fsin VwsinDw-L- =
tz J u2
0
п , 2ct f IVu . du
= -а° + Ще sinDu W9 (4А-3) с
где С простирается от —оо до +оо и отступает книзу у начала коор­динат. Эта форма ийтеграла отличается от рассматриваемой в главе IV. Однако, кажется, не представит трудностей распростра­нение теории на частный случай ограничителя.
НЕЛИНЕЙНЫЕ УСТРОЙСТВА, ОПИСЫВАЕМЫЕ ИНТЕГРАЛАМИ
с
I
F(iu)
С
Тип устройства
I = o-Vn1 п—целое
оп\ (iu)n+i
Положительный контур вокруг W = O
Устройство с ха­рактеристикой п-й степени
/ = а(У—В)п, п—целое
ал! e-iuB
(iu)n+i
Положительный контур вокруг w = 0
Устройство с ха­рактеристикой я-й степени со смеще­нием
ПРИЛОЖЕНИЯ
231
Продолжение
I
F(iu)
C
Тип устройства
1 = 0, V<0 / = aV, 0<V
а а (ш)2 ~~ U2
Вещественная и
ОСЬ ОТ — оо ДО + оо
с отступлением книзу у W = O
Линейный де­тектор; точка среза при V=O
1 =KJ1 V <£>
I = a(V—ВУ ,
v—любое поло­жит, число
«Т/41 I А \
»
Детектор с характеристикой v-й степени со сме­щением
/ = 0, V<0 I = OVt 0<V<D I = aDt D<V
(iw)2
»
Линейный де­тектор плюс ог­раничитель
/ = 0, V<0 /=cp(V), V>0 i
F{p) = ]e-pt4{t)dt
0
Приложение 4В
Функция XFX (а\ с; х)
В вопросах, связанных с прохождением через нелинейные устройства синусоидальных колебаний вместе с шумами, появляет­ся гипергеометрическая функция
л (°; с; 2) = 1+ ^n + +fif-2r+... (4B-D
Здесь будут изложены некоторые ее свойства, используемые в главе IV. Кривые фЦа; с; z) даны для а=—4;—3,5...; 3,5; 4,0 и с=—1,5; —0,5; +0,5; 1; 1,5; 2; 3; 4 в книге Янке и Эмде «Табли­цы функций»1). Приведен также список свойств этой функции и другие ссылки.
Если с не является отрицательным целым числом или нулем,
то
,FKa; с; г)=е\Рг(с-а; с;-г). (4В-2)
^Cm. Янке и Эмде, «Таблицы функций», Гостехиздат, 373, 1948.
232
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Когда Re(z) > 0, то справедливы асимптотические разложения
Ct Z) — V{a)zc-a у i Jj^--+
(1_а) (2 — g) (с —g) (с —fl+1) I
2! z2 "1^ * ' •J'
q(q+l) (1+fl — g) (2 + g — c) , ] U- 2, 22 -Г • • .J-
Многие из гипергеометрических функций, с которыми прихо­дится сталкиваться, могут быть выражены через функции Бесселя первого рода мнимого аргумента. Эта связь может быть установлена при помощи соотношения1)
IF1 (v + -L 2v + 1; z) = 22V; г<* + D * -*Wv (-f) (4В-4)
вместе с рекуррентными соотношениями
Fa +
Fa-
Fc +
Fc-
F
1.
а
(а — с)
с —2а — z
2.
ас
(с — а)г
— c(a + z)
3.
а
\—с
с — а—1
4.
— с
— Z
с
5.
а — с
с — \
1—а —z
6.
(C-Q)Z
C(C-I)
C(I-C-Z)
Например, первое рекуррентное соотношение получается из первой строчки в следующем виде:
aF(a+l; с; z) + (a — c)F(a — \\ с; z) +
+ (с —2а — z) F(a\ с; z) =0. (4В—5)
Эти шесть соотношений между смежными iFi функциями ана­логичны 15 соотношениям, полученным для смежных 2FX гипер­геометрических функций, и могут быть выведены из последних при помощи соотношения
(а; с; г)== Iim %Fxfa\ b; с;L j (4В—6)
Рекуррентное соотношение, вводящее две функции фх типа (4В—4), можно получить, заменяя в соотношении, даваемом четвер-
*) Г. Н. В а т с о н, «Теория бесселевых^функций», ГИИЛ, 1949.
ПРИЛОЖЕНИЯ
233
той строчкой таблицы, а на а+1, а затем устраняя фЦа+Х; с\ г) из этого соотношения, а также из полученного с помощью третьей строчки таблицы. Это дает
!F1 (а; с; z) = (а; с — 1; z) + + +(¾" F(a+Uc + l;i). (4В_7)
Полагая v равным нулю и единице в (4В—4) Ha=J, с= 2 в (4В—7), получим
xFi(+,r,z)=e*i40(-f\,
(4В—8)
Л 2; г) = е*/2
2 , Д 2
Соотношения в приведенной таблице позволяют найти выраже­ния для J1 {п+L т. ^ Где п и m— целые числа. В частности, вос­пользовавшись (4В—2), получим
л(—4 1;(1+^/.(4) + +4)} (4В-9)
Приложение 4С1 Энергетический спектр, соответствующий фх Весьма часто встречается интеграл
во
Gn(f) = j [ф<*)]я cos 2тс/т dt, (4С_,}
о
где ф(т) есть функция корреляции, соответствующая энергетиче­скому спектру w(f). Из основного соотношения между w(f) и ф(т) согласно уравнению (2.1—5)
G1(Z) = -4-. (4С—2)
Выражение для спектра произведения двух функций позволяет представить Gn(J) через oy(Z). Будем пользоваться следующей фор­мой этого выражения. Пусть Fr(J) будет спектром функции <?,(+ так что
+ 00
у At) Hdf,
г = \,2,
234
часть ii. теория флуктуационных шумов
+ 00
-2ш/т
W(Z)= j<P,We -™"dx.
- OO
Тогда
+ 00 +00
J «PiW «P2W е dx = J F1(X) F2(f - х) dx, (4С-3)
— OO -OO
т. е. спектр произведения <Pi(x)<p2(x) есть интеграл, написанный справа.
Если <рi(t) и <р2(х) — вещественные четные функции т, то (4С—3) можно написать в виде
OO +00
J «PiW «PzW cos 2ф di = J- J F1(X) FJf — х) dx. (4С—4)
О —оо
Чтобы получить G2(Z), положим (I1(X) и ср2(т) равными ф(т). Тогда можно воспользоваться (4С—4), так как ф(т) есть четная вещественная функция х. Если wr(x) есть четная вещественная функция т, то из формулы интеграла Фурье для Fr(Z) следует, что Fr(Z) должно быть четной вещественной функцией f. Поэтому положим
2W(Z) = OJZ), г =1,2 и определим спектр w(f) для отрицательных Z как
w(-f) = ш(/). (4С-5) Тогда уравнение (4С—4) дает
+ оо
G2(Z) = J- j4(x)te((f - х) dx =
-OO
оо OO
= 4" J w(x)w{J — х) dx + L ^w(x)w(f + х) dxt (4С—6)
о о
где во втором уравнении появляются только положительные зна­чения аргумента w(f).
Чтобы определить G3(Z), положим ср4(х) = ф(х), 2^х(/) = a;(Z) и <?2(т) = ф2(т). Тогда
OO
Fa(Z) = 2 |<р2(т) cos 2ф dx = 2G2(f)
ПРИЛОЖЕНИЯ
235
и из (4С—4) получим
+ со
G8W = 4 J - *)dx=
— оо
Lj dx j
w(y)w(f — у) dy.
(4C-7)
Уравнение (4C—7) наводит на мысль, что выражение для G2(Z) можно написать в виде
GJ/)
+ Oo
1 Г
(X)Gitf-x)dx.
(4С-8)
То, что это справедливо, видно из (4С—2) и (4С—6). В результате ■оказывается, что уравнение
+ OO
Gn(Z) = W(J-X)Ga-I (х)dx (4с_9)
может быть использовано для поэтапного вычисления Gn(f).
Рассмотрим теперь Gn(J) для случая полосовых фильтров с относительно узкой полосой пропускания. В качестве примера возьмем фильтры, характеристики которых дают следующие значе­ния w(f) и ф(т).
Таблица 1
Фильтр
w(f) для/>0
Фо -(/-А)а/2оа
-----е
ф0е-Sdeox^cos 27_7оХ ф0е"2тев1х| cos2*/0 т
0/211
1
__Фо «____
«2+(/-/о)2
('•
Sin тейт Фо cos 2те/0т
^ (/)=0 для остальных частот
Эти фильтры будем называть соответственно фильтр а, фильтр b и фильтр с. Во всех фильтрах Zo — средняя частота полосы
236
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
пропускания. Постоянные выбраны так, что когда приложено напряжение, занимающее широкую полосу частот, все фильтры пропускают одну и ту же среднюю мощность
причем предполагается, что /0^> а, /0^> а, /0^> р, так что полосы пропускания сравнительно узки.
Выражения для Gn(J)f соответствующие нескольким значениям Uf приведены в табл. 2. Когда Yi=X1G1(J) просто равно +/)/4. G2(J) получается, полагая п=2 в (4С—1) для Gn(J)f возводя в квадрат ф(т), взятое из табл. 1, и пользуясь соотношением
cos2 2тс/0т = — + — cos 4тс/0х.
Выражение для G2(J) в табл. 2, относящееся к фильтру с, яв­ляется точным. Выражения для случая фильтров а и Ь дают хо­рошее приближение вблизи /=O и /=2/0, когда G2(J) велико. Од­нако они не являются точными, так как отброшены члены, со­держащие /+2/0. Как следует из таблицы, все функции G2 в рас­сматриваемых трех случаях ведут себя одинаково. Каждая функ­ция имеет пик, симметричный вокруг 2/0, ширина которого в два раза больше, чем ширина пика в спектре +/); затем между О и 2/0 функция равна почти нулю, а при нуле создает опять пик, высота которого в два раза превышает пик при 2/0.
G3(Z) получается путем возведения в куб взятых из табл. 1 значений ф(т), используя соотношение
COSi
2тс/0т = ~ COS 2т:J0X + -L COS 6тс/0т.
Рассматривая, каким образом в (4С—1) косинусоидальные члены комбинируются с cos 2тс/т, приходим к заключению, что для полосовых фильтров с относительно узкой полосой G3(Z) имеет пики при /о и 3/0, причем первый пик в три раза больше второго. Вы­ражения для G3(Z) и G4(Z) являются приближенными в том же самом смысле, что и выражения для G2(J). Можно заметить, что коэффи­циенты внутри скобок для фильтров а и Ь есть -биноминальные коэффициенты для рассматриваемых значений п. Поэтому для п=2 они равны 2 и 1, для п=3 они равны 3 и 1 и для п=4 они равны 6, 4 и 1.
Функции Gn(J) более высоких порядков для фильтров а и Ь могут быть вычислены подобным же образом. Встречающиеся интегралы равны
Таблица 2
Фильтр а
Фильтр Ь
G1U)
т° е- (/ - Л)W 4а/" 2те
aTo 1
4те о* +U-U)2
GM)
.1.2
-Z07= [2е-/ /4°Ч* -G-2/c)V4.'j 8а/ 4те
9-,1, 9 г о 1 1
2aYo2 \ 2 1 8те Ua2 + /2 + 4a2+(/ —2/0)2 J
G3(Z)
.1.3
*Ь [Зе - (Z - /o)J/6^3 + е - (/ - 3/0)U6^j 16а/" бтс
Зафз г з 11 т l9a*+(Z-/o)2+9«'+(Z-3/0)2 J
G4(Z)
,1,4
/U.1,4 Tfi 4. 11 4aYn Ь, 4 , 1
™ [6б ~ F'8*3 + 4б " ^ - г/оГ/во» + е - (/ - 4/с)2/8а*]
32а/ 8гс
32те 116а2 + /2 + 16а2 + (/ — 2/0)2 ~Пба2 + (/ — 4/0)2J
Gn(Z)
n—нечетное / — мала
0
0
Gn(Z)
п — четное / — мала
<|/0ял! 1 1
(пЛ(1)12" 2я+1™«1 + Ш* (2 / V2 I \па)
OnU)
п — четное п — велико / — мала
-J- ,-/3^a' ZtzqH
Фильтр с O1U)
|. когда (/+_)</< (/o + L) 0 при др. частотах
Фильтр с G2(Z)
U(l-U), когда 0</<р J|(Z-2Zo+P), (2Z.-P)<Z<2/0 jji (2/,+ [)-/), 2/0</<(2/0 + р)
238
ЧАСТЬ II. ТЕОРИЯ ФЛУКТУАЦИОННЫХ ШУМОВ
Y
cos 2ф dz = ^
2те /г2а2+/2
О
Во многих примерах представляли интерес только значения Gn{f) для / вблизи нуля, т. е. только тот пик, который образуется вблизи нуля. Очевидно, что Gn(J) имеет подобный пик только тогда, когда п — четное; этот пик образуется благодаря наличию постоянного члена в разложении
COS^X
= ~2k^\ cos2£# +2kcos 2(k — \)х +■
+
(2^)(2^—1) 2!
cos 2(£— 2)х +
(2*)!
COS
2x + i-2A>il
ЧАСТЬ IH
ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
Глава I
ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ» В ТЕОРИИ ПЕРЕДАЧИ СИГНАЛОВ i)
Ф. ВУДВОРД и и. дэвис
Теория получения данных подчеркивает значение относитель­ных вероятностей возможных «сообщений», вычисленных перед и после приемЗ сигнала. Эти последние вероятности объединяют все данные, несомые принятым сигналом, и могут быть вычислены из него при помощи «обратной вероятности». В принципе это вы­числение может быть выполнено электронными устройствами в самом приемнике/Гаюш образом получаем определение оптималь­ного устройств^для извлечения всех сведений, остающихся в сиг­нале, на который воздействовали шумы. Указания на то, как эта теория может быть применена к задачам радиолокации и связи, даются в последнем параграфе работы.
1. «ОБРАТНАЯ ВЕРОЯТНОСТЬ» И ПЕРЕДАЧА СООБЩЕНИЙ
Любое пригодное к передаче сообщение является результатом выбора из множества возможных сообщений, которые могут быть либо дискретными, либо непрерывно переходить одно в дру­гое. В теории передачи сообщений состояние знания перед прие­мом сигнала может быть описано указанием вероятности появле­ния каждого сообщения. После приема сигнала можно надеяться, что из всей группы возможных сообщений будет выделено неко­торое определенное сообщение. Другими словами, его априорная вероятность заменяется на апостериорную вероятность, равную единице.
Благодаря искажениям за счет помех принятый сигнал не всег­да будет с полной достоверностью указывать переданное сообщение. Поэтому апостериорная вероятность не будет полностью сконцент­рирована на одном сообщении, а будет распределена между несколь-
1JPh. М. Woodward and I. L. Davies, «Information Theory and Inverse Probability in Telecommunication», Proc of the IEEt part III, 99, Jfc 58, 37—44, March 1952.
240 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
кими сообщениями. Следовательно, в общем случае полная ве­роятность, равная единице, распределяется- между сообщениями после приема сигнала иным способом, нежели перед приемом.
В этом заключается одна из существенных особенностей теории передачи электрических сигналов. Интуитивно мы полагаем, что увеличение вероятности истинного сообщения соответствует возрастанию количества данных. Прежде чем окажется возможным сформулировать это более точно, необходимо рассмотреть сами априорные и апостериорные распределения вероятностей, что немедленно приводит к принципу «обратной вероятности».
Наилучшим способом изложения этой теоремы является рас­смотрение простого примера.
Допустим, что для передачи одного из двух сообщений, «да» и «нет», используется простая телеграфная система и что сообще­ния передаются двумя различными сигналами, отмечаемыми в приемнике зажиганием зеленой и красной ламп. Допустим далее, что в большом числе случаев, когда передается сообщение, помехи превращают определенную часть «красных» сигналов в «зеленые» и наоборот. Ради общности положим, что эти части различных, скажем, 2/5 «зеленых» сигналов становятся «красными» и V3 «крас­ных» становятся «зелеными». Наконец, допустим, что среди пере­даваемых сообщений «да» и «нет» встречаются в отношении 5:3.
Тогда все имеющиеся сведения могут быть схематически записа­ны в виде табл. 1.
Sfc»- < Таблица 1
Да
Да
Да
Да
Да
Нет
Нет
Зеленый
Зеленый
Зеленый
Красный
^ Красный
Красный
Красный
Нет Зеленый
Эта таблица представляет просто перечисление всех равно-возможных случаев, причем в верхней строке записаны передава­емые сообщения, а в нижней — соответствующие принятые пока­зания. Таблица позволяет определить любые необходимые ве­роятности, например одна верхняя строка дает априорное распре­деление вероятностей
р (да) =V8, р (нет) =V8.
Однако, если появился «зеленый» сигнал, надо выбирать только из тех возможностей, которые соответствуют «зелёному» во второй строке. Среди них 3 из 4 соответствуют «да» и, следовательно, апостериорная вероятность для «да», когда принят «зеленый» сигнал, равна V4- Это и есть применение «обратной вероятности».
Формально теорема устанавливается следующим образом. Пусть х — передаваемое сообщение, а у — принятое показание. Тогда по теореме об умножении вероятностей вероятность совмещения
ГЛ. I. ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ»
241
р (Xi у), т.е. вероятность совместного появления значения х и зна­чения у9 равна
Р(х, У) = р{х)Рх(у) = р(У)Ру(х)> (1)
где условная вероятность рх(у) есть вероятность появления у, если появился х.
Эти важные соотношения легко могут быть проверены при по­мощи табл. 1. Так, когда х есть «да», а у — «зеленый» сигнал, то
L- 5_y1-1y1
Из пя?и вероятностей, входящих в уравнение (1), две имеют особенное значение для теории передачи электрических сигналов, а именно р(х) — априорная вероятность сообщения х и ру(х) — апостериорная вероятность сообщения х при условии приема сигна­ла у. При пшщме- в общем случае должны быть рассмотрены все значения хутк что р(х) и ру(х) част^рассматриваются как распре­деления вероятностей. Их суммы по х равны, конечно, единице.
Теорема «обратной вероятности»1) представляет собой просто выражение для апостериорного распределения, полученное из (1), а именно:
ру(х)=фщу1 (2)
Предполагается, что наблюдатель знает априорные вероятности р(х) и статистические свойства помех, определяемые рх(у), пред­ставляющим полное семейство распределений. При приеме сигнала у наблюдатель должен использовать уравнение (2) для определения относительных вероятностей того, что каждое из сообщений х было переданным сообщением. Так как у будет тогда фиксированным, р(у) представляет постоянную, которая может быть вычислена, если ру(х) нормировано, т. е. его сумма по х равна единице.
В этом случае уравнение (2) может быть записано в виде
Py(x) = kp(x)px(y)f (3)
где"£ — постоянная, не зависящая от х. Статистически ру(х) пред­ставляет относительную частоту, с которой х действительно пере­дается в большом числе переданных сообщений, которые создают один и тот же сигнал у в приемнике.
Например, если принят «зеленый» сигнал:
Рзем. (да) = k х|- X-I- = (I-) k,
Рзел. (нет) = k Xj Xy *■
*) Эха TeopeMa известна й теории вероятностей как теорема о вероятности гипотез, или теорема Бэйеса. (Прим. ред.)
242 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
Апостериорное распределение нормируется, если положить £=2
Рзел. (Да) =~, Рзел. (нет) =-j-
что уже было получено раньше. Так же точно, когда при­нят «красный» сигнал, апостериорное распределение будет
РкР. (да)=у, РкР. (HeT)=-J-.
Ясно, что в общем случае для каждого принятого сигнала будут различные апостериорные распределения вероятностей сооб­щений.
Во многих случаях различные принимаемые сигналы не дискрет­ны и число их не конечно, а они образуют непрерывное множество. Это может быть, например, если у — напряжение в некоторый фиксированный момент времени. Тогда теорема «обратной вероят­ности» должна быть истолкована несколько иным образом.
Если у относится к непрерывному множеству, его распределение вероятностей будет характеризоваться непрерывной плотностью распределения, причем р(у) dy — вероятность попадания у в интервал (у, y+dy). При подстановке этих вероятностей в урав­нение (2) дифференциалы dy сокращаются и уравнение^(З) остается в прежней форме, где рх(у) будет плотностью вероятностей.
Формула также справедлива, если х непрерывно, так как тогда дифференциалы dx также сокращаются. Следовательно, теорема «обратной вероятности» применима в форме уравнения (3), когда х или у или, наконец, оба вместе являются непрерывными перемен­ными, причем в этом случае используется соответствующая плот­ность вероятностей.
Как было показано, каждый возможный принятый сигнал при­водит к своему собственному апостериорному распределению ве­роятностей для передаваемых сообщений. Если эти распределения усреднить в соответствии с вероятностями появления сигналов, а именно р(у), то интересно отметить, что в результате получается априорное распределение вероятностей сообщений. Таким образом, интегрирование (или суммирование) уравнения (I) по у дает
j Р(У)Ру(х) dy = \ Р(Х)РЛУ) dy=Р(х) . (4)
Слева здесь среднее апостериорного распределения, а справа — априорное распределение. В сокращенной записи среднее по всем значениям некоторой переменной z будет обозначаться Cp2 и уравнение (4) тогда запишется так:
Ср, Ру(х)= р(х). (5)
В нашем примере, как видно из табл. 1, два принимаемых сиг­нала — «зеленый» и «красный» — встречаются во всем множестве одинаково часто. Соответственно среднее с равными весами двух
ГЛ. I. ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ»
243
апостериорных распределений (V4, V4) и (V2, V2) дает априорное распределение (V8, V8).
При применении «обратной вероятности» к задачам теории пе­редачи сигналов первый основной шаг сводится к оценке рх(у), представляющем статистические свойства шумов в наиболее под­ходящем для решения задачи виде. Это часто оказывается значитель­но более сложным, чем может показаться из приведенных рас­суждений, поскольку у не всегда является таким простым, как «зеленый» или «красный» сигнал. В общем случае у будет представ­лять полный сигнал, как, например, телеграфная посылка или от­раженный сигнал радиолокационной станции, плюс шумы.
Однако при этом не возникают какие-либо принципиальные затруднения, поскольку можно рассматривать полный сигнал как последовательность ординат кривой напряжения и вычислить рх(Уъ У г, %•••) как многомерное распределение вероятностей сов­мещения. Этот вопрос более детально рассмотрен в § 4.
2. ТЕОРИЯ ПОЛУЧЕНИЯ ДАННЫХ
^звеетно, что определенный выбор между двумя равновозмож-нымц^событиями соответствует одной двоичной единице количества дайных, а выбор между п равновозможными событиями — Iog2w двоичным единицам. В этом рассуждении предполагается полная определенность результата выбора, однако часто прием сигнала приводит только к изменению относительных вероятностей для ряда событий, без четкого выделения одного из них как достовер­ного. Поэтому необходимо разработать более общее определение, сводящееся к этому более простому, когда нет апостериорной неопределенности. Это и было сделано Шэнноном.
Настоящее изложение основано на работе Шэннона, но отличает­ся своим подходом к задаче и исходными постулатами, поскольку вначале рассматривается действительно переданное количество данных, а не усредненное количество или средняя скорость передачи. Впрочем, определения Шэннона легко отсюда получают­ся, а некоторые его основные результаты кратко упоминаются в дальнейшем.
Начнем с двух следующих аксиом относительно аддитивности к<?личества данных.
1. Если последовательно посылаются два сигнала, представля­ющие одно сообщение, а наблюдатель рассматривает апостериорную вероятность после приема первого сигнала как априорную вероят­ность перед приемом второго, то полное увеличение количества данных относительно этого сообщения равно сумме количества данных от каждого сигнала.
2. Если посылаются два сигнала, представляющие два неза­висимых сообщения, то полное увеличение количества данных от-
244 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ B РАДИОЛОКАЦИИ
носительно этих сообщений равно сумме количества данных, когда каждый сигнал рассматривается отдельно.
Из этих двух аксиом может быть развита вся дальнейшая математическая теория.
Обозначим сообщение, о котором идет речь в первой аксио­ме, через X1. Отметим три вероятности для этого сообщения: во-первых, его априорную вероятность P(Xi)f во-вторых, апостериор­ную вероятность Py(Xi) после приема первого сигнала и, в-третьих, принимая Py(Xi) за априорную вероятность для второго сигнала, обозначим конечную вероятность после приема второго сигнала через P2(Xi).
Допустим теперь, что после приема у и z наблюдатель вполне уверен, что было послано i-oe сообщение, так что P2(Xi)=I. Коли­чество данных увеличилось, поскольку первоначальная неопреде­ленность, связанная с P(Xi)f полностью устранена и полный выигрыш от приема у и z поэтому зависит только от р(х). Аналогично уве­личение количества данных от одного второго сигнала зависит только от Py(Xi). Соответственно увеличение количества данных от первого сигнала определяется только р(х) и Py(Xi).
Таким образом, если остается неопределенность после того, как данное сообщение Xi было передано и принято при наличии шумов, количество данных является функцией априорной и апо­стериорной вероятностей одного этого сообщения. Оно может быть записано в виде
Лр(х),ру(х)] • (6)
Тогда первая аксиома утверждает
JlP(Xi)t Py(Xl)]+ JlPy(Xl)fP2(Xl)] = J[p(X)t рг(х)]. (7)
Как показано в Приложении, для удовлетворения этого тож­дества / должно иметь вид
JlP(X), Py(Xl)] ^ j lp(x)] - / Ipy(X)]. (8)
Чтобы определить теперь функциональную форму /, необхо­димо воспользоваться второй аксиомой. Два независимых сообще­ния можно обозначить Xi и Xk , а соответствующие принятые сигна­лы у и z. Поскольку вероятность совмещения двух независимых событий равна произведению лх вероятностей, вторая аксиома дает
/ lp(x)p(Xk)]— j lPy(x)pz(xk )]= Ч lP (x)]+j lp(xk)]- i IPy(X)]- jlp2(xk)]. (9)
Из этого тождества следует, как это показано в Приложении, что j(p) должно иметь вид
j(p)=A Iog р +Bf (10)
ГЛ. I. ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ]
245
где постоянные А и В могут быть выбраны произвольно. Тогда из уравнений (6), (8) и (10) количество данных может быть записа­но в форме
Р&Я=-Alog(11)
а чтобы увеличение вероятности истинного сообщения представля­ло положительное количество данных, А принимается равным —1. Наконец, для краткости записи вместо / будем писать Ixtyf чтобы отметить, что это есть количество полученных данных, когда передано некоторое сообщение Xf а принят некоторый сигнал у. Тогда, пользуясь уравнением (1):
<'2)
Это основное выражение для количества данных в теории Шэннона.
К сожалению, когда принимается сигнал, искаженный шумами, наблюдатель не в состоянии полностью судить об истинном сооб­щении. Кроме того, с точки зрения наблюдателя, интуитивно чувствуется, что тот же самый принятый сигнал всегда представ­ляет одно и то же количество данных независимо от действительно переда иного сообщения.
Поэтому единственный способ определить увеличение коли­чества данных для наблюдателя заключается в усреднении Ixty по всем случаям, в которых фиксирован один лишь сигнал у. Как показано в § 1, в этих условиях передаваемые сообщения по­являются с относительными частотами, определяемыми ру(х). Тогда увеличение количества данных Iy для наблюдателя можно определить, усредняя 1х,уи принимая ру(х) за весовой коэффициент:
W=Cp, Uy = Y Pyix) 1о§ Iur' (13)
x
если сообщения дискретны.
Часто сообщения образуют континуум, как, например, в случае расстояний до самолета или показаний измерительного прибора. Распределение вероятностей х представляется тогда непрерывны­ми кривыми плотности вероятностей, но теория без труда может быть распространена и на этот случай.
Если р(х) — плотность распределения, то р(х) Ъх есть вероят­ность того, что х лежит между х и х+Ьх. Если разбить область значений х на элементы шириной Ixf то может быть использована дискретная теория и тогда, полагая Ьх—► O:
, Г , м PyLLrIr (14>
246 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
Следует отметить, что увеличение количества данных по урав­нению (13) или (14) аддитивно в смысле аксиомы 2, но не в смысле аксиомы 1. Это объясняется тем, что увеличение количества данных для наблюдателя представляет апостериорное среднее, а усреднение после приема первого и второго сигналов производит­ся по различным множествам.
Как и следовало ожидать, можно показать, что Iy (в противо­положность Ix ) никогда не является отрицательным и равно нулю только в том случае, когда распределения р(х) и ру(х) оди­наковы, так как тогда прием сигнала совершенно не изменяет состояния знания наблюдателя.
Полученные выше соотношения могут быть иллюстрированы применением их к примеру, приведенному в § 1. Если послано со­общение «да» и принят «зеленый» сигнал, то переданное количест­во данных определяется из уравнения (12):
Iog рзел. (да) — Iog р (да) = Iog |- — Iog |- = Iog -|.
Аналогично, если послано «нет» и опять принят «зеленый» сигнал, значение Ixty равно
Iog Рзел. (нет) — Iog р (нет) = Iog j -Iog -| = Iog |
Оно отрицательно, потому что вероятность сообщения «нет», кото­рое в действительности было послано, уменьшилась в результате приема сигнала.
Ни одно из приведенных выше выражений не представляет, однако, большой ценности для наблюдателя, поскольку единствен­ное его знание относительно того, что было послано, дается апосте­риорным распределением
Рзел. (Да) =-J- рзел. (HeT) = J .
Поэтому увеличение количества данных для наблюдателя равно /зел. =L log-§- +^- log-|-=0,0510 двоичной единицы,
что является примером применения уравнения (13). Так же точно при приеме «красного» сигнала
14 14
/кр. = у logj+j Iogj =0,0466 двоичной единицы.
Как/зел., так и /кр. обязательно положительны.
Вычисленные выше количества данных относятся к определен­ным принятым сигналам, но когда необходимо найти пропускную способность канала, важное значение имеет среднее количество дан­ных /, когда ни Xt ни у не заданы. Эта величина применялась Шэнноном. Она получается путем усреднения количества данных,
ГЛ. I. ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ» 247
--<---'----.
полученных при приеме каждого сигнала, причем этим данным придан вес в соответствии с вероятностью появления сигналов.
В нашем примере «красный» и «зеленый» сигналы встречаются одинаково часто (см. табл. 1) и поэтому
/ = 1(0,0510+0,0466) = 0,0488 двоичной единицы.
Общее выражение получается, если применить оператор Cp^ к уравнению (14):
/=CpjrZv=J Р(У)§ Py(X)Iog -y^ydxdy. (15)
Это то же самое, что и среднее от 1Х}У по всем по всем у, которое по уравнению (12) имеет симметричную форму:
/=CpjcfjrZjcor=Jj p(x9y)\og -^^щ-dxdy. (16)
Еще другая форма / получается в том случае, если сначала разделить логарифм в уравнении (15) на две части
/=Cp^j py(x)\ogpy(x)dx — \§р(у)ру(х) logp(x) dxdy.
Интегрирование по у может быть выполнено при помощи урав­нения (4); тогда
I=H(X)-Hy(X)9 (17)
где
Н(х) = -§ P(X)Iogp(X) dx9 (18) Ну(х) = — Cp^ py(x)\ogpy(x)dx. (19)
Шэннон называет Н(х) «энтропией» распределения р(х), и урав­нение (17) тогда утверждает, что среднее количество данных, приходящихся на сигнал, равно разности априорной и апостериор­ной «энтропий». Из симметрии уравнения (16) следует, что / может быть также написано в форме
^ I^Н{у)-HM (20)
путем перемены местами х и у.
Из этого последнего выражения Шэннон получает свою теорему 17 — один из основных результатов теории передачи сиг­налов. Она утверждает, что среднее количество данных, которое может быть передано за время T по каналу с полосой частот W при наличии гауссовых шумов с равномерным спектром средней мощностью N9 может достигать, но никогда не превосходит
/макс = WT IOg (l +Lji (21)
где P — средняя мощность принимаемых сигналов.
248 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
Эта теорема показывает ограниченность пропускной способно­сти канала. Обычно мощность шумов возрастает пропорциот нально полосе частот: N=WN09 где N0 — средняя мощность шумов в единице полосы частот. Тогда /Макс. растет вместе с W9 стремясь в пределе к
PT E
Iim /макс. = д7~ = лг~ натуральных единиц, (22)
где E — полная энергия сигналов.
Уравнения (21) и (22) в принципе позволяют измерить эффек­тивность любой системы передачи сигналов как при наличии, так при отсутствии ограничения величины полосы частот канала. Конечно, чрезвычайно затруднительно оценить таким способом эффективность всей системы, предназначенной, например, для пе­редачи музыки. Однако такие системы, как радиолокационные станции, линии радиосвязи с кодовой импульсной модуляцией и с временной импульсной модуляцией, сравнительно просто под­даются анализу.
Можно показать, что при кодовой импульсной модуляции и временной импульсной модуляции необходима мощность сигнала примерно на 8 дб больше, чем в идеальной системе, удовлетворяю­щей уравнению (21). Вместе с тем доказано1), что в лучшем слу­чае при измерении расстояний радиолокационной станцией до­стигается весьма близкое приближение к идеальной системе, оп­ределяемой уравнением (22).
Все полученные соотношения одинаково применимы как к слу­чаю дискретных распределений вероятностей, так и к случаю непрерывных распределений, если только заменить суммы инте­гралами. Это связано с тем существенным обстоятельством, что под знак логарифма входят только отношения вероятностей (либо плотностей вероятностей).
Путем простого постулирования аддитивности количества дан­ных была показана возможность измерения количества данных как логарифмического изменения вероятностей. Формальное оп­ределение Ixty в уравнении (12) непосредственно имеет мало зна­чения, поскольку оно предполагает знание как переданного сооб­щения X9 так и принятого сигнала у. Когда наблюдатель прини­мает сигнал, его более интересует значение 1х,у, усредненное по всем сообщениям, которые могли быть переданы, т. е. Iy. Наконец, Iy может быть усреднено по всем сигналам уу чтобы получить / — сред­нее количество данных, приходящихся на сигнал.
3. ШУМЫ И АПОСТЕРИОРНОЕ РАСПРЕДЕЛЕНИЕ
Чтобы применить излагаемую теорию к практическим задачам, необходимо рассмотреть, как может быть построено апостериорное
1J См. следующую главу. (Прим. ред.)
ГЛ. I. ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ»
249
распределение вероятностей по принятому сигналу у. Предпола­гается, что априорное распределение р(х) известно и тогда апосте­риорное распределение ру(х) может быть сразу найдено из уравнения (3), как только вычислено рх(у)-
Условная вероятность рх(у) описывает действие шумов на систе­му. Она определяет случайный характер принимаемого сигнала при фиксированном передаваемом сообщении. Если принимаемый сигнал y(t) состоит из исходного сигнала Ux(I)y представляющего сообщение X9 и гауссовых шумов с равномерным спектром, вычис­ление рх(у) может быть непосредственно выполнено, как это по­казано ниже.
Если ux(t) — сигнал, который был бы в отсутствие шумов, рас­пределение вероятностей для принятого сигнала у(1) (при действии помех) имеет вид
PxiH) = G(V-Ux)9 (23)
где G(n) — плотность вероятностей для шумов n(f).
Простой способ точного вычисления G основан на известной теореме 1J о том, что если функция времени /(/) не содержит частот, превышающих W9 то
Важным свойством функции s*"^* является то, что она равна нулю, когда л: — целое число, и единице, когда* =0, а также, что
sln7C* dx = \
- OO
Г°smn(x—r) sin tz(xs) , ( \, r = S
где г и s — целые числа.
Чтобы применить эту теорему, необходимо предположить, что все рассматриваемые колебания пропущены через фильтр нижних частот, коэффициент передачи которого постоянен вплоть до Частоты W и равен нулю на всех более высоких частотах. Если выб­рать граничную частоту W достаточно большой, то сигнал останется неизменным и никакой потери общности это предположе­ние не вызовет. Позже будет показано, что точная величина W не имеет значения и W исчезает из последующих формул.
*) См. часть I, теорема 13. (Прим. ред.)
250 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ B РАДИОЛОКАЦИИ
Рассмотрим сначала гауссовы шумы с равномерным спектром n(t). На выходе фильтра каждое значение n^Lj в точке отобра­жения1!, обозначаемое в дальнейшем пгУ имеет по определению рас­пределение вероятностей
p(nr) = exp(-L)y (25) V 2NJ
где N — средний квадрат n(t) или средняя мощность шумов.
Можно показать,что эти значения шумов в точках отображения статистически независимы, если только спектр шумов равномерен в пределах всей полосы частот вплоть до Wauf. Следовательно, распределение вероятностей совмещения для всего множества «дискрет» шумов равно произведению отдельных распределений. Поскольку «дискреты» определяют рассматриваемые колебания шумов, то это произведение дает плотность вероятностей для самих колебаний шумов. Поэтому
G(n) = ехр(-Y j£) (26)
^ 2Л+
Возводя в квадрат основное тождество (24), интегрируя по вре­мени и пользуясь свойствами функции sir^ , сумму *под знаком показательной функции можно представить интегралом, и тогда G(n)^exp[-Ljn2(/) dty (27)
Здесь N0 есть средняя мощность шумов в единице полосы частот, имеющая размерность энергии и являющаяся основным парамет­ром шумов.
Теперь апостериорное распределение для сообщения * может быть написано в явной форме. Из уравнений (3), (23) и (27)
Ру(х) = kp(x) ехр [- -Lj (y-ux )i Л ] . (28)
Это соотношение является основным вероятностным урав­нением во всех задачах, когда помехи создаются только за счет добавления к сигналу гауссовых шумов с равномерным спектром.
Постоянная k выбирается из условий нормировки ру(х)\ ин­теграл под знаком показательной функции берется по всему проме; жутку времени, в течение которого производится передача сигнала.
г) Т. е. значения колебаний шумов, рассматриваемые в дискретных
точках, отстоящих друг от друга по оси времени на интервал Z0= -L-. В дальнейшем применяется термин «дискреты» шумов. (Прим. ред.) 2iV
ГЛ. I. ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ»
251
Отсюда следует, что если отвлечься от априорного весового коэффициента, то наиболее вероятным сообщением является такое сообщение, форма колебаний которого ux(t) имеет наименьшее эффективное отклонение от формы принимаемых колебаний y(t).
4. КОРРЕЛЯЦИОННЫЙ ПРИЕМНИК
Может показаться, что описанные математические операции полезны только при вычислении количества данных, несомых сиг­налом, однако вероятностное уравнение (28) имеет более широкое значение.
В принципе оно указывает, как должен быть построен идеаль­ный приемнйк для извлечения всего наличного количества данных из смеси сигнала и шумов на входе приемника.
Идея, на которой основывается это утверждение, теперь долж­на быть очевидной, поскольку ру(х) само является наличным коли­чеством данных. Разумные требования, которые можно предъ­явить к приемнику, должны исходить из условия, чтобы на основа­нии выходных сигналов наблюдатель мог оценить относительные вероятности того, что каждое возможное сообщение является истин­ным. Если приемник позволяет вычислить эти вероятности, то никакого другого истолкования принимаемых сигналов не тре­буется. Рассматриваемое с этой точки зрения уравнение (28) ма­тематически описывает свойства идеального приемника.
Теперь будут обсуждены следствия этого утверждения. Допу­стим, что интеграл под знаком показательной функции записан в виде
При приеме у2 фиксировано и поэтому не зависит от *, которое можно рассматривать как испытуемое сообщение. Поэтому пер­вый интеграл является постоянным множителем в ру(х) и может быть включен в £.
Во многих задачах интеграл от их2 также не зависит от *, вследствие того что сигналы, представляющие различные сообще­ния, все имеют одинаковую энергию. Если это так, третий член также можно исключить, и уравнение (28) тогда превращается в
(29)
где
(30)
Начинать вычисления нужно с образования q путем поочередно­го умножения функции y{t)f описывающей принимаемый сигнал,
252 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
на функции Ux(I)9 представляющие все возможные исходные сиг­налы, и последующего интегрирования по времени. q(x) является основным членом в уравнении (29) и представляет собой оценку кор­реляции между у и их .Функция q(x) возрастает, если ux(t)—сигнал, соответствующий действительно переданному сообщению.
Операция образования q из у обычно является необратимой. При таких процессах в общем случае происходит потеря данных, однако рассматриваемая операция связана с потерей только не­нужных данных относительно шумовых составляющих сигнала y(t).
Если в конечном итоге требуется определить наиболее вероятное сообщение, а априорные вероятности сообщений все равны, до­статочно вычислить только q(x). Остальная часть уравнения (29) представляет просто амплитудные искажения q(x). Поскольку искажения монотонны, то в результате значение *, при котором наступает максимум ру(х)9 обеспечивает также максимум q(x).
Рассмотрим теперь влияние множителя L под знаком пока­зательной функции. Этот множитель действует таким образом, что, когда шумы малы, показательная функция значительно уси­ливает изменения q(x) с *. Именно это и следовало ожидать, так как если шумы невелики, то должно быть мало сомнений относи­тельно истинного сообщения. Поэтому кривая ру(х) должна иметь ясно выраженный максимум, представляющий высокую степень надежности.
В другом крайнем случае, когда шумы настолько велики, что полностью перекрывают сигнал, показательная функция за счет
множителя L становится весьма малой по сравнению с единицей.
Поэтому ру(х) просто совпадает с р(х) и уравнение (14) показывает, что при приеме сигнала количество данных не увеличивается.
Как будет видно, промежуточное положение возникает не тогда, когда средняя мощность сигнала P примерно равна мощ­ности шумов Ny а в том случае, когда полная энергия сигнала E сравнима с мощностью шумов в единице полосы частот N0. Дей­ствительно, P может быть много меньше N и в этом заключается большое преимущество корреляционного приемника. Это также видно непосредственно из уравнения (22), где именно отношение E
-JT определяет максимальное количество данных в идеальной си­стеме. Впрочем, не следует думать, что корреляционный метод обеспечивает нечто большее, чем дает интегрирование при приеме сигналов.
На практике, повидимому, корреляционные методы могут быть использованы только в простейших системах. В наших рассужде­ниях всюду молчаливо подразумевалось, что сигналы ux(t)y соответ­ствующие различным сообщениям, точно известны перед приемом.
ГЛ. I. ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ»
253
В радиосвязи дело осложняется тем, что начальное временное положение сигнала заранее неизвестно.
В этом случае теория усложняется, так как функция сигнала, соответствующего сообщению *, должна быть записана в виде Uxijt—х), где х — неизвестное временное запаздывание. Апостериор­ное распределение тогда становится интегралом, взятым по всем возможным временным запаздываниям:
Py(X) = k jp(*, х) ехр JLj y(t)ux(t-х) dt J dx. (31)
Это означает, что прежде всего должна быть установлена взаим­ная корреляция во все возможные моменты времени между при­нятыми сигналами и всеми возможными сигналами, пред­ставляющими сообщения. Во всех системах, за исключением про­стейших, это приведет к недопустимым на практике усложнениям.
В случае радиолокации сообщение (дальность до цели) пред­ставляется самим временным запаздыванием, а другие пара­метры колебаний постоянны. Для простоты здесь предполагается, что имеется только одна цель и сила отраженных сигналов извест­на и не зависит от дальности.
Тогда апостериорное распределение для временного запазды­вания будет
PyU) = kpU) ехр [L j y(t)u(t - х) dt ] . (32)
В этой формуле y(t) и u(t) — высокочастотные колебания и, остав­ляя в стороне вопрос о пределах интегрирования, рассмотренный в другой работе V, интеграл имеет форму выходного эффекта ли­нейного фильтра. На входе действуют принимаемые колебания y(t)f а импульсщная реакция есть w(—/), т. е. функция, обратная по времени передаваемым колебаниям.
Подобный фильтр устанавливает взаимную корреляцию у и и по высокой частоте, т. е. выполняет ту же самую операцию, что и обычный приемник. Необходимость детектирования из уравне­ния (32) не очевидна, поскольку теоретически в этом нет необходи­мости при определении расстояния до неподвижной цели. Детекти­рование только уничтбжает тонкую структуру сведений о дальности до цели, получаемую от несущей. Дальнейшее рассмотрение урав­нения (32) более полно проделано в другой работе 1J.
Для иллюстрации уравнения (32) в случае, когда все коле­бания низкочастотные, был выполнен простой эксперимент. На фиг. 1,а изображен передаваемый сигнал, а числовое сообщение * предполагается закодированным таким образом, что время запаз­дывания х этого сигнала равно *. На фиг. 1,6 показаны 7ипнчные колебания у, появляющиеся при добавлении шумов, отфильтро-
1)См. следующую главу. (Прим. ред.)
254 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
ванных в некоторой произвольной полосе W9 как об этом говори­лось раньше.
После того как наблюдателю было указано, что импульс может находиться с равной вероятностью в любом месте линии развертки (априорная оценка), ему было предложено на основании одного лишь наблюдения установить апостериорное распределение ве­роятностей для временного положения импульса. Наблюдатель был ознакомлен с формой и амплитудой импульса, но ему было неизвестно истинное положение отраженного сигнала.
Фиг. 1. Экспериментальное определение положения импульса.
а-сигнал; б — сигнал и шумы; в — апостериорное распределение по субъ­ективной оценке наблюдателя; г — вычисленное алостернорное распреде­ление.
Его субъективная кривая изображена на фиг. 1,в, а теоре­тическая кривая, вычисленная по уравнению (32), показана на фиг. 1,г. Если отношение сигнал/шум возрастает, то кривая фиг. 1,г стремится к дельта-функции.
Идеальный приемник должен осуществлять преобразование кривой фиг. 1,6 в кривую фиг. 1,г чисто электронными устрой­ствами, выдавая относительные вероятности всех возможных со­общений, благодаря чему отпадает необходимость в субъективной оценке.
5. ЗАКЛЮЧЕНИЕ И ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Было показано, что из всех распределений вероятностей, которые могут быть использованы для описания статистических свойств системы передачи сигналов, два распределения имеют особое зна­чение. Это — распределения вероятностей различных возможных «сообщений» перед и после приема сигнала. Процесс приема может рассматриваться как событие, изменяющее относительные вероят­ности сообщений, а теория получения данных обеспечивает число­вую меру этого изменения.
Эти идеи естественно приводят к представлению о том, что весь процесс приема есть просто способ определения или выявле­ния апостериорных вероятностей сообщений. Следовательно,
ГЛ. I. ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ»
255
выражение для апостериорного распределения само представляет математическое описание свойств оптимального приемника.
Как можно заметить, во всех уравнениях для апостериорной вероятности априорное распределение появляется как весовой коэффициент. Это основное свойство «обратной вероятности» может привести к затруднениям. В статистике часто оказывается, когда делается попытка произвести выбор между различными гипоте­зами (сообщениями) в свете некоторых новых данных (сигнала), что нет очевидного способа априорной оценки гипотез.
Хотя это затруднение вряд ли может возникнуть в системе связи, оно часто появляется в системах наблюдения, таких, как радиолокация. В этом случае при обстоятельствах, совершенно отличных от тех, с которыми мы до сих пор встречались, может оказаться необходимым приписать дальности до цели некоторое априорное распределение вероятностей. Если нет статистических сведений, на которых можно было бы основывать априорное рас­пределение, то как оно вообще может быть определено?
Здесь иногда представляется заманчивым постулировать неко­торую неопределенную функцию просто как «формальный способ выражения незнания». В лучшем случае это — несколько произ­вольная процедура, и возражения против нее хорошо выражены Бартлеттом1), который пишет: «Подстановка простой функции для априорной вероятности, которая, если она вообще могла бы быть вычислена, определенно потребовала бы формулировки всех исход­ных данных, дает апостериорную вероятность в точной форме, которая, однако, может привести к серьезным заблуждениям. Кроме того, в этой попытке сделать конечный вывод относитель­но параметра (сообщения) и дать точную вероятность каждого возможного значения, мы вынуждены смешать сведения, которые могут быть извлечены из образца (сигнала), с другими сведения­ми, возможно, имеющимися в нашем распоряжении».
Необходимо различать два пути, по которым происходит ис-пбльзование принципа «обратной вероятности» в этой работе. Ьо-первых, он используется в процессе измерения увеличения коли­чества данных в смысле Шэннона. Хотя этот прирост данных опре­деляется самим сигналом, его величина оказалась зависящей от априорного распределения. Если нельзя построить априорного распределения, то невозможно определить, в какой степени сигнал просто дублирует существующее знание. Это, конечно, не оправды­вает использования чисто субъективных априорных распределений в теории Шэннона, которая основана на частотном определении вероятности, но оправдывает применение априорных множителей всякий раз, когда имеются предварительные статистические данные.
1J М. С. Б а р т л е т т, «Вероятность и случайность в теории стати­стики», Proc of the Royal Soc А, 141, 518, 1933.
256 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
Во-вторых, в работе предлагается использовать «обратную вероятность» для описания свойств идеального приемника. Можно разъяснить это положение. Нет необходимости требовать, чтобы идеальный приемник выдавал вычисленное до конца апостериорное распределение, поскольку последнее легко находится по выход­ному сигналу. Таким образом, вызывающий затруднения априор­ный множитель вполне может быть исключен из математического описания свойств идеального приемника, когда этот множитель вызывает сомнение и на практике вводится субъективной оценкой наблюдателя.
Может возникнуть вопрос, почему необходимо требовать, чтобы в идеальном приемнике производилось определение апостериорных вероятностей каждого возможного сообщения, а не просто выде­лялось наиболее вероятное сообщение, поскольку на практике обычно только это и нужно. Действительно, многие системы связи чрезвычайно бы усложнились, если бы на выходе приемника тре­бовалось определять вид апостериорного распределения (возможно, многомерного). Однако нет необходимости всегда так буквально понимать развиваемую теорию.
Апостериорное распределение может по желанию рассматри­ваться как средство определения наиболее вероятного сообщения. Тогда может быть построен приемник, выдающий на выходе те значения Xf при которых ру(х) достигает максимума.
Иногда имеются возражения против такой процедуры. Во-первых, сила критики Бартлетта значительно возрастает, посколь­ку априорное распределение используется необратимым способом. Во-вторых, достоверность сообщения перестает быть очевидной наблюдателю. И, наконец, в некоторых случаях, как, например, в радиолокации, после некоторого наблюдения могут поступать еще сигналы, относящиеся к тому же сообщению. При этом апо­стериорное распределение после первоначального наблюдения необ­ходимо как априорное распределение для следующего сигнала.
Как показано в другой работе х), именно так обстоит дело, когда в радиолокационной системе осуществляется суммирование сигна­лов от импульса к импульсу. Преждевременный выбор оптимального сообщения делает невозможным такое комбинирование нескольких сигналов, и в результате может произойти потеря части полезных сведений.
Приложение
Функция Jlp(Xl)t ру(х)] может быть написана в более простой форме т]) как функция двух переменных I и tj. Тогда тожде­ство/7) утверждает, что
J(a,» + /(pt1f) = y(afT), (33)
1J См. работу Вудворда в главе IH. (Прим. ред.)
ПРИЛОЖЕНИЕ
257
где а, р и у — частные значения переменных S и ij. Предпола­гается, что дифференцируема по £. Тогда, рассматривая в уравнении (33) приращение а до а+Sa:
Поскольку это тождество справедливо для всех значений P и Y, то —^ 17 не зависит от т]. Поэтому интегрирование по S дает
j(S1t1) = Z(S) + ^), (34)
где /(S) не зависит от Tj1 а k(rt) не зависит от Si Но при подстановке из уравнения (34) в уравнение (33)
и, следовательно:
j(S1t1)=Z(S)-Z(t1). (35) Уравнение (9) может быть теперь записано в форме
Поддерживая Y и S постоянными, напишем
/(a;) = /(a) + /Q + const. (36)
Если предположить, что /((•) дифференцируема, то, рассматри­вая небольшие изменения а в уравнении (36), найдем
. di l di Jw"
Полагая a = 1:
4; L=T' (37)
где Л — постоянная, равная /'(l). Поскольку уравнение (37)-тождество, то
\ № = 4
и, следовательно:
/(Q = Alcgc + ^, (38)
где А и В — произвольные постоянные. Это и есть искомый резуль­тат, использованный в уравнении (10).
Глава II
СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА РАДИОЛОКАЦИОННЫХ
СИГНАЛОВ *)
Ф. ВУДВОРД и И. ДЭВИС
1. ВВЕДЕНИЕ
Известно, что количество данных, которое может быть полу­чено при любом физическом наблюдении, ограничено флуктуа-ционными процессами. По этой причине в радиотехнике всегда стремятся работать с сигналами, большими сравнительно с внутрен­ними шумами канала. На первый взгляд можно заключить, что сообщения могут передаваться с удовлетворительной' скоростью только в том случае, если мощность сигнала P больше мощности внутренних шумов в системе N. Однако столь резкой границы не существует, ибо, как показано в части I, предельная скорость, с которой могут передаваться сообщения в присутствии шумов с равномерным спектром, равна
О)
если полоса ограничена частотой W. Тем не менее во многих прак­тических системах при P=N обнаруживается порог разборчивости, однако это связано только со способом кодирования сообщений. Это не следует из уравнения (1), так как здесь подразумевается идеальное кодирование, которое может усложниться при P<jN. Порог особенно заметен, если при кодировании происходит нето­пологическое возрастание первоначального числа измерений 2).
*) Ph. М. Woodward and I. L. D а v i е s, «А Theory of Radar Infor-mation», The Philosophical Magazinef 41, № 321, 1001 — 1017, October 1950.
2) Как показано В. А. Котельниковым (см. §18, часть I), множество функций времени со спектром, ограниченным полосой частот Wf и опреде­ленных на интервале T может быть представлено совокупностью точек в пространстве 2WT измерений. При такой геометрической трактовке про­цесс кодирования эквивалентен преобразованию «пространства сообщений» в «пространство сигналов». При этом преобразовании размерность простран­ства сигналов, вообще говоря, может стать отличной от размерности про­странства сообщений. При топологическом преобразовании, т. е. когда преобразование осуществляется однозначным непрерывным образом, размер­ности пространств должны быть одинаковы. При нетопологическом пре­образовании, например, в случае передачи с частотной модуляцией или с кодовой импульсной модуляцией, размерность пространства сигналов дол­жна быть существенно большей. В таких системах пороговый эффект дей­ствия помех выражен весьма заметно. (Прим. ред.)
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ
259
Простейшие данные, выдаваемые радиолокационной системой,— расстояния до отражающего объекта, который в этой работе счи­тается неподвижным. Такие данные обладают только одним изме­рением, но так как они кодируются специальным образом, то раз­мерность возрастает. В процессе работы повторяющиеся колеба­ния (не обязательно последовательность импульсов) излучаются, отражаются объектом и принимаются. Предполагается, что наблю­дение продолжается только конечное время — некоторое целое число периодов повторения, благодаря чему приемник получает конечное значение энергии сигнала. Наблюдатель сравнивает передаваемые и принимаемые колебания и старается определить время запаздывания. Наличие шумов при приеме ограничивает точность наблюдения.
Кик передаваемые, так и принимаемые колебания занимают значительную площадь на частотно-временной диаграмме и поэтому заключают в себе значительное число элементарных ячеек *). Поль­зуясь геометрической трактовкой 2), можно сказать, что их размер­ность высока. Но так как форма передаваемых колебаний неизменна, и вовсе не содержит нужных сведений, а принимаемые колебания представляют собой запаздывающую копию передаваемых, то не­ясно, ,можно ли также успешно использовать эту площадь на ча­стотно-временной диаграмме, как и в обычной системе связи. Одна из задач работы — показать, что в этом смысле радиолокационные системы могут быть весьма эффективными.
Основная задача заключается, однако, в том, чтобы определить порог разборчивости3), который можно ожидать резко выраженным из-за принятого метода кодирования. В условиях разборчивого приема возможно определить точность, с которой может быть уста­новлено значение расстояния до цели.
Математический анализ сосредоточивается вокруг одного важ­ного понятия — распределения апостериорных вероятностей для времени запаздывания т между передаваемым и принимаемым сигналами. Это распределение вероятностей описывает все, что мо­жет быть известно относительно расстояния, после того как было
*) Понятие об элементарной ячейке AfAt (или об элементарном сигнале) связано со следующим. Для того чтобы сигнал, ограниченный полосой частот А/, можно было зарегистрировать на выходе приемного устройства, он должен воздействовать на это устройство некоторый минимальный про­межуток времени At. В результате можно говорить об элементар­ной ячейке площадью AfM на частотно-временной диаграмме. Подробнее см. А. А. Харкевич, «Спектры и анализ», Гостехтеоретиздат, глава 1, §13, 1952. (Прим. ред.)
*) См. примечание на стр. 258. (Прим. ред.)
8) В дальнейшем мы сохраняем термины «порог разборчивости» и «раз­борчивый прием», заимствованные из техники радиосвязи, хотя следует помнить, что в данном случае речь идет о зрительном наблюдении, а не о слуховом приеме речи. (Прим. ред.)
260 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
произведено наблюдение. Оно формально выводится в § 3 после предварительного введения необходимой терминологии в § 2.
Как оказывается, распределение зависит от двух функций т, для которых приняты термины «функция сигнала» и «функция шумов». Они представляют собой функцию автокорреляции сигнала и функцию взаимной корреляции сигнала и шумов. Они обе зависят от известной формы передаваемых колебаний и от известных статистических характеристик шумов, но, кроме того, в отдель­ности зависят и от действительно принимаемых сигналов и шумов.
Сравнительное значение этих функций обсуждается в § 4, где доказываются некоторые их свойства. Так называемая функция сигнала показывает, в какой степени ограничена точность опре­деления расстояния в присутствии шумов (§ 5). Ограничение точ­ности; которое она описывает, представляет собой просто «тополо­гическую неопределенность» наблюдения, поскольку она относится к области неопределенности в окрестности истинного значения дальности.
Вместе с тем функция шумов может создать ложные пики в рас­пределении вероятностей, представляющие «нетопологическую нео­пределенность» или ненадежность, которая может появиться в ре­зультате наблюдения и сделать наблюдение бесполезным с практи­ческой точки зрения. Эта ненадежность возникает из-за нетополо­гического преобразования, упоминавшегося раньше.
Условия, при которых в радиолокационной системе возникает ненадежность, рассматриваются в § 6, где выводится формула для порога разборчивости. Наконец, в § 7 находится «энтропия» апостериорного распределения. За вычетом априорной «энтропии» она описывает количество данных, полученных при наблюдении. Интересно сравнить этот результат с общей формулой для пропуск­ной способности канала связи. Полученные результаты кратко обсуждаются в заключительном параграфе.
2. МАТЕМАТИЧЕСКОЕ ПРЕДСТАВЛЕНИЕ КОЛЕБАНИЙ
Передаваемые высокочастотные колебания будут описываться комплексной функцией ф(/), а принимаемые колебания — функцией
Yffl =аф(/-т)+.vffl. (2)
При приеме ф(/) претерпевает изменения по амплитуде и запаз­дывает на интервал т при прохождении до цели и обратно. v(/) есть комплексная случайная функция, представляющая шумы. Все эти комплексные функции образованы из вещественных функций, описывающих колебания, путем добавления мнимой составляющей в квадратуре по методу, изложенному, например, в работе Гэбора1).
Гэбор, Journ. Inst. Electr. Eng., 93, ч. III, 429; 1945.
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ Г61
Проведение анализа при помощи таких комплексных функций не приводит к каким-либо ошибочным выводам; необходимо только помнить, что энергия, рассеиваемая в единичном сопротивлении, теперь не равна интегралу от квадрата функции, а составляет половину интеграла от квадрата модуля функции.
Ради чисто математических удобств будем полагать, что энергия шумов сосредоточена в конечной полосе частот. Если эта полоса достаточно широка, чтобы включить весь спектр ф(/), то никакой потери общности такое предположение не вносит. Действительно, оно просто эквивалентно допущению,что принимаемые колебания у(0 профильтрованы таким образом, чтобы ослабить шумы, оставив сигнал неизменным. Подобное ограничение шумов, предполагае­мых равномерно распределенными по частоте, не имеет отношения к задаче об оптимальной фильтрации.
Поскольку у, ф и v являются высокочастотными функциями, их можно написать в виде
у = y(t) #**fJ9
ф = u(t) e*W, (3) v = л(/)
где у у и и п — комплексные низкочастотные функции, а /0—несущая частота, определяемая из
Можно показать, что при таком определении /0 является централь­ной частотой энергетического спектра сигнала ф. Когда функция ф периодична, то это эквивалентно условию
}Ш-/о)Л=0, (5)
где интеграл берется по одному периоду, а / обозначает мгновенную частоту или скорость изменения фазы колебаний ф(/). Приведен­ные определения обладают тем преимуществом, что они одинаково хорошо применимы к любому виду модуляции.
В дальнейшем удобно ввести векторное представление электри­ческих колебаний. Допустим, что z(t) — комплексная функция /, чей комплексный частотный спектр sz(f) равен нулю вне участка частот (—W9 W)y как это предполагалось для определенных выше функций//, и и п. Хорошо известно1), что z(t) может быть полностью
х)См. часть I, теорема 13. (Прим. ред.)
262 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
описана при помощи ряда дискретных значений г
у сле-
довательно, представлена в виде комплексного многомерного век­тора z с этими составляющими.
Скалярное произведение двух таких векторов z и w равно
z*w=U г; W= 2W j sfQwQ dt. (6)
ч
Второе уравнение может быть доказано путем последовательного применения теоремы Парсеваля1) к интегралам Фурье, представ­ляющим функции z(t) и +/), и к рядам Фурье, представляющим s2(f) и sw(f) в интервале (—W9 W). Из уравнения (6) немедленно следует
u*u = \u\2=2W j \u(t)\*dt=AWE, (7)
где E обозначает энергию колебаний и или ф внутри участка интег­рирования. Далее, если и' описывает колебания -—9 можно оп-
dt
ределить эффективную полосу частот P из уравнения
|u'|2=p2|uj2. (8)
Эта полоса частот P с точностью до постоянного множителя совпа­дает с эффективной полосой частот по определению Гэбора, который
ft2
показал, что -|^- есть момент второго порядка энергетического
спектра и относительно начала отсчета, либо спектра ф относитель­но /0.
Векторное обозначение особенно удобно при рассмотрении ха­рактеристик шумов, и результаты, полученные в этом разделе, будут использоваться в равной мере как в векторной, так и в ин­тегральной форме, так как одна может быть преобразована в дру­гую при помощи уравнения (6).
3. ОСНОВЫ ТЕОРИИ РАДИОЛОКАЦИОННОГО НАБЛЮДЕНИЯ
Центральной задачей является построение по данным прини­маемым колебаниям и по известным переданным колебаниям рас­пределения вероятностей для расстояния до цели, измеренного в единицах времени запаздывания т. Допустим, что действитель­ное значение времени запаздывания есть т0, а коэффициента а— а0, тогда принимаемые колебания
T(O = OVKf-T0)-MO. (9)
1JCm. часть II, глава II, §2.4. (Прим. ред.)
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ
263
Чтобы построить распределение вероятностей для х (в общем случае также для а), когда известны только у(0 и ф(/), необходимо прежде всего определить плотность вероятностей для наблюдаемых колебаний *[(/) в предположении некоторых определенных значе­ний т и а. Эта плотность вероятностей зависит только от тех зна­чений шумов, которые необходимо выбрать для удовлетворения принятых предположений.
' При избранных значениях (х, а) щумы определяются как
или, пользуясь низкочастотными функциями (3):
Iy(I)I- ш(* — ~ 2п1Ах] ^iht Q 0)
Выражение в квадратных скобках может быть представлено вектором
у — аии)е-^\ (11)
где u(t—х) становится непрерывной векторной функцией от х, а ш=2тг/о.
Вектор (11) однозначно определяет высокочастотные флук-туационные шумы, и в предположении шумов, подчиняющихся нормальному закону, его многомерная плотность вероятностей пропорциональна
ехр [-'У—а'-1"'-]. (,2)
Здесь N — средняя физическая мощность шумов, равная среднему квадрату как вещественной, так и мнимой части шумовых флук­туация в каждой точке отображения1). «Дискреты» шумов не имеют между собой корреляции, поскольку предполагается, что шумы равномерно распределены по участку высоких частот шириной 2 W.
Если априорное распределение вероятностей для х и а обо­значить р0(х, а), то по принципу «обратной вероятности» их апо­стериорное распределение будет2)
• рЬ а) = р0(х, а) ехр [- '^+*"1' ] (13)
Это есть распределение частот истинных значений х и а по мно­жеству, в котором принимаемые колебания у(0 фиксированы.
1J Как и в главе I, так в дальнейшем будут называться точки, в которых берутся значения функции z ) » образующие составляющие многомер­ного вектора этой функции. Эти составляющие по примеру предыдущей главы будут именоваться «дискретами». (Прим. ред.)
2) Подробное изложение теоремы «обратной вероятности», устанавлива­ющей связь между апостериорным и априорным распределениями вероят­ностей, приведено в главе I, § 1. (Прим. ред.)
264 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
Вместе с тем априорное распределение есть соответствующая частота по множеству из всех принимаемых „колебаний. Оно долж­но быть точно определено, прежде чем итти дальше.
Так как в этой работе рассматривается количество данных, несомых принимаемыми сигналами определенной энергии,, то предполагается, что коэффициент а постоянен и, следовательно, его априорное распределение
ip0(a) = 8(a-a0). (14)
Далее предполагается, что априорное распределение вероят­ностей для х равномерно по фиксированному интервалу Tt мень­шему или равному периоду повторения передаваемых колебаний. Такое предположение не только является простейшим, но и наи­менее связывающим,поскольку оно представляет состояние наимень­шего предварительного знания между пределами распределения. Поэтому внутри интервала T
PoU> 0O = -у 8(а — ао). (15) Из (13)'следует, что апостериорное распределение для х равно
OO
р(х) р(х,«) da = ехр [- 'У"++"12] (16)
О
внутри априорного интервала T и равно нулю вне его повсюду.
Это выражение будет теперь преобразовано к более удобному виду. Разлагая в ряд и опуская члены, не зависящие от х, полу­чим 1J
PtfY= ехр {-¾- Re у* Iu (х) е~1ф } (17)
Из числа членов, которые исчезли, |у |2 зависит от х0, но не зави­сит от х, тогда как член | u(x) j2 пропорционален энергии сигнала за интервал наблюдения и не зависит от х, поскольку он охватывает целое число периодов. Перейдем теперь к интегральной форке^
р(х) = ехр
^ReJ //*(/)w(/-x)e-ia)Td/] (18)
где
N=2WN09 (19) а Nо — средняя мощность шумов в единице полосы частот.
1J Здесь и в дальнейшем Re обозначает вещественную часть соответ­ствующего выражения, а Im—мнимую часть. (Прим. ред.)
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ
265
Из (3) и (9), подставляя уу найдем
р(т) = ехр RejLe-M^) I [<u*{t_ )u{t_z) +
1 ° J (20)
+ a0n*(t)u(t-t)e-l^]dt}
Так как п(() — комплексная случайная величина, постоянная е~~iaizO может быть включена в нее без изменения ее статистичес­ких свойств и поэтому в дальнейшем опущена. Обозначив фазу интеграла через 0 и написав
gU) = L jw*(/ - t0)w(/ - т) dt, (21)
hU)= ^-Jn*(/)w(/-t)d/, (22) получим (20) в виде
р(т) = ехр {cos [ш(т - т0) - 0].\g(z) + А(т)|}. (23>
Косинус — высокочастотная функция т, тогда как 0 и модуль — низкочастотные функции. Это означает, что апостериорное распре­деление состоит из последовательности близко расположённых пиков, лежащих под медленно изменяющейся огибающей. Эти пики возникают из сравнений, которые может делать наблюдатель меж­ду фазами несущих передаваемых и принимаемых колебаний.
Сведения, даваемые этой тонкой структурой, бесполезны, ког­да имеется неопределенность в различении одного пика от другого. Действительное распределение для т, обозначаемое Р(т), можно найти путем сглаживания кривой р(т) при устранении тонкой структуры. Важно, однако, иметь в виду, что хотя сведения, ко­торые могли бы быть получены при сравнении фаз передаваемой и принимаемой несущих, не будут приниматься во внимание, в дальнейшем предполагается наличие фазовой когерентности от одного периода повторения модуляции до другого в течение интер­вала наблюдения. Другими словами, изменение фазы дает полез­ную информацию, но абсолютная величина — нет. 1¾ Сглаженное распределение легко получить интегрированием (23)
* . 2к г ш
по т в пределах от т до т+——, полагая [в [этом интервале
изменения 0 и модуля незначительными. Это н равноценно взятию огибающей р(т), поскольку тонкая структура не имеет синусоидаль­ного характера. Интегрирование дает
PU) = Uokg+ V), (24)
266 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ B РАДИОЛОКАЦИИ
где I0 — видоизмененная функция Бесселя; X — нормирующая постоянная. Следует подчеркнуть, что интегралы g и А распростра­няются на весь период наблюдения.
Свойства Р(т) в сильной степени зависят от относитель­ной роли g и Л, которые можно рассматривать как составляющие распределения вероятностей, связанные соответственно с сигна­лом и шумами. Для удобства они будут называться функцией сигнала и функцией шумов. Первая представляет собой функцию автокорреляции сигнала, а вторая — функцию взаимной корре­ляции между сигналом и шумами.
4. ФУНКЦИИ СИГНАЛА И ШУМОВ
В этом разделе будут сформулированы некоторые свойства gU) и А(х) и попутно выяснен критерий оценки количества энергии, которое должны нести эхо-сигналы для удовлетворительного ра­диолокационного наблюдения.
Следует ожидать, что Р(х) должно иметь пик в окрестности ис­тинной дальности х0. Этот пик должен появиться из-за функции сигнала g(x). Во всех других местах g(x) будет практически незна­чительной вследствие специального выбора формы радиолока­ционных колебаний. Вблизи х0 можно разложить u(t—х) по теоре­ме Тейлора и получить из (21)
SrW=ж ju*('
Utf — хо) —tf — h) Wtf — т0) +
+ +(х-T0jV(Z-T0)j Л, (25)
пренебрегая высшими степенями т—т0 и обозначая и'. По­ложив
P2 = ^' <26>
где E — теперь энергия принимаемого сигнала <х0ф, можно по­лучить из (7), (4) и (8) следующие полезные соотношения:
4j"*('-xo)"(f ~h)dt = P2, -ijU*(Z-T0)«'(Z-x0)df=0,
-F0Jx' ~ хо) u"tf - т0) dt = - р* Р*
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ
267
Это — определенные интегралы, которые берутся по целому числу периодов повторения функции u(t). Второе соотношение зависит от определения (4) несущей частоты, а третье получается после интегрирования по частям. Поэтому1)
gU) = Р2-}р2Р2(^-*о)2 + 0(х - хоу. (30)
Как будет видно, пик распределения g(x) в точке т0 имеет вы­соту р2, причем в его окрестности g(x) вещественна. Величина р2 имеет важное значение, это — безразмерный энергетический пара­метр, постоянно встречающийся в излагаемой теории. Полученное выше разложение g(x) понадобится в дальнейшем при определении точности измерения дальности.
Теперь необходимо рассмотреть функцию шумов А(х) и ее влияние на g(x). Преобразование (22) к векторному обозначению дает
h(x) = -j- п* и(х). (31)
Это скалярное произведение является линейной функцией состав­ляющих п. Результат представляет собой стационарную случай­ную функцию, причем распределения действительной и мнимой частей независимы и являются нормальными относительно нуля. Пользуясь аддитивными свойствами дисперсий, легко показать, что
[ReA(x)P = IImA(x)P= аЛ1^Ш = р2. (32)
Далее, хорошо известно (часть И, глава III), что распределение амплитуд такой функции подчиняется закону
q(\h\)=^\h\ek7~ (33)
и что значение среднего квадрата | А | равно 2ра.
Когда £<tf0> эффективное значение p\f 2 модуля функции А(х) больше пикового значения р2 функции g(x) и в Р(х) функции сигнала и шумов не различимы. Поэтому необходимый, хотя и недостаточный критерий удовлетворительного наблюдения заклю­чается в том, что полная принимаемая энергия должна быть боль­ше мощности шумов, приходящейся на единицу полосы частот (для удобства вычислений будем предполагать «много больше»).
1)3нак О перед скобками указывает тот наибольший член разложения в ряд, который в дальнейшем отбрасывается. (Прим. ред.)
268 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ B РАДИОЛОКАЦИИ
Условие
P2» 2 или E > N0 (34)
будет применяться на протяжении дальнейшей части работы. Оно недостаточно, поскольку само по себе не гарантирует, что пло­щадь под кривой PU) вся сосредоточена вблизи т0.
Немедленным следствием этого условия является то, что пик функции сигнала g(x) велик сравнительно с единицей.
Из (24) можно видеть, что это свойство еще усилено в PU), так как функция 10(х) асимптотически возрастает по показательному закону вместе с х. Поэтому .для практических радиолокационных колебаний пик кривой нормированного распределения вероятно­стей, вызванный функцией сигнала, будет сконцентрирован вблизи т0 и в (30) высшими степенями (т—т0) можно будет пренебречь.
Исключая области вблизи этого пика, функция сигнала будет иметь незначительное влияние на Р(х), и функция шумов (если она достаточной величины) одна будет определять это распределение. Поэтому полный интервал T9 в котором определена функция PU), можно разделить на два участка. Первый участок включает пик Р(х), созданный функцией сигнала,— здесь Р(т) будет обозначаться PgU). Остальной участок имеет длительность, почти равную T9 где PU) будет обозначаться PhU), так как функция g" почти не оказывает здесь влияния. Можно удовлетворительно разделить эти два участка, потому что PhU) само состоит (когда р2 велико) из последовательности изолированных и случайно возникающих пиков.
Первый участок будет определять точность, с которой может быть измерена дальность, тогда как площадь под вторым участком определяет степень ненадежности наблюдения.
Под ненадежностью наблюдения понимается вероятность того, что во множестве результатов наблюдений при фиксированных принимаемых колебаниях действительное значение дальности не лежит где-либо вблизи т0.
Теперь наиболее важные свойства функций сигнала и шумов уже изложены и, как видно, если полная принимаемая энергия невелика по сравнению с мощностью шумов, приходящейся на единицу полосы частот, то от системы может быть получено только незначительное количество данных. Этот результат относит­ся, конечно, не только к радиолокации; он следует в весьма общем случае из уравнения (1).
5. ТОЧНОСТЬ ИЗМЕРЕНИЯ ДАЛЬНОСТ
%т Могут быть два различных статистических подхода к пробле­ме об ошибке наблюдения. Первый подход (обманчиво простой) заключается в фиксировании истинного значения и определении
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ
269
разброса оценок. Другой, применяемый в этой работе, состоит в фиксировании типичной формы принимаемых колебаний, отраженных от цели, расположенной на истинном расстоянии т0, и в рассмотрении разброса истинных значений т, которые могли бы быть созданы такими принимаемыми колебаниями. Последний подход, связанный с введением распределения вероятностей Р(т), устраняет рассмотрение того,как оператор оценивает истинное зна­чение, когда наблюдает принимаемые колебания.
Так как распределение PU) представляет свойства множества, в котором принимаемые колебания Y фиксированы, оно является частным, поскольку зависит от данного выбора Y- Поэтому необ­ходимо рассмотреть средние статистические свойства Р(т) путем изменения Y» сохраняя т0 постоянным [см. уравнение (9)1. Средние значения по этому множеству при фиксированном т0 будут разли­чаться от средних значений по множеству при фиксированном Y путем применения символа Cp вместо черты. Дальше будет по­казано, что распределение PgU) является приближенно нормаль­ным вблизи т0, и вычислено его стандартное отклонение.
До сих пор любая ненадежность наблюдения, возникающая из-за поведения функции шумов hU) вне g-области вокруг т0, игнорировалась, но ее влияние внутри этой области представ­ляет интерес и может быть учтено следующим образом. Из урав­нения (31) и разложения в ряд Тейлора и(1—т) функция шумов вблизи т0 равна
[htf) = [П*и(т0) -(т-т0) n*U'(x0) + С(т - T0)»]. (35)
Можно показать, что, если р2 достаточно велико, пренебрежение всеми членами, за исключением линейного и постоянного 'членов, не является серьезным, несмотря на необходимость включения квадратичного члена в соответствующее разложение ^(т).Поэтому можно написать
hU) = 5 + /4 = [50 + (* - *0)П + / 1ъ + (* - xoh'h (36)
где Z01T10V ит]' — случайные величины во множестве с фик­сированным т0, обладающие нормальным распределением вокруг нуля. Из уравнения (32)
Cp GS) =Cp (TiS) = р». (37)
в при помощи таких же аргументов легко показать, что
Cp(^)-Cp(V2) = PV. (38)
Таким образом, \g+h\ может быть приближенно оценено в окрестности т0 для последующей подстановки в уравнение (24).
270 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
Разлагая модули в ряды и пренебрегая всеми степенями (т—т0) выше второй, получаем из уравнений (30) и (36)
I gtfHhtf) |-р»+5.+ 2+hw"-4-р2Р2(^о + +)*+
+0[v)- <39>
Это выражение можно записать в более простой форме
\g + h\^p* + X--U-P2P2(X--Cm)», (40)
2
где из (37) и (38)
Cpx = 1. (41) Cpxm = T0, (42)
Cp(xm-x0)*=-U-. (43) Поэтому из уравнения (24) имеем вблизи т0
(44)
PgU) = ь/о р2 + х - \- р2Р2(* - Vn)2J •
Асимптотическое разложение I0 равно
'•««7¾^1 + *-+0^)]- <46>
Тривиальное применение этого разложения показывает, что рас­пределение PgU) должно быть вблизи т0 приближенно нормаль­ным с параметрами
X=Xm, (46)
F^ = W- <47> Поэтому стандартное отклонение т от его среднего значения в
UW
ох= U > (48)
Это выражение представляет апостериорную неопределенность измерения дальности. То обстоятельство, что среднее значение т в Pg(x) само имеет такую же неопределенность по отношению к т0 [уравнение (43)], не является простым совпадением. Именно этот результат следАало ожидать в результате применения «об­ратной вероятности»: оба разброса значений в действительности представляют один и тот же эффект. ш /
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ
271
Уравнение (48) представляет первый результат, имеющий прак­тический интерес. Неопределенность не зависит от частотной ха­рактеристики приемника, поскольку она была найдена безотно­сительно от какого-то определенного приемного устройства и пред­ставляет оптимальные свойства системы.
6. НЕНАДЕЖНОСТЬ НАБЛЮДЕНИЯ
В конце § 4 было отмечено, что степень ненадежности наблю­дения есть вероятность того, что во множестве результатов наблюдений при фиксированном принимаемом сигнале действи­тельная дальность х не находится где-то вблизи т0. Поэтому нена­дежность А может быть представлена площадью, лежащей под той частью кривой Р(х)9 которая связана только с функцией шумов h{x)9 т. е. в которой исключен пик сигнала, рассмотренный в предыдущем разделе. Она будет вычислена умножением ожида­емой площади, рассчитанной на единицу дальности х и связан­ной только с одной функцией А, на полный априорный интервал Т. Последний включает небольшой участок интегрирования вбли­зи т0, который, строго говоря, следовало бы исключить, но так как для любой практической системы справедливо неравенство
T » + (49)
то это приближение является оправданным. Удобно определить Ph(x) в виде
= (50)
что совпадает с видом выражения (24) для Р(х)9 за исключением области вблизи т0. «Ожидаемая площадь на единицу дальности» под кривой Ph{x) является, конечно, ожидаемым значением Ph и может быть получена рассмотрением распределения вероятностей для |А| (уравнение 33). Поэтому
oo
CpPh= Ph = j PhQ(Ph) dPh, (51)
О
где
Q(Ph) dPh = q(\h \)d\ А |. (52)
Оба средних значения в (51) равны, поскольку А(т) стационар­ная случайная функция. Интеграл может быть вычислен подстанов­кой q из (33) и Ph из (50), пользуясь разложением (45) для функции Бесселя. В результате получим
Ph=\e*2[\+0(p-% (53)
272 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
и ненадежность, определяемая средней площадью под кривой Ph(z)9 равна
A = TPh. (54)
Остается только определить нормирующий коэффициент X для P(z)9 зависящий также от площади под кривой PgU), связанной с функцией сигнала.
Эта площадь получается интегрированием распределения [урав­нение (44)1, пользуясь опять разложением функции Бесселя.
В результате находим 1J
fuW^ = ^r[l-SpiT +G(p"4)]. V
Пренебрегая по сравнению с единицей членами порядка р" чаем нормирующее уравнение
1= f UWdt + f Phtf)dx=
T T
(55)
полу-
(56)
Отсюда приближенно
A =
ТУЗ
(57)
?У 3 + ё
Таким образом, при постоянных T и (3 нена­дежность уменьшается от значения, близкого к единице, до нуля по мере
возрастания -L р2 — от-
10 15 EfN0
Фиг. 1. Порог разборчивости.
20
ношения энергии принимаемого сигнала к мощности шумов, при­ходящейся на единицу полосы частот. Как видно из фиг. 1, из­менение ненадежности происходит довольно резко, благодаря че­му образуется порог разборчивости. Условно его можно опреде­лить значением Л =0,5, и, следовательно, при этом
р2+ 1 = 1С£г туф.
(58)
*) Здесь ради удобства использовано среднее значение показательной функции [см. уравнение (41)1. Для дальнейшего это не имеет существенного значения, за исключением Л^0,5, когда в люээм случае неизбежны допол^-нительные приближения.
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ
273
При / jp2+l) > IogTp2P обеспечивается надежный прием. Это вто-
рой критерий успешного радиолокационного наблюдения.
7. КОЛИЧЕСТВО ДАННЫХ ПРИ РАДИОЛОКАЦИОННОМ НАБЛЮДЕНИИ
Количество данных, получаемых при радиолокационном на­блюдении, равно разности «энтропий» г) априорного и апостериор­ного распределений вероятностей для дальности. Поскольку было предположено, что априорное распределение — прямоугольное с шириной Ty его «энтропия», определяемая в виде2)
(59)
равна
H0 = IogT
(60)
Искомая «энтропия» апостериорного распределения есть средняя «энтропия» для PU), взятая по полному множеству возможных принимаемых колебаний. Поскольку, однако, «энтропия» не за­висит от т0, достаточно рассмотреть среднее по множеству при фик­сированном т0. Как й раньше, часть распределения вблизи т0, а именно PgU), и остающаяся часть, PhU), будут рассматриваться раздельно, причем полная «энтропия» равна сумме.
Возникает, однако, трудность при вычислении «энтропии» некоторого данного распределения Р(т), поскольку при этом необ­ходимо использовать правильное значение нормирующего коэф­фициента данного распределения, который изменяется по множе­ству с фиксированным т0. Благодаря этому трудно выполнить интегрирование и для упрощения используется постоянное зна­чение нормирующего коэффициента X, зависящее от средних свойств Р(х) и определяемое уравнением (56).
Флуктуации X при р2>1 связаны почти исключительно с PhU), и пренебрежение ими оправдывается в любом из следующих двух случаев:
а) если полная площадь под кривой PhU) мала, т. е. Л^О, и «энтропия» приближенно равна «энтропии» одного только распределения PgU)',
б) если полный интервал Г, по которому берется PhU), настоль­ко велик, что Ph включает достаточный статистический образец тех свойств множества, которые влияют на «энтропию».
Это условие приводит к A 1, хотя вывод длинен и здесь опус­кается. Тогда «энтропия» связана почти полностью с PhU)-
1JCm. часть I, § Ц. (Прим. ред.)
2)3десь р(т) означает некоторое распределение вероятностей.
274 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
Таким образом, сначала следует вычислить среднюю «энтропию», связанную только с одним PgU), которая даст «энтропию» рас­пределения Р(х) для A ^rO. Затем нужно определить «энтропию» за счет одного только PhU), которая представляет «энтропию» распределения Р(х) для A =^l. Наконец, может быть найдено приближение для промежуточной (пороговой) области при прене­брежении флуктуациями нормирующего коэффициента.
Часть «энтропии», связанная с распределением PgU), может быть найдена подстановкой в уравнение (59) усредненного выраже­ния для PgU) из уравнений (44) и (41), пользуясь разложением .I0 и выполняя интегрирование. Это дает
CpHg=
p2P
Iog -Ар+Р2+ U+°(P-2)
. (61)
8р2 / fV2r. 8
Но если Л^О, то из (55) нормирующий коэффициент определяется соотношением
а/+1 (, 1
(62)
1)2
p2P
и, таким образом:
cP Hg = loS^ +0(Р~2). (63)
Количество данных равно разности априорной и апостериор­ной «энтропий», т. е.
I = H0-H1 = IogT-H1 (64)
и, следовательно:
Iog-UU-, (л ^ 0). (65)
У 2ке
Поскольку PhU) — стационарная случайная функция, то мож­но вычислить среднее значение связанной с ней «энтропии» умно­жением ожидаемого значения PhIogPh на интервал интегрирова­ния T Тогда, пренебрегая флуктуациями X:
Cp Hh = - Г|(3(РЛ)РЛ Iog Pa dPh. (66) о
Отсюда, подставляя значения Q(Ph) и Ph из уравнений (52), (33) и (50), пользуясь разложением I0 и интегрируя, получим
Р2/2
CpHh=-XTe '
1°£~^Тк + P2 + \ + OiP'2) (67)
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ
275
Но если A =^l, то, пользуясь (53) и (54), найдем приближенное значение нормирующего коэффициента X из
Xd = -у- (68)
Тогда
Cp Hh = Iog (ТрУЩ - L P2 - L- + 0(Р-2) (69)
и, следовательно:
/^Lp2_iog(p-|/2^ + L (Л-1). (70)
Уравнения (65) и (70) дают приближенные значения количества данных при условии надежного и ненадежного приема за исклю­чением области вблизи порога при А =0,5.
Когда А не лежит вблизи нуля или единицы, необходимо, конеч­но, нормировать Р(х), приняв во внимание как PgU), так и PhU)r и пренебрегая флуктуациями нормирующего коэффициента, которые должны быть в этой области учтены. Значение X из уравнения (56) подставляется в уравнения (61) и (67), сложение которых дает приближенное среднее значение апостериорной «энтропии» H1. После вычитания из H0 получим
/¾—Iog
Vtoe^pe 2 + -L-J
+ 0(р-2). (71)
Как будет видно, в зависимости от того, преобладает ли под знаком логарифма первый или второй член, т. е. A 0 или A =^=I, это уравнение сводится, как это и должно быть, к (65) или (70). Оно представляет лучшее приближение для полного количества данных, чем другие ранее приведенные уравнения, несмотря на пренебрежение флуктуациями нормирующего коэффициента.
8ЛОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Основные результаты изложенной теории иллюстрирует фиг. 2, где представлены зависимости количества данных / [уравнение
{71)] и ненадежности А [уравнение (57)] от величин In 7(3 и-^-
Как видно, линии / имеют совершенно разный характер по обе стороны от порога разборчивости (А =0,5). Когда ненадежность А мала, линии / асимптотически приближаются к пунктирным кривым, даваемым уравнением (65). Получаемые сведения в этой области обеспечивают почти надежное знание дальности, под­верженной «топологической» ошибке, которая по § 5 имеет стандарт­ное отклонение
Sx = -L
276 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
где
У N0
ар — «эффективная полоса частот» передаваемых колебаний.
Как и следует ожидать, ошибка уменьшается по мере возраста­ния полной принимаемой энергии Ey если мощность шумов на единицу полосы пропускания N0 остается неизменной. Она также уменьшается при увеличении ($, однако увеличение одной полосы
частот P с целью получе-
ния более высокой разре­шающей способности имеет свои недостатки, посколь­ку наблюдение постепенно становится более ненадеж- * ным.
Когда ненадежность больше половины, графи­ки / асимптотически при­ближаются к пунктирным вертикальным линиям, да­
5 6 7 8 9
10 И 12 13 V* 15 EfN0
ваемым уравнением (70),ко-
торые представляют верх-
Фиг. 2. Кривые количества данных и не­надежности.
ний предел количества данных при постоянной
принимаемой энергии. 'В общей теории (часть I) имеется подобцый же верхний предел, с которым можно провести сравнение. В весьма общем случае количество данных /, которое может быть извлечено из некоторого
принимаемого сообщения с энергией Ey ограничено величиной L
натуральных единиц. Этот результат получается из (1), еслй на­писать
I = Ct = Wt Iog {[ + -JfLjj [нат. ед.],
где/—длительность сообщения. При Wt-+ao I достигает предель­ного значения
iS M0 2 Р '
Соответствующий предел в радиолокационном случае при р —„оо меньше этого на {log р]/2тс — -LJ натуральных единиц. Мож­но показать, что расхождение вызывается данными, связанными с тонкой структурой, которые были умышленно игнорированы при переходе от уравнения (23) к (24). Если бы в радиолокаций можно
ГЛ. II. СТАТИСТИЧЕСКАЯ ТЕОРИЯ ПРИЕМА СИГНАЛОВ
277
было работать без высокочастотной несущей, то этого явления не возникало бы и предельные значения в ненадежной области (фиг. 2) точно соответствовали бы теоретическому пределу.
При нормальном приеме величины р, N0 и априорный интервал T постоянны, тогда как E возрастает вместе с временем наблюде­ния. Поэтому при рассмотрении диаграммы начинают слева и постепенно двигаются вдоль горизонтали направо. Вначале количество данных быстро возрастает при постепенном умень­шении ненадежности. Однако после пересечения порога и перехода в рабочую область количество данных возрастает очень медленно и представляет постепенное улучшение точности.
Это явление находится в полном соответствии с идеями стати­стической теории передачи электрических сигналов. Как только приближенное положение цели известно с надежностью, посту­пающая в дальнейшем энергия постепенно увеличивает количест­во данных, которые уже частично известны. Разрешающая спо­собность по дальности возрастает за счет непрерывного уточнения, а не за счет систематического исключения ошибки. По этой причине наиболее эффективная радиолокационная система должна рабо­тать как можно ближе к порогу разборчивости (насколько близ­ко, зависит от допустимой степени ненадежности).
Необходимо подчеркнуть, что в этой работе рассматриваются фазово-когерентные принимаемые колебания и это существенно ограничивает практическое применение теории. Если параметр дальности т был бы сам функцией времени, то вводимые в теории интегралы по времени Nдолжны были бы вычисляться иначе. При этом полный период наблюдения должен быть ограничен интервалом, достаточно малым, чтобы в. пределах его т могла бы рассматриваться как постоянная. В этих условиях нет основа­ния отдать предпочтение (за исключением практических сообра­жений) концентрации используемой энергии в одном периоде модуляции или распределении ее по нескольким периодам. Нет сомнения, однако, что в последнем случае энергия тратится на­прасно, если нельзя использовать длительное фазово-когерентное интегрирование.
В полученные формулы не входит полоса пропускания прием­ника. До тех пор, пока эта полоса достаточно широка, чтобы вклю­чить весь передаваемый спектр, количество данных не изменяется при ее изменении. Выбор формы частотной характеристики за­висит, только от наилучшего способа выделения данных, несомых принимаемыми колебаниями. Эта практическая задача в работе не рассматривается.
Глава III
•
ПРОЕКТИРОВАНИЕ РАДИОЛОКАЦИОННЫХ ПРИЕМНИКОВ НА ОСНОВЕ СТАТИСТИЧЕСКИХ МЕТОДОВ i)
Ф. ВУДВОРД 1. ВВЕДЕНИЕ
Задача этой работы — изложить математический метод (в фор­ме несколько идеализированного примера), при помощи которого в принципе всегда могут быть определены свойства теоретически идеального радиолокационного приемника.
До последнего времени общепринято рассматривать отношение сигнал/шум как основной параметр при проектировании ра­диолокационных приемников. Принимались меры для получе­ния максимально возможного отношения сигнал/шум на выходе приемника. Такой подход представляется в настоящее время оши­бочным, поскольку это отношение не служит мерой фактически получаемых при радиолокационном наблюдении данных. Пу­тем пропускания колебаний через нелинейное устройство отноше­ние сигнал/шум часто может быть искусственно увеличено, не из­меняя вовсе количества данных.
В радиолокации необходимо дать ответ на такие вопросы, как наличие или отсутствие цели, ее дальности, движется ли она и т.- д.
Попытка сконструировать приемник, дающий точные ответы на один или все эти вопросы, оказывается неудачной, так как показания неизбежно искажаются шумами. Но требование авто­матического определения относительных вероятностей всех воз­можных ответов представляется вполне реальным, и никакое при­емное устройство не может, вероятно, дать что-либо большее.
В дальнейшем будет показано, как эта идея используется для решения часто встречающейся задачи — определения времени запаз­дывания периодического сигнала известной формы и амплитуды. В радиолокации это означает измерение дальности до неподвиж­ной цели, наличие которой и сила отраженного ею сигнала из­вестны. Хотя эта задача и имеет искусственный характер, но она достаточна для иллюстрации предлагаемого метода и сама по себе не лишена практического интереса.
Количество данных, несомых радиолокационным сигналом, бы­ло вычислено в другой работе2)без указания какого-либо действи-
1) Ph. М. Woodward, «Information Theory and the Design of Radar Receivers», Proe of the IRE, 39, № 12, 1521 — 1524, December 1951.
2) См. главу II, часть III. (Прим. ред.)
ГЛ. III. ПРОЕКТИРОВАНИЕ РАДИОЛОКАЦИОННЫХ ПРИЕМНИКОВ 279
тельного способа их получения. В настоящей работе делается упор на вопросы проектирования радиолокационного приемника, а не на оценку его действительных качественных показателей.
2. ПРИНЦИП «ОБРАТНОЙ ВЕРОЯТНОСТИ» И ФУНКЦИЯ КОЛИЧЕСТВА ДАННЫХ
Излагаемый метод целиком основан на принципе «обратной вероятности»1), устанавливающем связь между апостериорными и априорными вероятностями гипотез
P(HnIOb) = P(Hn)P(OblHr). S (1)
Здесь Р(Нп I Ob) — апостериорная вероятность гипотезы Hn, после того как результат наблюдения станет известным; P(Hn) — апри­орная вероятность гипотезы Нп\ Р(ОЬ\Нп) — вероятность наблю­дения, если гипотеза Hn правильна. В рассматриваемом случае «гипотезами» являются все возможные временные запаздывания данного периодического сигнала. «Наблюдение» — просто данный принятый сигнал вместе с воздействующими на него шумами, запаздывающий на неизвестный промежуток времени. Предпола­гается, что шумы обладают равномерным спектром и подчи­няются нормальному закону распределения вероятностей.
Следует иметь в виду, что «принятый сигнал» — это не сигнал на выходе приемника, поскольку в этом случае предрешался бы весь вопрос. Речь идет о сигнале на входе приемника, включая и шумы, которые могут быть созданы в самом приемнике.
Априорные вероятности гипотез образуют непрерывное рас­пределение вероятностей для неизвестного временного запазды­вания т. Ради простоты это распределение принимается равно­мерным в промежутке времени, равном одному периоду сигнала. Впрочем, в излагаемую теорию могут быть введены и другие сведения, основанные на предварительном знании.
Наибольшим, что можно определить при помощи приемника на основании принятого сигнала, является апостериорное распре­деление вероятностей для временного запаздывания т. Это распре­деление и является искомыми данными. Наиболее удобно иметь дело с его логарифмом Q(x), который в дальнейшем будет назы­ваться «функцией количества данных».
Тогда уравнение (1) можно написать в виде
Q(x) = Iog Р(ОЬ\ х) + const, (2) где Р(ОЬ\ х) — плотность распределения вероятностей для при­нятого сигнала в случае гипотезы х. Постоянный член есть просто логарифм нормирующего коэффициента апостериорного распреде­ления; в дальнейшем он опущен.
Ц Подробнее см. § 1, глава I, часть III. (Прим. ред.)
280 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
3. ВЫЧИСЛЕНИЕ ФУНКЦИИ КОЛИЧЕСТВА ДАННЫХ
Рассмотрим случай, когда истинное значение временного за­паздывания сигнала есть т0, и запишем принимаемый сигнал при помощи вещественных функций в виде
YQ = G(Z-T0) + /(/). (3)
Здесь G(Z) — высокочастотный сигнал, который был бы принят при отсутствии шумов и временного запаздывания; предполагается, что он известен заранее. Допустим, что G(Z) периодически моду­лирован и хотя удобнее рассматривать импульсный сигнал, теория справедлива для любой периодической модуляции, включая ча­стотную.
Функция /(Z) представляет воздействующие на сигнал шумы. Плотность распределения вероятностей величины /(Z) в любой данный момент времени Z предполагается подчиняющейся нор­мальному закону, но это понятие необходимо обобщить. Можно показать, например, применением теоремы о разложении непре­рывной функции *), либо методами статистической механики, что плотность вероятностей функции шумов /(Z) в целом, обладающая соответствующим числом измерений2), пропорциональна
ехр
. .7Voj
I(f)*dt
(4)
где N0 — средняя мощность шумов в единице полосы частот.
Для наблюдения доступен сигнал F(Z), а не непосредственно временное запаздывание т0, поэтому необходимо поочередно ис­пытать все возможные значения т. При избранной гипотезе т мож­но заключить, что одни шумы должны описываться выражением F(Z) — G(Z—т), для которого плотность вероятностей пропор­циональна
ехр {- Lj IYQ - G(Z - т)]2 dt} (5) Следовательно, согласно уравнению (2):
Q(T)=-Lj [YQ-GQ-*)]* dt. (6)
Таким образом, функция данных пропорциональна интегралу квадрата уклонения принимаемого сигнала от гипотетического, свободного от воздействия шумов, сигнала с временным запазды­ванием т. При изменении гипотетического временного запазды­вания т его значение, обеспечивающее минимум среднеквадра-
1J См. часть I, теорема 13. (Прим. ред.)
2) Подробнее см. § 3,глава I, часть III. (Прим. ред.)
ГЛ. III. ПРОЕКТИРОВАНИЕ РАДИОЛОКАЦИОННЫХ ПРИЕМНИКОВ 281
тичного уклонения от принятого сигнала, соответствует максимуму функции количества данных. С точки зрения наблюдателя именно это значение т есть наиболее вероятная величина временного за­паздывания.
Пределы интегрирования в уравнении (6) выбираются в соот­ветствии с исследуемой частью принятого сигнала; необходимо, чтобы она была равна целому числу периодов повторения моду­ляции. Если разложить подинтегральное выражение на три члена, то оказывается, что интеграл с G2 не зависит от т вследствие пе­риодичности, а интеграл с Y2 по уравнению (3) зависит от т0, но не от т. Следовательно, эти два члена можно исключить из выра­жения для Q(x), так как все величины, не зависящие от т, можно включить в ранее опущенный нормирующий множитель. Тогда остается
QW = ify(W-T)d7- (7>
Можно сказать, что подинтегральное выражение существует для всех значений Z, но т сосредоточено внутри некоторого про­межутка с определенными, заранее фиксированными, пределами, скажем, между 0 и R—периодом повторения сигнала G(Z). Об­ласть существования подинтегрального выражения может быть представлена схематически в виде полосы бесконечной длины в направлении Z, шириной R в направлении т (фиг. 1).
Если необходимо образовать функцию количества данных QU), чтобы она представляла все данные, содержащиеся в приня­том сигнале F(Z) в интервале (О, R), то Y(t)G(t—т) должно быть
т
я
В D
W
А
/
0 R 2
Я
Фиг. 1. Два метода интегрирования данных о дальности цели.
проинтегрировано по Z в пределах от 0 до R для каждого значе­ния т, как это показано на фиг. 1 заштрихованным квадратом. Последующие наблюдения отраженных сигналов связаны, оче­видно, с дальнейшими этапами интегрирования, пределы которых всегда будут отмечаться на диаграмме вертикальными линиями.
Неудобство этого процесса с практической точки зрения со­стоит в том, что все данные, накопленные за один какой-то интер­вал, становятся доступными мгновенно в конце интервала, а за­тем следует перерыв, пока выполняется новое интегрирование.
Существует другой более естественный, хотя математически
282 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
и менее прямой метод. При выполнении интегрирования не в после­довательных квадратах, а в параллелограммах, как показано на диаграмме, функция количества данных становится известной постепенно во времени от т=0 до T=R (от Л до В на графике). В тот момент времени, когда достигнута точка В, начинается новый цикл от С до D. Таким образом, устанавливается зависимость меж­ду т. и Z, имеющая как бы форму пилообразной кривой временной развертки.
Этот процесс «прогрессивного» интегрирования соответствует, конечно, не фиксированным пределам в интеграле уравнения (7), а пределам, совместно перемещающимся во времени. Действитель­но, значение функции количества данных в момент времени Z= =/zR+t, где п относится к n-му циклу развертки, а т заключено между OhR, равно
/
QnW =Ufy(W--C) Л. (8)
t-R
С точки зрения математического исследования неудобно, что функция количества данных есть логарифм распределения апосте­риорных вероятностей для т только в том случае, когда пределы интегрирования постоянны. Другими словами, каждое гипотети­ческое значение т должно быть испытано, строго говоря, на одной и той же части принятого сигнала. Здесь нет возможности подробно рассмотреть этот вопрос, следует только указать, что «прогрес­сивное» распределение вероятностей
Рп(т) = е (9)
(нормирующий множитель опущен) достаточно для всех практи­ческих целей как точное апостериорное распределение. В част­ности, если данные, полученные в последовательные периоды принятого сигнала, объединяются либо путем суммирования Qn по п, либо перемножением Pn, результирующее распределение отличается от истинного апостериорного распределения только вследствие краевых эффектов, которые постепенно уменьшаются.
4. ИДЕАЛЬНЫЙ ФИЛЬТР, ВКЛЮЧЕННЫЙ ПЕРЕД ДЕТЕКТОРОМ
Функция количества данных, определяемая уравнением (8)* допускает очень простую интерпретацию. Форма этого выражения» представляющего линейную суперпозицию, аналогична выражению для сигнала на выходе линейного фильтра. Действительно, это— сигнал на выходе фильтра в момент времени t=nR+x при подаче на вход принимаемого сигнала Y(f). При этом импульсивная реак-
ГЛ. III. ПРОЕКТИРОВАНИЕ РАДИОЛОКАЦИОННЫХ ПРИЕМНИКОВ 283
ция фильтра определяется как
(LG(Z —х), 0<Z<R, S(Z)-L V ^ ^ (10)
(О, Z<0 и Z>R.
Подобный фильтр (если не считать коэффициента пропорцио­нальности Lj был рассмотрен Ван-Влеком и Миддльтоном1),
показавшими, что он является единственным линейным фильтром, обеспечивающим максимум отношения импульсного сигнала к шумам. (Это свойство не имеет, однако, значения для излагаемрй теории.) Амплитудно-частотная характеристика фильтра имеет такую же форму, что и амплитудный спектр одного периода вход­ного сигнала G9 а его фазово-частотная характеристика по абсолют­ным значениям равна, а по знаку противоположна фазовому спектру G.
Конечно, на выходе фильтра получается модулированный высо­кочастотный сигнал. Если его пропустить через выпрямитель с по­казательной характеристикой, соответствующей уравнению (9), то он будет описываться выражением, аналогичным уравнению «прогрессивного» распределения апостериорных вероятностей для т. Выше уже указывалось, что если данные, полученные в отдельные периоды, должны быть объединены, то/перед выпрямлением не­сколько циклов Q может быть сложено вместе. Эта операция пред­ставляет собой просто фазово-когерентное сложение, производимое от импульса к импульсу. Его следует делать только в том случае, когда т совершенно не зависит от BpeivfeHH, как до сих пор пред­полагалось.
Действие этого идеального фильтра сводится к тому, что выход­ной импульсный сигнал становится сходным с особенно большим выбросом шумов; все структурные особенности, отличавшие перво­начально сигнал от шумов, устранены и преобразованы в разницу по амплитуде. Это может показаться странным, поскольку сигнал и шумы на выходе имеют разные спектры мощности. К тому же, если сигнал на входе представляет собой прямоугольный импульс, шумы на выходе можно рассматривать как множество перекры­вающихся прямоугольных импульсов, тогда как сигнал на выходе будет треугольным импульсом. Остается, однако, фактом, что множество прямоугольных импульсов, перекрывающихся на микроскопических интервалах при образовании шумов, под­чиняющихся нормальному закону, создает такой фон, на котором невозможно различить очертания одиночного треугольного им­пульса. Если бы действительно особенности структуры выходно-
1J Дж. В а н-В лек и Д. Миддльтон, «Теоретическое сравнение визуального, слухового и инструментального приема импульсных сигналов при наличии шумов», Journ. AppL Physics, 17, 940, ноябрь 1946.
284 ЧАСТЬ III. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В РАДИОЛОКАЦИИ
го сигнала можно было бы еще использовать, то мы тем самым пришли бы к абсурдному заключению, поскольку уже отмечалось, что наиболее вероятное значение х получается при выборе вы­ходного сигнала наибольшей амплитуды независимо от его формы.
5. ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Как было показано, распределение апостериорных вероятно­стей для временного запаздываниях принимает форму, аналогич­ную форме модулированных высокочастотных колебаний на вы­ходе линейного фильтра, искаженных по амплитуде или «выпрям­ленных» устройством с показательной характеристикой. Это, есте­ственно, приводит к такой функции от х, огибающая которой при достаточно большом сигнале имеет пик вблизи истинного зна­чения х0. Под огибающей этой функции лежит множество тонких пиков, создаваемых несущей частотой.
Эта тонкая структура представляет последовательность вероят­ных и невероятных значений х, возникающих при сравнении фа­зы несущей частоты в функциях F(Z) и G(Z). Когда создаваемое этой тонкой структурой весьма ненадежное знание дальности не представляет интереса, она может быть устранена путем сглажи­вания иди «детектирования» апостериорного распределения та­ким образом, чтобы сохранить площади в интервалах высокоча­стотных периодов. Действительно, когда х изменяется со временем достаточно быстро, чтобы воспроизвести данные, заключенные в высокочастотной структуре распределения, от одного периода развертки до следующего, *но недостаточно быстро, чтобы это зна­чительно сказалось на модуляции, данные последующих периодов могут быть объединены только после устранения высокой частоты.
Апостериорные распределения после «детектирования» должны быть перемножены, либо произведено сложение их логарифмов. Таким путем однозначно определяется идеальная характеристика детектирования (имеющая форму Iog I0, где I0 — модифициро­ванная функция Бесселя), если после детектирования должно быть произведено последовательное суммирование импульсов.
В настоящей работе не делается попытка развить теорию даль­ше или устранить из нее принятые допущения. Из сказанного долж­но быть ясно, что задача получения всех данных из сигнала, иска­женного шумами, в принципе может быть однозначно решена одним универсальным методом. Для этого необходимо сформули­ровать вопрос, написать распределение апостериорных вероятно­стей для всех возможных ответов на этот вопрос и интерпретиро­вать полученное выражение конкретным физическим устройством. Таким образом, задача расшифровки сигналов исключается, по­скольку апостериорное распределение и представляет исщмые данные.
КРАТКИЙ УКАЗАТЕЛЬ ЛИТЕРАТУРЫ
А. Н. Колмогоров, Основные понятия теории вероятностей, ОНТИ, 1936. А. Я. Хинчин, Основные законы теории вероятностей, ГТТИ, 1932. Б. В. Г н е д е н к о, Курс теории вероятностей, ГТТИ, 1950. Г. Крамер, Случайные величины и распределения вероятностей, ГИИЛ, 1947.
М. А. Лео н то вич, Статистическая физика, ГТТИ, 1944.
A. А. Харкевич, Спектры и анализ, ГТТИ, 1952.
И. С. Г о н о р о в с к и й, Частотная модуляция и ее применение, Связь-издат, 1948.
B. Л. Грановский, Электрические флуктуации, ОНТИ, 1936.
В. И. Б у н и м о в и ч, Флюктуационные процессы в радиоприемных устрой­ствах, Советское радио, 1951.
А. Я. Хинчин, Теория корреляции стационарных стохастических про­цессов, „Успехи математических наук", вып. 5, 1938.
A. Н. Колмогоров, Статистическая теория колебаний с непрерывным
спектром, Юбилейный сборник АН СССР, т. I, 1947.
B. А. Котельников, О пропускной способности „эфира" и проволоки
в электросвязи, „Материалы к I Всесоюзному съезду по вопросам тех­нической реконструкции связи", 1933. В. А. Котельников, Проблемы помехоустойчивой радиосвязи, „Радио­технический сборник", Госэнергоиздат, 1947.
B. И. С и фор о в, О влиянии помех на прием импульсных сигналов, „Ра-
диотехника", № 1, 1946.
C. В. Бородич, О помехоустойчивости связи с импульсно-кодовой моду-
ляцией, „Радиотехника", № 5, 1949. В. И. Бунимович и М. А. Леонтович, О распределении числа больших отклонений при электрических флуктуациях, „Доклады АН", новая серия, вып. 1, 1946.
ОГЛАВЛЕНИЕ
Предисловие 3
Часть I
К. Шэннон. Статистическая теория передачи электрических
сигналов 7
Введение 7
Глава L Дискретные системы без шумов И
1. Дискретный канал без шумов . И
2. Источник дискретных сообщений ... t4
3. Графическое представление цепей Маркова 16
4. Эргодические и смешанные источники . 1 /
5. Выбор, неопределенность и „энтропия" 19
6. „Энтропия" источника сообщений . . . . 23
7. Представление процессов кодирования и декодирования 27
8. Основная теорема для канала без шумов . 28
9. Обсуждение результатов и примеры 31
/ лава II. Дискретный канал с шумами 35
10. Представление дискретного канала с шумами . 35 И. Ненадежность и пропускная способность канала ... 36
12. Основная теорема для дискретного канала при наличии
шумов..... . 39
13. Обсуждение результатов 43
14. Пример дискретного канала .... 44
15. Пропускная способность канала в некоторых специаль-
ных случаях ^ ... . 46
16. Пример эффективного кодирования 48
Глава JlI. Непрерывные сообщения . 49
17. Множества и ансамбли функций . 49
18. Ансамбли функций с ограниченной полосой частот 53,
19. «Энтропия» непрерывного распределения 54
20. «Энтропия» ансамбля функций..... 57
21. Потеря «энтропии» в линейных фильтрах . 59
22. «Энтропия» суммы двух ансамблей функций 61
Г лава IV. Канал с непрерывной передачей . . 63 *23. Пропускная способность канала с непрерывной пере­дачей . . .................. 63
24. Пропускная способность канала при ограничении сред-
ней мощности...... .......... 65
25. Пропускная способность канала при оградичении пико-
вой мощности . 69
Глава V. Скорость создания сообщений для непрерывного источ­ника ............... 73
26. Функции оценки верности воспроизведения . . 73
27. Скорость источника при данной оценке верности 76
28. Вычисление скорости создания сообщений 78
Приложение 1 80
Приложение 2 80
Приложение 3 82
Приложение 4 83
Приложение 5 84
Приложение 6 85
Ч а ст ь II
С. Райе. Теория флуктуационных шумов 88
Глава I. Дробовой эффект 88
1.1. Вероятность поступления на анод точно К электронов
за промежуток времени T . .88
1.2. Теорема о наложении случайных возмущений 89
1.3. Доказательство теоремы о наложении случайных воз­мущений . . 91
1.4. Распределение тока I(t) . 93
1.5. Обобщение теоремы о наложении случайных возмуще-
* ний . . 95
1.6. Сходимость распределения тока / к нормальному за­кону ... . . 99
1.7. Составляющие Фурье тока / (t) 100
Глава П. Энергетический спектр и функция корреляции 104
2.1. Некоторые результаты обобщенного гармонического анализа ... . 105
2. 2. Энергетический спектр для постоянной и периодичес­кой составляющих . . . 106
2.3. Обсуждение выводов первого раздела — ряды Фурье 108
2. 4. Обсуждение выводов первого раздела — теорема Парсе-
валя . . . НО
2.5. Гармонический анализ случайных функций 112
2.6. Первый пример — дробовой эффект . 114
2.7. Второй пример — случайный телеграфный сигнал 118
2.8. Представление тока шумов . . 121
2.9. Нормальное распределение нескольких переменных 123
2.10. Центральная предельная теорема 124
Глава 111. Статистические свойства флуктуационных шумов 126
3. 1. Распределение тока шумов 126
3.2. Распределение /(/) и I(t+z) 12^ г3.3 Ожидаемое число нулей в 1 сек. 131
3.4. Распределение нулей .... 137 3. 5. Кратные интегралы, входящие в формулы 147 3.6. Распределение выбросов тока шумов . . 151
3. 7. Плотность вероятностей для огибающей тока шумов 155 V- 3. 8. Выбросы огибающей 159.
3.9. Флуктуации энергии . . . 167*
3.10. Распределение суммы из тока шумов и синусоидально­го тока ... .... . 178
3.11. Некоторые дополнения о токах дробового эффекта 187
Глава IV. Прохождение сигнала и шумов через нелинейные уст­ройства . 189
4. 1. Ток низкой частоты на выходе квадратичного детек-
тора . . ..... ......^. 189
4. 2. Tq^ низкой частоты на выходе линейного детектора 192 4. 3. Некоторые статистические свойства тока на выходе не­линейного устройства общего типа 196 4.4. Выходной энергетический спектр 204
4.5. Энергетический спектр на выходе устройства с квадра­тичной характеристикой ..... 205
4.6. Два метода функции корреляции . .... .211
4.7. Линейное детектирование шумов — первый метод 212
4. 8. Метод характеристической функции ........215
4. 9. Энергетический спектр на выходе нелинейного устрой­ства общего типа . ........ . . . 218
4. 10. Некоторые результаты, полученные методом функции
корреляции . ............... 223
Приложение 4 А. Таблица нелинейных устройств, описывае­мых интегралами ... . 230
Приложение 4 В. Функция 1F1(a; с\ х) . .......231
Приложение 4С. Энергетический спектр, соответствую­щий Г 233
X
Часть III
Применение статистических методов в радиолокации 239 Глава I. Ф. Вудворд и И. Дэвис. Принцип «обратной веро- *
ятности» в теории передачи сигналов . . . 239
1. «Обратная вероятность» и передача сообщений 239
2. Теория получения данных..... . 243
3. Шумы и апостериорное распределение 248
4. Корреляционный приемник . . . 251
5. Заключение и обсуждение результатов 254 Приложение 256
Глава IL Ф.7 Вудворд и И. Дэвис. Статистическая теория
приема радиолокационных сигналов 258
1. Введение ....... . . 258
2. Математическое представление колебаний . . 260
3. Основы теории радиолокационного наблюдения 262
4. Функции, сигнала и шумов 266
5. Точность измерения дальности 268
6. Ненадежность наблюдения . . .... 271
7. Количество данных при радиолокационном наблюдении 273
8. Обсуждение результатов 275
Глава III. Ф. Вудворд. Проектирование радиолокационных
приемников на основе статистических методов 278
1. Введение ... . . .... 278
2. Принцип «обратной вероятности» и функция количества данных . . 279
3. Вычисление функции количества данных . . 280
4. Идеальный фильтр, включенный перед детектором 282
5. Обсуждение результатов . .284
Краткий указатель литературы JJ 285
Редактор Л. Б. БАСКАКОВА Технический редактор А.В. Вилленева Корректор А. С. Кириллова Сдано в производство 22/ХП 1952 г. Подписано к печати 17/Ш 1953 г. А02085. Бумага <TOX92Vie=9 бум. л.-18 печ. л. Уч.-изд. л. 18,5. Изд.*» 15/1981. Цена 14 р. 45 к. Зак. № 974.
20-я типография „Союзполиграфпрома* Гдавиздата Министерства культуры СССР* Москва, Ново-Алексеевская, 52.