< Previous | Contents | Next >
ГЛ. I. ПРИНЦИП cOBPATHOl'I ВЕРО.ЯТНОСТИ,о 243
апостериор.ных распределений (3/ 4, 1 / 4) и (½, ½) дает априорное распределение (5/ 8 , %).
При применении «обратной вероятности» к задачам теории пе редачи сигналов первый основной шаг сводится к оценке Рх(У), представляющем статистические свойства шумов в наиболее под ходящем для решения задачи виде. Это часто оказывается значитель но более сложным, чем может показаться из приведенных рас суждений, поскольку у не всегда является таким простым, как
«зеленый» или «красный» сигнал. В общем случае у будет представ лять полный сигнал, как, например, телеграфная посылка или от раженный сигнал радиолокационной станции, плюс шумы.
Однако при этом не возникают какие-либо принципиальные затруднения, поскольку можно рассматривать полный сигнал как последовательность ординат кривой напряжения и вычислить Px(Yi, у2, у3 ••• ) как многомерное распределение вероятностей сов мещения. Этот вопрос более детально рассмотрен в§ 4.
2. ТЕОРЩI ПОЛУЧЕНИЯ ДАННЫХ
1-j_зв о, что определенный выбор между двумя равновозмож- ным событиями соответствует одной двоичной единице количества да пых, а выбор между п равновозможными событиями - log2n двоичным единицам. В этом рассуждении предполагается полная определенность результата выбора, однако часто прием сигнала приводит только к изменению относительных вероятностей для ряда событий, без четкого выделения одного· из них как достовер ного. Поэтому необходимо разработать более общее определение, сводящееся к этому более простому, когда нет апостериорной неопределенности. Это и было сделано Шэнноном.
Настоящее изложение основано на работе Шэннона, но отличает ся своим подходом к задаче и исходными постулатами, поскольку вначале рассматривается действительно переданное количество данных, а не усредненное количество или средняя скорость передачи. Впрочем, определения Шэннона легко отсюда получают ся, а некоторые его основные результаты кратко упоминаются в дальнейшем.
Начнем с двух следующих аксиом относительно аддитивности к9личества данных.
1. Если последовательно посылаются два сигнала, представля ющие одно сообщение, а наблюдатель рассматривает апостериорную вероятность после приема первого сигнала как априорную вероят ность перед приемом второго, то полное увеличение количества данных относительно этого сообщения равно сумме количества данных от каждого сигнала.
2. Если посылаются два сиrщ1ла, ·представляющие два неза висимых сообщения, то полное увеличение количества данных от-