< Previous | Contents | Next >
20 ЧАСТЬ I. СТАТИСТИЧЕСКА.Я ТЕОРИЯ ПЕРЕдАЧИ СИГНАЛОВ
имеет место большая возможность выбора или большая неопреде ленность, чем в тех случаях, когда имеются и более вероятные и менее вероятные события.
З. Если выбор распадается на два последовательных этапа, то
исходное Н будет взвешенной суммой индивидуальных значений Н.
Смысл этого иллюстрирует фиг. 5. Слева имеются три возможности
f2l с вероятностями Р1= 1 , Р2= 1 , Ps=r1;"
2 3
f/з Справа сначала выбираем между дву-
1 мя возможностями с вероятностями 1/ ,.
J/в и в случае второй возможности делаем еще выбор между возможностями с ве
2/3 3•
2/3 3•
2/3 3•
Фиг. 5. l'азличные случаи роятностями и 1/ Окончательные
выбора.
+
+
+
результаты имеют те же самые вероят- ности, как и прежде. В этом частном случае требуется, чтобы
н(+ {, +) = н(-½-, )+-½- н( ;·. +)·
Коэффициент ½ появился потому, что выбор на втором этапе происходит только в половине общего числа случаев.
В Приложении 2 обосновывается следующий вывод:
Теорема 2
Единственной формой Н, удовлетворяющей трем указанным предположениям, является форма
п
п
п
Н = -К L Pi logpi>
i=t
где К - положительная постоянная.
Эта теорема, как и предположения, используемые для ее до казательства, имеют для данной теории второстепенное значение. Она дана главным образом для того, чтобы подкрепить законо мерность наших дальнейших определений.
Величины вида Н =- pilog Pt (постоянная К определяет только,
1
1
1
единицу измерения) играют центральную роль в теории передачи. сообщений в качестве мер возможности выбора и неопределенности. Форма величины Н такова же, как и энтропии, определяемой в,
статистическоиu механике, где р - вероятность того, что система'
1
находится в ячейке i своего фазового пространства.
Уславимся называть Н =- Pi log Pi <<энтропией»Ч совокупностlf
вероятностей р1, •.• , Рп· Если случайная переменная обоэ!lачена
1 > Автор вводит термин «энтропия& на основании чисто внешнего сход ства выражения для введенной им величины Н с выражением для энтропии в общепринятом значении. Поскольку с понятием энтропии в статистической
