< Previous | Contents | Next >
ГЛ. 1. ДИСI<РЕТНЫЕ СИСТЕМЫ БЕЗ ШУМОВ 21
х, то будем обозначать «энтропию» через Н(х); таким образом,
х - не аргумент функции, а лишь знак, отличающий ее от Н(у)
т. е. от «энтропии» случаиu ноиu величины у. '
На фиг. 6 представлена в виде функции от р «энтропия» в случае двух возможностей с вероя:гностями р и q= 1-р, а именно:
Н =-(p1og p+q1og q).
(дsоич.ед.) | ||||||||||
/ | ---...... | "" | ||||||||
/ | "" | |||||||||
' | / | \ | ||||||||
/ | \ | |||||||||
/ | \ | |||||||||
J | \ | |||||||||
/ | \ | |||||||||
/ | \ | |||||||||
,/ | \ ' | |||||||||
(дsоич.ед.) | ||||||||||
/ | ---...... | "" | ||||||||
/ | "" | |||||||||
' | / | \ | ||||||||
/ | \ | |||||||||
/ | \ | |||||||||
J | \ | |||||||||
/ | \ | |||||||||
/ | \ | |||||||||
,/ | \ ' | |||||||||
(дsоич.ед.) | ||||||||||
/ | ---...... | "" | ||||||||
/ | "" | |||||||||
' | / | \ | ||||||||
/ | \ | |||||||||
/ | \ | |||||||||
J | \ | |||||||||
/ | \ | |||||||||
/ | \ | |||||||||
,/ | \ ' | |||||||||
н
1,0
0,9
0,8
0,7
О,б
0,5
0,4
0,3
0.2
O,J
0,J 0,2 0,3 0.4 0,5 0,6 0,7 0,8 0,9 1,0
р
Фиг. 6. «Энтропия» в случае двух возможностей с вероятностями р и (1-р).
Величина Н обладает рядом интересных свойств, которые под тверждают правильность применения ее в качестве рациональной меры возможности выбора.
1. Н=О только в том случае, если все вероятности pi, кроме
одной, равны нулю, а эта единственная вероятность равна единице. Таким образом, Н равна нулю только в случае полной определенно сти исхода опыта. В остальных случаях Н больше нуля.
физике связано вполне определенное физическое содержание, то во-из бежание возможных недоразумений из-за формалистической терминологии автора в дальнейшем слово «энтропия» поставлено в кавычки. Следует иметь в виду, что в .р;анном случае «энтропия» есть не больше, чем краткое название величины Н =°f.p;log Pi, где Pi - вероятность появления некото
рого события i. (Прим. ред.)
