<< Предыдущая

стр. 17
(из 50 стр.)

ОГЛАВЛЕНИЕ

Следующая >>

Энтропия Энтропия
I ИХ;Y) = 0,0157 бит \ H(Y) =
Н(Х)=
0,8113 бит I ^^^^^^^ 0,9544 бит


Посторонняя информация ЩУ/Х) = 0,9387 бит


Рис. 7.8. Диаграмма информационных потоков связанных
источников.
^96 Глава 7. Дискретные каналы без памяти

4. Энтропия источника Z равна



Полученным результатам можно дать следующую интерпретацию.
Энтропия источника Z равна совместной энтропии двоичнь!х источ-
ников X и У. Энтропия источника Н(Х) равна 0,8113, остальные
0,9387 бит вносит условная энтропия H(Y/X) согласно (7.7).
5. По аналогии с заданием 2, находим
1/2 4
Pz(0)
_ =_ = -

Рг(1) 1/4 2
˜ з78 - з
1/8' 1
= (7 28)
р 5 -
1/8 _ 1
3/8-3
и получаем матрицу канала
(7 2
Р
(7
-
Диаграмма канала и диаграмма информационных потоков ноказаны
на рис. 7.9 и рис. 7.10.
ИСТОЧНИК У
ИСТОЧНИК X л/с
0
0
2/3
1/5



Рис. 7.9. Двоичный канал.
Утечка информации
H(Y/X) = 0,9387 бит

Энтропия на
выходе канала

Н(Х) =
0,8113 бит


Посторонняя информация
ЯДО9 =0,7956 бит


Рис. 7.10. Диаграмма информационных потоков.
7.4- Выводы

7.4. Выводы
Все определения и величины, рассмотренные в предыдущих разде-
лах, обобщены в таблицах 7.2 и 7.3. Следует обратить особое внима-
ние на переходы от теории вероятностей к теории информации.
При этих переходах выходные символы дискретных источников
без памяти рассматриваются как исходы случайных экспериментов.
В соответствии с вероятностями этих исходов, каждому символу при-
писывается некоторая информационная мера, равная логарифму ве-
роятности его появления. Заметим, что вероятности символов можно
рассматривать как стохастические переменные.
При переходе от вероятностей символов к их информационному
содержанию, вводится новая величина, не имеющая аналога в теории
вероятностей - взаимная информация, которая возникает при анали-
зе пар совместных событий (ж, у). Взаимная информация определя-
ется как логарифм отношения апостериорной вероятности символа у
р(у/х) к его априорной вероятности р(у) и служит информационной
мерой связности двух событий.
Для описания источников используются средние значения ин-
формации символов, генерируемых источником. Таким образом, вво-
дится понятие энтропии как математического ожидания количества
информации отдельных событий (символов) или пар событий. При
этом, особую роль играет взаимная информация. Ее математическое
ожидание I(X;Y) является мерой передаваемой информации и ха-
рактеризует связь между двумя источниками X и Y, т.е. описывает
среднее количество информации, которой обмениваются между со-
бой источники по каналу связи. Основополагающее значение вели-
чины I(X; Y) будет подробно раскрыто в следующих разделах.
98 Глава 7. Дискретные каналы без памяти

Таблица 7.2. Дискретные источники без памяти X и У с сим-
волами х ? X — {ж1,Ж2, • • • ,хм} и у 6 Y =
{уьУ2, ••-,!/w}-

Теория вероятностей Теория информации

Информация отдельного символа
Вероятность отдельного символа
(априорная вероятность)
/(x) = -!og 2 p(z)6HT (7.30)
р(х)



Информация пары символов
Совместная вероятность двух
символов
(7.31)



Условная вероятность (апостери- Условная информация
орная вероятность)
(7.33)
р{х,у) 1(у/х) = - log2 p(y/x) бит
(7.32)
р(х/у) =
Р{У)
р(у/х) = У(х,у)



Взаимная информация

/(*;»)=•




апостериорная инф.
бит =
априорная информ.
(7.34)
бит
р(х)
р(х)


Обозначения Некоторые важные соотношения, ис-
пользуемые для расчетов
р(х) = Рх (х.) для х, 6 X
]Гр(х) = 1;
р(х/у) = Px/r(xi/yj) для Xi € X




53 Р( = р(^); 5Z
Ж
. У)
У X
99)
74- Выводы



Таблица 7.3. Описание «в среднем» дискретных источни-
ков без памяти с символами х ? X =
иу GY = {уиУ2,-.-,ук}-
{XI,X2,--.,XM}




Н(Х) = — 2_, р(х) log2p(x) бит (7.35)
ч
Энтропия X

H{Y) = — У ' Р{у) 1°ёг Р(У) ^ит
у




Совместная энтропия
H(X,Y) = -??p(i,J/)log2p(x,y) (7.36)
У
X




H{X/Y) = -??p(x,s/)log2p(x/!/) (7.37)
Условная энтропия У
X
Я(У/Х) = -??p(*,2/)l°g2p(!//x)
У
X




7(ЛГ;У-) = (7.38)
Передача информации v^ v ^ , ч, апостериорная вер.
> > р(х, у) log2 — —
априорная вер.
хY


Р
X У ^'



' ) ^ х -'
х у


Некоторые важнейшие
зависимости (знак
Н{Х) > H(X/Y) и Я(У) > H(Y/X) (7.39)
равенства справедлив
только для независи-
мых источников) Н(Х) + H(Y/X) = (7.40)
Н(Х, Y) =
= H(Y) + H(X/Y)

(7.41)
Н(Х, Y) = Н{Х) + H(Y) - I(X; Y)
(7.42)
I(X;Y)>0
Глава 7. Дискретные каналы без памяти

7.5. Пропускная способность канала
Величина I(X; Y) играет особую роль в теории информации и опи-
сывает передачу информации по каналу связи. Из определения (7.9)
следует, что I(X; Y) зависит как от переходных вероятностей кана-
ла, так и от распределения вероятностей символов на входе канала.
Для дальнейших рассуждений рассмотрим дискретный канал без
памяти с фиксированными переходными вероятностями и зададим-
ся вопросом: Какое максимальное количество информации можно
передать по данному каналу?
Пропускная способность канала с заданными переходными вероят-
ностями равна максимуму передаваемой информации но всем вход-
ным распределениям символов источника X
С = max I{X\Y). (7.43)
Замечание. Размерность пропускной способности бит/символ.
Если, например, по каналу передается один символ в сек, то можно
также говорить о размерности бит/сек.

Так как максимум ищется но всем допустимым входным источ-
никам, то пропускная способность зависит только от переходных ве-
роятностей канала.
С математической точки зрения, поиск пропускной.способности
дискретного канала без памяти сводится к поиску распределения ве-
роятностей входных символов источника, обеспечивающего макси-
мум информации I(X;Y). При этом, на вероятности входных сим-
волов х € X накладываются ограничения
О < р{х) < 1 и ^р(х) = 1. (7.44)
х
В принципе, определение максимума 1(х, у) при ограничениях (7.44)
возможно при использовании мультипликативного метода Лагран-
жа. Однако, такое решение требует чрезмерно больших затрат. В
частном случае (симметричные каналы) найти пропускную способ-
ность помогает следующая теорема [10].

Теорема 7.5.1. В симметричных дискретных каналах без памяти
пропускная способность достигается при равномерном распределе-
нии вероятностей входных символов источника X.
Замечание. В [10} приводится также метод, позволяющий опре-
делить, является ли канал симметричным или нет.
101
7.5. Пропускная способность канала

<< Предыдущая

стр. 17
(из 50 стр.)

ОГЛАВЛЕНИЕ

Следующая >>