<< Предыдущая

стр. 16
(из 50 стр.)

ОГЛАВЛЕНИЕ

Следующая >>




нат

Так как, в силу сделанного, нами ограничения, суммы берутся только
по парам (х, у), для которых р(х, у) ф 0, аргумент логарифмической
функции v ? s всегда имеет отличное от нуля конечное положитель-
ное значение, поэтому, используем оценку (2.19)



нат


(7Л4)
^V
у Р(Ф)
х




0ФЫ 1 < о.
X Y



Если бы (7.12) не выполнялось, передача информации не снижала
бы энтропии (т.е. определенность источника не повышалась бы).
То, что переданная информация всегда неотрицательна и все-
гда справедливы равенства (7.11) и (7.7), лишний раз подтверждает
справедливость следующих утверждений:

Любое ограничение не может повышать неопределенность источ-
ника
(7.15)
Н(Х) > H(X/Y).
91
7.3. Передача информации


Совместная энтропия достигает своего максимума, когда источ-
ники независимы

ЩХ, Y) < Н(Х) + H(Y). (7.16)

Найденные зависимости можно наглядно пояснить при помощи
диаграммы потоков информации (рис.7.5). Диаграмма помогает уяс-
нить смысл условных энтропии H{X/Y) и H(Y/X).

Утечка информации
H(X/Y)



Энтропия на
входе Энтропия на
Переданная информация
канала Н(Х) выходе
канала Н(?)
H(X)-H(X/Y)= I(X; Y)=H(Y)-H(Y/X)




Н(?/Х)
Посторонняя информация


Р и с . 7.5. Диаграмма информационных потоков.

H{X/Y) - определяет среднюю меру неопределенности посланно-
го символа источника X в том случае, когда символы приемника ис-
точника У известны, т. е. оставшуюся неопределенность приемника.
Величину H(X/Y) часто называют также «утечкой» информации,
так как энтропию Н(Х) можно интерпретировать как собственную
информацию источника X, Н(Х) = 1(Х;Х). В бесшумном канале
H(X/Y) = 0 информация передается от источника X к источнику
Y и обратно без потерь (без «утечки»). Если канал полностью за-
шумлен, то H(X/Y) = Н(Х) и никакой передачи информации не
происходит («утекает» вся информация).
H(Y/X) - определяет среднюю неопределенность принятого сим-
вола при известных посланных символах, поэтому ее называют «по-
сторонней» шумовой информацией.
Передачу информации по зашумленному каналу можно рассмат-
ривать как серию случайных экспериментов, которые способствуют
снижению неопределенности. С точки зрения теории информации,
канал является источником шумов.
Глава 7. Дискретные каналы без памяти

Пример: Передача информации по двоичному симметричному
каналу (ДСК).
Поясним физический смысл величины 1(х; у) на примере ДСК
(рис. 7.2). Для двоичного симметичного канала имеем

(7.17)


Как видим, I(X; Y) зависит только от двух параметров - веро-
ятности ошибки в канале и вероятности появления символа х\ на
выходе канала p(xi). При этом выполняются следующие выражения

= р И р(х2) = 1 - р
e (7.18)
\p{yi/x2)p{y2/x2)J \ e 1-е
= (1 - е)р + е(1 - р) и р(у2) = 1 - р(у\)
р{у\)
Р(ХиУг)




0.4 р -


Рис. 7.6. Передача информации по двоичному симметрич-
ному каналу с вероятностью ошибки е для раз-
личных значений вероятности символа на входе
канала р.

Результаты вычислений для I(X;Y) при различных р и ? пред-
ставлены на рис. 7.6 в виде семейства кривых I(X; Y) = f(p) при
? — {0.05,0.1,0.2,0.4,0.5}. В канале без шума е = 0 передача ин-
формации происходит без искажений и информация I(X; Y), в этом
случае, равна энтропии Н(х) на входе канала. С увеличением уровня
шума, вероятность ошибки е повышается, а количество переданной
7.3. Передача информации

информации снижается, причем, относительно малый уровень шу-
ма е =«0,05 приводит к заметному снижению I(X;Y). В.полностью
зашумленном канале ? = 0,5 передача информации невозможна.
Интересно отметить, что при фиксированных значениях е, ин-
формация I(X;Y) существенно зависит от вероятности р на входе
канала. При р = 1/2 через канал передается максимальное количе-
ство информации. В разделе 7.5, в котором будет введено новое по-
нятие - пропускная способность канала, это свойство I(X; Y) будет
рассмотрено подробно.
Пример: Связанные источники.
Мы хотим дополнительно пояснить смысл энтропии на числовом
примере. Для этого мы предлагаем такую конструкцию связанных
источников, в которой все интересующие нас величины могут быть
достаточно просто подсчитаны.
В таблице 7.1 задан дискретный источник без памяти Z с сим-
волами из алфавита {0,1,2,3} и соответствующими вероятностями
символов. Каждый символ z\ кодируется двоичным кодом с первым
битом Xi и вторым битом 2/i- Мы будем интерпретировать "эти биты
как символы двух связанных источников X nY.
Таблица 7.1. Источник Z и его двоичное кодирование.

i z. Pz(Zi) У
X


1 0 1/2 0 0
2 1 1/4 1
0
2
3 1/8 1 0
4 3 1/8 1 1



Выполните следующие задания:

1. Опишите источники X uY;

2. Установите связь между источниками X и Y в форме моде-
ли канала, в которой источник X является входом канала, а
источник Y - его выходом;

3. Приведите для задания 2 диаграмму информационных потоков
и найдите для этой диаграммы числовые значения энтропии;

4. Найдите энтропию источника Z;
94 Глава 7. Дискретные каналы без памяти
L




5. Выполните задания 2 и 3, считая источник У входом канала.
Решение.
1. Начнем с описания источников X и Y. Оба источника явля-
ются дискретными источниками без памяти. Используя таблицу 7.1,
найдем распределение вероятностей символов 0 и 1 для каждого из
них

^H (7.19)




(.0
72 )

Согласно (2.34), энтропии источников равны

та = -2.о б ! (5)Л 1 о е 2 (^„, 8 Ш , (7ЛЦ




2. Модель канала представляет собой двоичный канал с симво-
на
лами х\ и Х2 на входе и символами у\ и 22 / выходе. Канал может
быть задан матрицей переходных вероятностей (7.1), содержащей ве-
роятности p{jjj/xi). Из (7.19), (7.20) и таблицы 7.1 следует, что

1/2 2
•rv,y(O,O) Pz{0)
3
S(2)
ЗДМ>) V8

PZZ) 1/4
Px(O)
1/8


В результате получим матрицу переходных вероятностей канала

/2/3 13 \
/
(7
-24)
[ J
7.3. Передача информации 95 ;

Замечание. Как и следовало ожидать, матрица является стоха-
стической, так как сумма вероятностей в каждой ее строке равна
единице.
ИсточникХ -.. Источник К
О Osr » г?О О




Рис. 7.7. Двоичный канал.

Диаграмма канала с вероятностями переходов приведена на рис.
7.7. Можно заметить ее сходство с диаграммой (рис. 7.2). Однако, в
нашем примере, уже нельзя говорить об ошибках в канале.
3. Для построения диаграммы информационных потоков необ-
ходимо знание величин H(Y/X), H(X/Y) и I(X;Y). По известным
переходным вероятностям можно вычислить H(Y/X)

- (7.25)

- (2)log2pY/x(Q/l)-pz(3)log2PY/x(l/l).
Pz


Подставляя числовые значения, находим

o/
V2/
Ojl
бит 2 4 °*\3J 8
\ZJ
i 0,9387.

Неличины I(X;Y) и H(X/Y) можно найти из (7.11).
Диаграмма информационных потоков представлена на рис. 7.8.

Утечка информации
ЩХ/У) = 0,7956 бит


НЙШИЕШ———,

<< Предыдущая

стр. 16
(из 50 стр.)

ОГЛАВЛЕНИЕ

Следующая >>