<< Предыдущая

стр. 18
(из 50 стр.)

ОГЛАВЛЕНИЕ

Следующая >>

7.5.1. Пропускная способность
Двоичный дискретный симметричный канал без памяти (ДСК)
определяется с помощью матрицы переходных вероятностей канала
(7.2). Единственным параметром, характеризующим ДСК, являет-
ся вероятность ошибки е. Из равномерного распределения входных
символов и симметрии переходов канала следует равномерное рас-
пределение выходных символов, т.е

р(Х1) = р(х2) = р(У1) = р(й) = 1/2. (7.45)

Используя (7.9), получаем




г j


Подставляя числовые значения, имеем

- ? ^ = (l-e)lo g 2 (2(l- ? ))+elog 2 (24= (7.47)
= 1 + (1 - e)log2(l - g) + 21og2e.


Энтропия ДСК определяется через (2.32)

Нь{е
= -(1 - е) lo g 2 (l - е) - eloga(e). (7.48)
бит
Окончательно получаем пропускную способность ДСК в компактной
форме
дск
С = 1 бит - Я ь (е) (7.49)
Интересными являются два граничных случая:

1. Передача информации по бесшумному каналу:
Щ(е = 0) = 0 и С д с к = 1 бит.

2. Канал полностью зашумлен:
ДСК
Нь(е = 1/2) = 1 бит и С = 0 бит.
Глава 7. Дискретные каналы без памяти


7.5.2. Пропускная способность двоичного
симметричного канала со стираниями
Важным частным случаем ДСК является двоичный симметричный
канал со стираниями (ДСКС) или двоичный канал со стирания-
ми (Binary Erasure Channel, ВЕС - англ.). Как и ДСК, двоичный
канал со стираниями может служить упрощенной моделью переда-
чи информации по каналу с аддитивным белым гауссовским шумом
(АБГШ). Правило принятия решения в ДСКС приведено на рис.7.11.
Из рисунка видно, что наряду с решениями о переданном символе
«О» или «1», здесь иногда принимается решение о стирании приня-
того символа «е»(Erasure-англ.). Стирание происходит в случае, ес-
ли продетектированный аналоговый сигнал V попадает в зону, для
которой значения условных функций плотности распределения ве-
роятностей /(V/0) и f(V/l) оказываются близкими к нулю.


/(v/l)




Переданный символ


Р и с . 7.11. Условные функции плотности распределения ве-
роятностей продетектированного сигнала и об-
ласти принятия решений.


Замечание. В двоичном канале со стираниями, вместо однозначно
«жесткого» решения о принятом символе «О» или «1» принимает-
ся, так называемое, «мягкое» решение. В этом случае, мы допол-
нительно имеем некоторую информацию о надежности принятого
двоичного символа. В связи с этим, в технике передачи данных,
говорят о приеме с «жестким» и «мягким» решением. «Мягкое»
решение в сочетании с подходящим кодированием, информации поз-
воляет в некоторых случаях осуществить более надежную пере-
дачу данных. Один из примеров использования «мягкого» решения
можно найти во второй части этой книги.
(03 ,
7.5. Пропускная способность канала


Источник X Источник Y
l-p-q

Jt,="O"



Уз="1"



Р и с . 7.12. Двоичный симметричный канал со стираниями.

Обозначим вероятность стирания через q, а вероятность ошибки
нестертого символа через р.
Диаграмма переходов для канала с двумя входными и тремя вы-
ходными символами приведена на рис. 7.12. Соответствующая мат-
рица канала, содержащая переходные вероятности, имеет вид

рдскс /1-Р-? я р \ (750)
1 -, р - д. J
Y/X \ p q

Найдем пропускную снособность канала со стираниями. Так как ка-
нал симметричен, пропускная снособность достигается при равно-
мерном распределении входных символов

= 1/2. (7.51)

Отсюда следует, что вероятности выходных символов равны


Р Ы = -^˜,РЫ = Я,р{Уъ) = ˜^г- (7.52)

Теперь все необходимые вероятности известны. Воспользовавшись
(7.9), имеем


О«™ ЛЛ. .. .
*нЫ (7 53)
бит
*3
23

»3
Используя свойство симметрии канала, получаем
Глава 7. Дискретные каналы без памяти



QJXCKC
к r
бит
/ \
г,
(7.54)

1 —р — I
1-9
Как мы видим, пропускная способность канала со стираниями зави-
сит только от вероятностей р и q. График С = /(р, 9) представляет
собой пространственную трехмерную поверхность, расположенную
над плоскостью (p,q). Здесь мы ограничимся только рассмотрением
двух важных частных случаев.
1. При 9 = 0, мы имеем двоичный симметричный канал, уже рас-
смотренный ранее. Подставляя q = 0 в (7.59) мы, как и ожидалось,
получаем (7.49).
2. В канале присутствуют только стирания, т.е. при р = 0 - ошиб-
ки или не присутствуют, или мы ими пренебрегаем. В этом случае

С д с к с = (1 - q) бит. (7.55)

На рис. 7.13 показаны пропускные способности ДСК (7.49) и дво-
ичного канала со стираниями (р = 0). Нужно отметить, что при ма-
лых вероятностях ошибки, выбором оптимальных областей стираний
в ДСКС можно достичь существенно больших пропускных способ-
ностей, чем в обычных двоичных каналах.
Замечание. Здесь возникает вопрос о возможности увеличения
пропускной способности при приеме со стираниями на практике. В.
этом месте обнаруживается слабость теории информации. Тео-
рия информации зачастую не может предложить конструкцию,
реализующую теоретически достижимые границы. Тем не менее,
небольшой пример, подробно рассмотренный во второй части этой
книги, показывает, что введение стираний может иногда снижать
вероятность ошибки. Рассмотрим этот пример на интуитивном
уровне. Разобьем поток передаваемой информации на блоки, содер-
жащие 7 двоичных символов (7 бит). К каждому блоку добавим
один бит (•«в» или «1*) проверки на четность. Закодированные та-
ким образом блоки из восьми двоичных символов всегда будут со-
держать четное число единиц. Пусть вероятность ошибки в ДСК
достаточно мала. Введем зону стирания (рис.7.11) таким образом,
7.5. Пропускная способность канала

чтобы ошибки, в основном, перешли в стирания. При этом, вероят-
ность «нестертой» ошибки будет пренебрежимо мала, а вероят-
ность стирания будет оставаться достаточно малой. Мы получим
стирающий канал (ДСКС), в котором блоки из восьми двоичных
символов в подавляющем большинстве случаев или будут приняты
правильно или будут содержать только один стертый двоичный
символ. Качество приема существенно улучшится, так как одно
стирание в блоке с четным числом единиц всегда может быть ис-
правлено.



бит

0,6
0,4
0,2
0
• 0,5
0,1 0,2 0,3 q,E.


Р и с . 7.13. Пропускная способность двоичного симметрич-
ного канала С^ с вероятностью ошибки е и
двоичного канала со стираниями С^ с ве-
роятностью стирания q и вероятностью ошибки
р = 0.

Пример: Двоичный симметричный канал со стираниями.




Р и с . 7.14. Двоичный канала со стираниями.

На рис. 7.14 задана переходная диаграмма симметричного канала
со стираниями. Определите:
106 Глава 7. Дискретные каналы без памяти
1



1. Матрицу канала ;

2. Распределение вероятностей символов источника Y, если из-
вестно, что символы источника X равномерно распределены,
т.е. р0 = pi = 1/2;

3. Пропускную способность канала;

4. Диаграмму информационных потоков со всеми энтрониями;

5. Модель канала с матрицей Рх/у-
Решение.
1. С учетом того, что сумма вероятностей в каждой строке мат-
рицы равна 1, получим

д с к с _ /0,6 0,3 0,1
р
р
-l,o,i о.з 0,6
у/*

2. Исходя из равномерного распределения вероятностей символов
на входе, согласно (7.52), имеем

р Ы = 0,35, р Ы = 0,ЗирЫ=0,35. (7.57)

3. Так как рассматриваемый канал симметричен, пропускная спо-
собность достигается при равномерном распределении входных сим-
волов. Из (7.54) с учетом (7.56) имеем

1_ п ч_ п1
^ ^
-0,3 (l-0,3-0,l)kya (7.58)
+
+




4. Энтропия дискретного двоичного источника без памяти X с
равномерным распределением вероятностей символов равна

Н(Х) = 1 бит. (7.59)

Энтропия источника Y равна

tf(Y)
= -2 • 0,35 log2 0,35 - 0,35 log2 0,3 « 1,5813. (7.60)

<< Предыдущая

стр. 18
(из 50 стр.)

ОГЛАВЛЕНИЕ

Следующая >>