<< Предыдущая

стр. 20
(из 50 стр.)

ОГЛАВЛЕНИЕ

Следующая >>

дифференциальной энтропии. Прежде всего отметим, что характе-
ристиками стохастического процесса являются две величины: сред-
нее значение, которое принимает стохастическая неременная (обла-
дающая свойством линейности) ц и стандартное отклонение стоха-
стической переменной а.
Среднее значение или математическое ожидание /i не оказывает
никакого влияния на дифференциальную энтропию. С ростом же а,
неопределенность источника возрастает, что приводит также к воз-
растанию дифференциальной энтропии. В связи с этим, сравнение
различных функций плотностей распределения вероятностей отно-
сительно соответствующих им энтропии имеет смысл производить
при одинаковых < .
х
Замечание. В информационной технике за исходный параметр
принимают <т2 - дисперсию, которая определяет среднюю мощ-
ность стохастического процесса /10/. Ясно, что с увеличением
мощности передатчика, количество передаваемой информации уве-
личивается и, наоборот, с увеличением мощности шумов, возрас-
тает неопределенность, т. е. в единицу времени передается меньше
информации.
113,
8.1. Дифференциальная энтропия

Из теории информации следует, что дифференциальная энтропия
достигает своего максимума при гауссовском распределении вероят-
ности.

Теорема 8.1.1. При заданной дисперсии а2, максимальной диффе-
ренциальной энтропией обладает источник с гауссовским распреде-
лением, вероятности, причем,

V
HGaus(X) = ˜ ' бит. (8.6)
b2



Пример: Дифференциальная энтропия гауссовского источника.

Из (8.5) следует, что дифференциальная энтропия гауссовского
источника равна
ЩХ)

+ОО




Выражение в квадратных скобках может быть разложено на два ин-
теграла. Таким образом, окончательно имеем
+
°° • ,2
/ x2 ехр ( J dx =
нат 2
V 2a
2<T V2^J



Численные примеры для трех, наиболее употребительных распреде-
лений, приведены в таблице 8.1.
Пример: Телефония.
Практическая польза приведенных выше результатов может быть
наглядно показана при помощи оценки достижений скорости пере-
дачи информации (в битах) в цифровых телефонных линиях. Совре-
менные стандартные методы цифровой передачи речи (логарифми-
ческие РСМ) требуют затраты 8 бит на кодирование одного отсчета,
114 Глава 8. Непрерывные источники и каналы

Таблица 8.1. Пример дифференциальной энтропии.


Распределе- Функция плотности распределения Дифференциальная
ния вероятности энтропия



д для |i| < \/Z
д*) = | s; 0 Jn(2v/5cr)
= 1,79
Равномерное
In 2
consi


1п(\/2(те)
V2M)
expf
l
fix) - = 1,94
Лапласа
In 2


2
1п(2тг(Т е)
x2\
(
*
fix)
Гауссовское -2,04
eXP
V 2a2j 21n2




при частоте отсчетов 8 кГц. Таким образом, скорость передачи речи
составляет 64 кбит/сек.
Исходя из равномерного распределения вероятностей в интервале
[-1,1], опытным путем получим а2 = 1/3. Таким образом, дифферен-
циальная энтропия на один отсчет составляет

H{X)
(8.9)
= 1.
бит In 2

Так как отсчеты производятся с частотой 8 кГц, получаем, что
необходимая скорость передачи речи составляет 8 кбит/сек. При
оценке энтропии мы не принимали во внимание связи между сосед-
ними отсчетами (память источника) и, поэтому, реальная дифферен-
циальная энтропия источника речи будет еще меньше. В самом деле,
мы знаем, что современные алгоритмы кодирования речи позволя-
ют осуществлять передачу речевого сигнала со скоростью около 8
кбит/сек при качестве, сравнимом со стандартным РСМ.


8.2. Пропускная способность канала и граница
Шеннона
Аналогично дискретным каналам, можно определить пропускную
способность для непрерывных каналов. Будем искать, как и ранее,
8.2. Пропускная способность канала и граница Шеннона

наибольшее значение переносимой информации по всем возможным
функциям плотностей распределения вероятностей.

(8.10)
C = supI(X;Y).
/(*)
Поиск точной верхней грани, в общем случае, представляет собой
довольно сложную задачу. Рассмотрим важнейший частный случай-
передачу информации по каналу с аддативным белым гауссовским
шумом (АБГШ) с ограниченной полосой. Модель такого канала изоб-
ражена на рис. 8.4. Для гауссовского распределения вероятности
амплитуды сигнала на входе канала получаем формулу пропускной
способности канала, хорошо известную в теории информации.

Ограниченный по полосе канал

Источник* '#"•• ** *,•* • **»*> •*.>..%..". **„ • ИСТОЧНИКУ
.




Спектральная плотность
мощности шума , $NN lo>)
N„/2. '




Р и с . 8.4. Модель ограниченного по полосе канала с АБГШ.


Теорема 8.2.1. Пропускная способность канала (Хартлей - Шен-
нон).
Пропускная способность идеального канала с шириной полосы
пропускания В и аддитивным белым гауссовским шумом мощности
N =' NQ В равна
^ -|). (8.11)
бит/сек N
Здесь, как и ранее, 5 - мощность сигнала в полосе пропускания
канала. Размерность С - бит/сек.
Для интерпретации пропускной способности непрерывного кана-
ла-С, рассмотрим выражение (8.11) при ширине полосы пропуска-
ния, равной 1 Гц (рис. 8.5). Можно отметить асимптотически ли-
нейный характер поведения функции С/В = log2 f(S/N) (рис. 8:5
выполнен в полулогарифмическом масштабе).
I 16 Глава 8. Непрерывные источники и каналы




LZ
С/В А


У \—
— /Hz '
-—

/
10

/





zA




Р и с . 8.5. Пропускная способность на 1 Гц полосы пропус-
кания как функция отношения сигнал/шум.

Пусть задано отношение сигнал/шум (Signal to Noise Ratio SNR)
больше 0 дБ. Из формулы (8.11) следует, что удвоение пропуск-
ной способности требует квадратичного увеличения отношения сиг-
нал/шум SNR?T.e. квадрата мощности передатчика при постоянном
шуме.


Время
SNR



Количество
переданной
информации

Ширина полосы


Р и с . 8.6. Соотношение между шириной полосы пропуска-
ния, SNR, временем передачи и максимальным
количеством переданной информации.

Пусть заданы отношение сигнал/шум, полоса пропускания В и
время передачи t. Тогда можно определить пропускную способность
канала и максимальный объем информации, который передется за
заданный промежуток времени. Заметим так же, что при фиксиро-
ванном объеме информации v бит, можно произвольно варьировать
два из трех параметров (SNR, В, t), а третий параметр будет опреде-
ляться из соотношения (8.11) и условия г; = С-t. Все вышесказанное
иллюстрирует рис. 8.6.
8.2. Пропускная способность капала и граница-Шеннона

Из рис. 8.6 видно, что объем передаваемой информации за опре-
деленное время можно представить как объем параллелепипеда в
координатах SNR, But.
При внимательном рассмотрении соотношения (8.11), возникает
важный вопрос; Как будет меняться пропускная способность канала
при стремлении ширины полосы пропускания к бесконечности? От-
вет не очевиден, так как расширение полосы влечет за собой увеличе-
ние мощности шума N. Мощность шума при постоянной спектраль-
ной плотности No пропорциональна ширине полосы пропускания.
Чем шире полоса, тем больше шум на выходе приемника (рис. 8.7).

N = NQB. (8.12)


SNN(co)
No/2

"* со
0
-ЪсВ 2яВ

Р и с . 8.7. Спектр белого гауссовского шума в ограниченной
полосе

Исследуем предельный переход

С

<< Предыдущая

стр. 20
(из 50 стр.)

ОГЛАВЛЕНИЕ

Следующая >>