Шаг 26.
Теоретическая информатика. Кодирование информации в теории Шеннона.
Характеристики дискретного канала связи

    На этом шаге мы рассмотрим характеристики дискретного канала связи.

    Введем довольно очевидное определение.

    Дискретный канал – канал связи, используемый для передачи дискретных сообщений.

    Упрощенная схема передачи информации по дискретному каналу связи представлена на рисунке 1.


Рис.1. Схема дискретного канала передачи информации

    Источник дискретных сообщений (ИДС) использует для представления информации первичный алфавит {A}. Первичный кодер (ПК) кодирует знаки первичного алфавита n элементарными сигналами с алфавитом {a}. Действие помех в процессе передачи может состоять в том, что алфавит принимаемых сигналов будет отличаться от алфавита входных сигналов как их числом так и характеристиками – пусть это будет алфавит {b}, содержащий m элементарных сигналов. Несовпадение алфавитов сигналов приводит к тому, что на выходе канала появляются такие комбинации элементарных сигналов, которые не могут быть интерпретированы как коды знаков первичного алфавита. Другими словами, алфавит приемника вторичного сообщения (ПрмДС) {B} может не совпасть с алфавитом {A}. Для простоты будем считать, что декодер вторичных сигналов совмещен с приемником.

    Вводя количественные характеристики процесса передачи информации, постараемся выделить из них те, которые зависят только от свойств канала, и те, которые определяются особенностями источника дискретного сообщения.

    Дискретный канал считается заданным, если известны:

    Дискретный канал называется однородным, если для любой пары i и j условная вероятность с течением времени не изменяется (т.е. влияние помех все время одинаково).

    Дискретный канал называется каналом без памяти, если p(ai) и не зависят от места знака в первичном сообщении (т.е. отсутствуют корреляции знаков).

    Будем считать, что для передачи используются колебательные или волновые процессы – с практической точки зрения такие каналы представляют наибольший интерес (в частности, к ним относятся компьютерные линии связи).

    Введем ряд величин, характеризующих передачу информации по каналу.

Ширина полосы пропускания

    Любой преобразователь, работа которого основана на использовании колебаний (электрических или механических) может формировать и пропускать сигналы из ограниченной области частот. Пример с телефонной связью приводился выше. То же следует отнести и к радио и телевизионной связи – весь частотный спектр разделен на диапазоны (ДВ, СВ, КВI, КВII, УКВ, ДМВ), в пределах которых каждая станция занимает свой под диапазон, чтобы не мешать вещанию других.

    Интервал частот, используемый данным каналом связи для передачи сигналов, называется шириной полосы пропускания.

    Для построения теории важна не сама ширина полосы пропускания, а максимальное значение частоты из данной полосы (), поскольку именно им определяется длительность элементарного импульса :

(1)

    Другими словами, каждые секунд по каналу можно передавать импульс или паузу, связывая с их последовательностью определенные коды. Использовать сигналы большей длительности, чем , в принципе, возможно (например, 2) – это не приведет к потере информации, хотя снизит скорость ее передачи по каналу. Использование же сигналов более коротких, чем , может привести к информационным потерям, поскольку информационный параметр сигнала будет принимать какие-то промежуточные значения между заданными дискретными (например, 0 и 1), что затруднит их интерпретацию. Следовательно, по дискретному каналу за единицу времени можно передавать не более элементарных сигналов.

    Если канал является аналоговым, то характеризует число полных колебаний параметра за единицу времени, с каждым из которых можно связать два элементарных сигнала; по этой причине связь и оказывается иной:

    В дальнейшем, как уже указывалось, мы будет рассматривать лишь дискретный канал и, следовательно, использовать (1).

    Возможны частные случаи, когда передача ведется на единственной частоте, создаваемой, например, тактовым генератором; тогда, очевидно, равна тактовой частоте.

    Зная , можно найти количество элементарных сигналов, передаваемое по каналу за единицу времени:

(очевидно, если известна , то L = ). Если код знака первичного алфавита состоит из ki элементарных сигналов, время его передачи по каналу составит ti = ki· , а среднее время передачи кодовой комбинации одного знака первичного алфавита будет равно t = K(A,a)·.

Пропускная способность канала связи

    С передачей одного элементарного сигнала связано некоторое количество информации Is. Если общее число различных элементарных сигналов n, а вероятности их появления p(ai) (i = 1...n), то согласно формуле Шеннона:

    Однако, как обсуждалось выше, оптимальным будет такой вариант кодирования, при котором появление всех элементарных сигналов (знаков вторичного алфавита) оказывается равновероятным – в таком случае:

Is=Ismax=log2n

    Это значение является предельным (наибольшим) для информационного содержания элементарного сигнала выбранного вторичного алфавита. Поскольку такое количество информации передается за время , можно ввести величину, характеризующую предельную интенсивность информационного потока через канал – пропускную способность канала C:

(2)

    Данная величина является характеристикой канала связи, поскольку зависит только от его особенностей. Это выражение служит определением пропускной способности как идеального канала (без помех), так и реального канала с помехами – просто, как мы увидим далее, информационное содержание элементарного сигнала в реальном канале оказывается меньше log2n.

    Если Ismax выражено в битах, а 0 – в секундах, то единицей измерения C будет бит/с. Раньше такая единица называлась бод, однако, название не прижилось, и по этой причине пропускная способность канала связи измеряется в бит/с. Производными единицами являются:

1 Кбит/с = 103 бит/с
1 Мбит/с = 106 бит/с
1 Гбит/с = 109 бит/с

    При отсутствии в канале связи помех Ismax = log2n; тогда

(3)

– максимально возможное значение пропускной способности (это обстоятельство отражено индексом "0"); в реальном канале Ismax log2n и, следовательно, C C0.

Скорость передачи информации

    Если источник выдает L элементарных сигналов в единицу времени, а средняя длина кода одного знака составляет K(A,a), то, очевидно, отношение L/K(A,a) будет выражать число знаков первичного алфавита, выдаваемых источником за единицу времени. Если с каждым из них связано среднее количество информации I(A), то можно найти общее количество информации, передаваемой источником за единицу времени – эта величина называется скоростью передачи или энтропией источника (будем обозначать ее J):

(4)

    Энтропия источника, в отличие от пропускной способности, является характеристикой источника, а не канала связи.

    Размерностью J, как и C, является бит/с. Каково соотношение этих характеристик? Рассмотрим канал без помех. Тогда выразив L из (3) и подставив в (4), получим:

    Согласно первой теореме Шеннона при любом способе кодирования

хотя может быть сколь угодно близкой к этому значению. Следовательно, всегда JC0, т.е. скорость передачи информации по каналу связи не может превысить его пропускной способности.

    Как показано в теории Шеннона, данное утверждение справедливо как при отсутствии в канале помех (шумов) (идеальный канал связи), так и при их наличии (реальный канал связи).


    Пример 1. Первичный алфавит состоит из трех знаков с вероятностями p1 = 0,2; p2 = 0,7; p3 = 0,1. Для передачи по каналу без помех используются равномерный двоичный код. Частота тактового генератора 500 Гц. Какова пропускная способность канала и скорость передачи?

    Поскольку код двоичный, n = 2; из (3) C0 = 500 бит/с. Число знаков первичного алфавита N = 3.

I(A) = I1 = – 0,2·log20,2 – 0,7·log20,7 – 0,1·log20,1 = 1,16 бит
K(A,2)log2 N = 2.

    Следовательно, из (4) получаем:

    На следующем шаге мы рассмотрим влияние шумов на пропускную способность дискретного канала связи.




Предыдущий шаг Содержание Следующий шаг