Шаг 27.
Теоретическая информатика. Кодирование информации в теории Шеннона.
Математическая постановка задачи влияния шумов на дискретный канал связи

    На этом шаге мы рассмотрим математическую постановку задачи влияния шумов на дискретный канал связи.

    Используем для анализа процесса передачи информации по дискретному каналу с помехами энтропийный подход.

    Пусть опыт b состоит в выяснении того, какой сигнал был принят на приемном конце канала; исходами этого опыта являются сигналы b_j, общее число которых равно m. Опыт a состоит в выяснении того, какой сигнал был послан на вход канала; исходами этого опыта являются сигналы, образующие алфавит a_i; их общее количество равно n. Опыт b несет в себе информацию относительно опыта a, значение которой равно:

I(b,a) = H(a) – H_b(a)

    Смысл этого выражения в применении к рассматриваемой ситуации в том, что распознанный на приемном конце сигнал содержит информацию о сигнале, который был отправлен, но, в общем случае, информацию не полную. Влияние помех в канале таково, что в процессе передачи часть начальной информации теряется, и исход опыта b не несет полной информации относительно предшествующего исхода опыта a.

    H(a) – энтропия, связанная с определением того, какой сигнал передан, равна:

    H_b(a) – условная энтропия (энтропия опыта a при условии, что ему предшествовал опыт b). В нашем случае:

    Окончательно для средней информации на один элементарный сигнал имеем:

(5)

    Часто бывает удобнее воспользоваться подобным же соотношением, которое получается на основе равенства:

I(b,a) = I(a,b) = H(b) – H_a(b)

(6)

    Проведенные рассуждения приводят к ряду заключений.

1. Для определения информации сигнала, принятого на приемном конце канала, необходимо знание априорных и апостериорных вероятностей. И обратное утверждение: знание априорных и апостериорных вероятностей позволяет установить (вычислить) информацию, связанную с переданным сигналом.
2. Как отмечалось ранее, I(b,a) = H(a) лишь в том случае, когда исход опыта b однозначно определяет исход предшествующего опыта a – это возможно только при отсутствии помех в канале. I(b,a) = 0, если a и b независимы, т.е. отсутствует связь между сигналами на входе и выходе канала. Действие помех состоит в том, что на выход канала приходят сигналы, содержащие меньше информации, чем они имели при отсылке.

    Как уже указывалось, апостериорные вероятности определяются свойствами канала связи, а априорные – особенностями источника (точнее, кодера). Следовательно, воспользовавшись (5) или (6) и варьируя значения p(a_i) в допустимых по условию задачи пределах, можно найти наибольшее значение max{I(b,a)}. Тогда:

(7)

    Полученное выражение определяет порядок решения задачи о нахождении пропускной способности конкретного канала:

• исходя из особенностей канала, определить априорные и апостериорные вероятности;
• варьируя p(a_i) и пользуясь (5), найти максимальное информационное содержание элементарного сигнала;
• по (6) вычислить пропускную способность.

---

    Пример 2. Пусть в канале отсутствуют помехи или они не препятствуют передаче. Тогда m = n, сигналы на приемном конце совпадают с отправленными. Это означает, что апостериорные вероятности = 1 при i = j и = 0 при i <> j. В этом случае Hb(a) = 0 и max{I(b,a)} = max{H(a)} = log₂n (это значение достигается, если появление всех входных сигналов равновероятно). Из (6) получаем С = L×log₂n, что совпадает с (3). Тем самым показано, что определение (3) пропускной способности канала без помех является частным случаем более общего определения (6).

    Рассмотрим некоторые примеры каналов передачи информации с помехами.

    На следующем шаге мы рассмотрим однородный двоичный симметричный канал.

Предыдущий шаг Содержание Следующий шаг