На этом шаге мы рассмотрим однородный симметричный канал со стиранием.
Снова рассмотрим двоичный канал (на входе сигналы a1 и a2 с вероятностями появления p(a1) и p(a2), соответственно). Допустим, что на приемном конце любой из них с вероятностью p может быть интерпретирован как, но, помимо этого, с вероятность q искажения в канале оказываются такими, что принятый знак не идентифицируется ни с одним из поступающих на вход. Другим словами, сигнал искажается настолько, что становится «неузнаваемым». В таком случае можно считать, что принят новый сигнал a3, появление которого можно интерпретировать как пропажу (стирание) входного сигнала (как если бы при переписывании мало разборчивого текста все непонятные буквы мы заменяли бы каким-то знаком) – по этой причине канал назван двоичным симметричным со стиранием. Тогда:
и таблица апостериорных вероятностей канала имеет вид:
| 1-p-q | p | q |
| p | 1-p-q | q |
Его граф представлен на рисунке 1.
Рис.1. Представление канала в виде графа
Вновь, как и при решении предыдущей задачи, воспользуемся соотношением (6).
Расчет условной энтропии дает:
Вновь учтено, что p(a1) + p(a2) = 1 как достоверное событие.
Таким образом:
I(a,b) = H(a) + (1 – p – q) · log2(1 – p – q) – p · log2p – q · log2q
Поскольку Ha(b) не зависит от значений априорных вероятностей, I(a,b) достигает максимума при таких p(a1) и p(a2), когда наибольшее значение приобретает энтропия H(b). Для нахождения H(b) необходимо знать вероятности всех сигналов, появляющихся на выходе из канала (обозначим эти вероятности qj (j = 1,2,3)).
Вероятность появления a3 (стирания) уже установлена: q3 = q. Для a1 вероятность q1 = p(a1)·(1 – p – q) + p(a2)·p; аналогично для a2 находим q2 = p(a2)·p + p(a2)·(1 – p – q). Тогда:
H(b) = –q1 · log2(q1) –q2 · log2(q2) –q · log2(q)
Поскольку q определяется особенностями канала и не зависит от априорных вероятностей сигналов на входе, наибольшим H(b) будет при максимальном значении выражения
– q1·log2 q1 – q2·log2 q2,
причем, при любых p(a1) и p(a2) справедливо q1 + q2 = 1 – q. Можно показать, что указанное выражение достигает максимума при условии q1 = q2 = 0,5·(1 – q). Тогда:
Окончательно для пропускной способности двоичного симметричного канала со стиранием имеем:
C = L · {(1 – q)[ 1 – log2(1 – q)] + (1 – p – q )· log2 (1 – p – q ) + p·log2p}
Рис.2. Зависимость q и C/L
Проанализируем полученный результат. С = C(p,q), причем, C будет уменьшаться при увеличении как p, так и q. Если вероятности p и q отличны от 0, то, как видно из полученного выражения, C < C0. В реальных двоичных каналах со стиранием p < q, т.е. вероятность такого искажения входного сигнала, при котором его невозможно распознать, выше вероятности такого искажения, при котором сигнал становится похожим на второй из используемых сигналов. В тех ситуациях, когда p пренебрежимо мала и единственным искажением оказывается "стирание" сигнала, пропускная способность оказывается равной: C = L·(1 – q). График этой функции представлен на рис.2. Полученный результат представляется вполне закономерным: при p = 0 из L двоичных сигналов, передаваемых по каналу за единицу времени, в среднем L·q будет "стираться", но при этом остальные L·(1– q) сигналов будут на приемном конце расшифровываться без потерь, и с каждым из них связан ровно 1 бит информации.
Заканчивая рассмотрение характеристик реального дискретного канала передачи информации, мы можем сделать следующие заключения:
- Помехи, существующие в реальном канале связи, приводят к снижению его пропускной способности (по сравнению с аналогичным каналом без помех).
- Пропускная способность реального канала может быть рассчитана по известным априорным и апостериорным вероятностям. Для их определения требуются статистические исследования передачи информации в канале.
На следующем шаге мы рассмотрим передачу информации по непрерывному каналу.
