Информационные характеристики систем передачи сообщений

БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАТИКИ И РАДИОЭЛЕКТРОНИКИ

кафедра ЭТТ

РЕФЕРАТ на тему:

« Информационные характеристики систем передачи сообщений »

МИНСК, 2008

Информационные характеристики дискретных сообщений. Краткие теоретические сведения.

Системы передачи дискретной информации – системы, в которых реализации сообщений представляют собой последовательности символов алфавита источника. Если m – объем алфавита источника дискретных сообщений, то совокупность элементарных сообщений (символов) - алфавит источника. Априорная вероятность появления символа при независимость его от предыдущих – .

В общем случае априорная вероятность появления будет условной:

, где - символы, сформированные источником до символа . Количество информации, которое несет символ, определяется формулой:.

Масштабный коэффициент зависит от выбора единицы измерения количества информации. Если единица количества информации выбирается двоичной, то и соответственно (бит)

Основные информационные свойства дискретных сообщений:

1.Свойство аддитивность:

,

где q – количество символов в сообщении,

а принимает одно из значений в пределах от 1 до m.

2. Среднее количество информации, приходящейся на один символ источника сообщений, при условном характере априорной вероятности:

3. Среднее количество информации, приходящейся на один символ источника сообщений, при зависимости вероятности появления очередного символа только от вероятности появления предыдущего символа:

4. Среднее количество информации, приходящейся на один символ, при независимости символов источника сообщений:

является определением энтропии источника дискретных сообщений.

5. Максимальная энтропия источника имеет место при независимости и равновероятности символов сообщения ():

6. Коэффициент избыточности:

,

где и – относительная скорость передачи информации, характеризует возможность оптимизации скорости передаваемой информации.

Устранение избыточности позволяет сократить объем сообщения, а следовательно, повысить скорость передачи информации.

В канале с помехой передаваемая информация частично искажается.

Рис. 1

Как показано на рис. 1, передаваемой сообщение под влиянием помехи n(t) на выходе канала связи преобразуется в сообщение . Если дискретный стационарный канал без памяти, то и длительности символов на выходе и входе канала одинаковы. Тогда скорость передачи информации как среднее количество информации, получаемое в единицу времени, определяется выражением:

,

где – частота посылки символов, а – среднее количество взаимной информации в множестве символов относительно множества символов :

В формуле – условная энтропия множества символов X при данном множестве Y, определяющая среднее количество потерянной информации из-за влияния помех; - условная энтропия множества символов Y при данном множестве X, определяющая шумовую энтропию; - энтропия множества символов Y:

,

,

,

Где - вероятность ошибки воспроизведения символа .

Скорость передачи информации определяется формулой:

(бит/с)

Пропускная способность дискретного канала связи определяется следующим выражением:

,

где

В каналах без помех .

Информационные характеристики непрерывных сообщений. Краткие теоретические сведения.

Источник непрерывных сообщений характеризуется тем, что в каждый момент времени сообщение может принимать бесконечное множество значений с бесконечно малой вероятностью каждого и них, и, если бы сообщение могло передаваться абсолютно точно без искажений, оно несло бы бесконечное количество информации. Однако на практике при передаче информации всегда имеют место искажения и количество информации, содержащееся в принятом непрерывном сообщении, определяется разностью значений энтропий сообщения до и после получения информации. Эта разность является конечной величиной.

Пусть - реализация непрерывного сообщения на входе канала связи, – реализация выходного сообщения; - одномерная плотность вероятности входных сообщений, - одномерная плотность вероятности выходных сообщений, - условная плотность вероятности при известном (апостериорная вероятность); - условная плотность вероятности при известном , - совместная плотность вероятности. Тогда будут иметь место следующие выражения:

1. Энтропия источника непрерывных сообщений:

,

где - интервал квантования (точность измерения);

2. Дифференциальная энтропия источника непрерывных сообщений:

б,

Определяющая количество информации в битах, приходящейся в среднем на один отсчет.

3. Максимальная дифференциальная энтропия источника непрерывных сообщений:

Которая имеет место при нормальной плотности распределения случайного процесса:

,

- математическое ожидание случайной величины,

- дисперсия этой величины,

- основание натурального логарифма.

4. Полная средняя взаимная информация:

,

где - дифференциальная энтропия сообщения на выходе канала связи:

-

дифференциальная условная энтропия, характеризующая действие шумового процесса.

5. Для аддитивной см

Внимание, отключите Adblock

Вы посетили наш сайт со включенным блокировщиком рекламы!
Ссылка для скачивания станет доступной сразу после отключения Adblock!

Скачать