Тема 2. Информация в экономических информационных системах. Количество информации. Методы оценки ч.1

Статистический подход (Шеннон, Хартли, Колмогоров 20-40е года)
Количественно выраженная неопределенность состояния системы – энтропия. Получение информации связано с изменением степени осведомленности о состоянии системы Х:
I(X) = H(X) – H`(X),
где H(X) – степень неопределенности о состоянии системы до получения сообщения, H`(X) – после сообщения.
При полном снятии неопределенности I(X) = H(X), когда, например, после получения сообщения однозначно стало ясно, что предприятие – банкрот.
Для системы с N равновероятными состояниями (например, N=2, когда рассматриваются два состояния «банкрот», «не банкрот»)
H(X) = K0 logaN,
где значение К0, и «а» определяют систему измерения единиц информации.
Для системы с разновероятными дискретными состояниями:
H(X) = -K0 åPi logaPi
Для системы с 2 равновероятными состояниями снятие неопределенности о состоянии системы дает одну единицу информации
1 = K0 logaN
Если принять К =1 и а=2, то правая часть = 1 Бит
В общем случае
I = log2N – формула Хартли, показывает сколько информации необходимо для снятия неопределенности о системе с равновероятными состояниями. Видно, что это зависит только от количества самих состояний.
При передаче кодированных сообщений из m символов в n разрядах (например, символы 0 и 1 в 16 разрядах) имеем I = n log2m .
Для двоичного кода (0 и 1) количество информации в сообщении составит n двоичных единиц, которые называются битами.


Cтатистический подход не учитывает семантического и прагматического аспектов информации, применяется при оценки пропускной способности каналов передачи информации.

Читать даьлше:

Тема 2. Информация в экономических информационных системах. Количество информации. Методы оценки ч.2