Конспект урока 'Различные подходы к измерению информации'

Различные подходы к измерению информации

1. Содержательный подход - в нём:

а) важен субъект, получающий информацию;

б) понятность, новизна информации.

2. Алфавитный подход - важно:

А) мощность алфавита.

Б) число символов в сообщении.

Пример. Я получили три - 13 символов, каждый несёт 1 байт информации => сумма всей информации равна 13 байт

N - мощность алфавита;

k - количество символов в сообщении;

i - количество информации, которое несёт 1 символ информации;

I - количество информации, которое несёт всё сообщение :

В этих подходах мы считали, что все буквы могут встречаются с равной вероятностью.

3. Вероятностный подход.

Формула Хартли для равновероятных исходов:

Формула Шеннона для разновероятных исходов:

Обе используются для нахождения энтропии (вероятности) всего опыта.

Для одного исхода: