- Учителю
- Конспект урока 'Различные подходы к измерению информации'
Конспект урока 'Различные подходы к измерению информации'
Различные подходы к измерению информации
-
Содержательный подход - в нём:
а) важен субъект, получающий информацию;
б) понятность, новизна информации.
-
Алфавитный подход - важно:
А) мощность алфавита.
Б) число символов в сообщении.
Пример. Я получили три - 13 символов, каждый несёт 1 байт информации => сумма всей информации равна 13 байт
N - мощность алфавита;
k - количество символов в сообщении;
i - количество информации, которое несёт 1 символ информации;
I - количество информации, которое несёт всё сообщение :
В этих подходах мы считали, что все буквы могут встречаются с равной вероятностью.
-
Вероятностный подход.
Формула Хартли для равновероятных исходов:
Формула Шеннона для разновероятных исходов:
Обе используются для нахождения энтропии (вероятности) всего опыта.
Для одного исхода: