Конспект урока 'Понятие энторопии'

Понятие информации в теории Шеннона.

Понятие ЭНТРОПИИ.

Событие называется случайным, если отсутствует полная уверенность в его наступлении.

Это создает неопределенность исходов опыта, связанного с данным событием.

Возникает задача научиться находить меру неопределенности, т.е количественно измерить неопределенность.

Пусть опыт имеет n-равновероятных исходов => неопределенность зависит от n, т.е мера неопределенности есть функции некоторого числа исходов f(n).

Свойства функции f(n).

1) f(1)=0, т.к. при n=1 исход не является случайным, т.е. неопределенность отсутствует.

2) f(n) возрастает с ростом n, т.к. чем больше число возможных исходов, тем более затруднительным становится представление результата опыта.

3) Рассмотрим два независимых опыта α и β. Пусть у опыта α - n_α исходов, а у опыта β - n_β исходов. Неопределённость до проведения опыта α - f(n_α), а до проведения опыта β - f(n_β).

Найти суммарную неопределенность. Если рассматривать как один сложный опыт, то , т.е. функция f(n) обладает свойством аддитивности.

Функция f(n), удовлетворяющая всем свойствам, это функция f(n)=log n.

Можно доказать, что она ЕДИНСТВЕННАЯ функция из всех существующих классов функций, которая удовлетворяет трём свойствам функции.

Выбор основания значения не имеет, поэтому выбирается более удобное основание 2.

.

Единицей измерения неопределённости называется БИТ. Неопределённость при двух возможных равновероятных исходов опыта равна 1 бит эта величина получила название ЭНТРОПИЯ и обозначается

.

Энтропия есть мера неопределённости. Из свойства аддитивности энтропии неопределённость, вносимая каждым из равновероятных i-ых исходах составляет

-энтропия 1-го исхода

- вероятность наступления каждого из исходов.

Обобщим формулу на ситуации, когда исходы опытов не равновероятны.

Пример. В ящике 3 белых шара и 7 чёрных. Достаём шар.

-вероятность, что этот шар белый

- вероятность, что этот ша чёрный.

Пример. Имеются 2 ящика ,в каждом из которых по 12 шаров.

В первом - 3 белых,3 черных,6 красных. Во втором - всех по 4.

Первый опыт - вынимаем 1 шар из 1 ящика, второй опыт - вынимаем 1 шар из 2 ящика. Сравнить неопределенность этих 2 опытов.

1)Н₁= log₂ 4+ log₂4+log₂2=1.5бит

2)Н₂=log₂3=1.58бит

Свойства энтропии.

1) Н=0 только в 2 случаях:

а) один из исходов является достоверным, то есть общий итог опыта перестает быть случайным.

б) все рассматриваемые исходы опыта не возможны.

2) Энтропия сложного опыта, состоящего из нескольких независимых опытов, равна сумме энтропий отдельных опытов

Н(α×β)= Н(α)+Н(β)

3) При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

log₂ n≥ log₂