- Учителю
- Конспект урока 'Энтропия и информация'
Конспект урока 'Энтропия и информация'
Энтропия и информация
Энтропия опыта равна той информации которую получаем в результате его осуществления.
Количество информации - I: I=Н
Количество информации численно равно количеству вопросов с равновероятными бинарными вариантами ответов ("Да" или "Нет"), которые необходимо задать, чтобы полностью снять неопределённость задач.
Пример. Некто задумал целое число от 0 до 3. Какое количество информации нужно получить, чтобы узнать задуманное число.
0,1,2,3-равновероятные исходы.
n=4 - количество равновероятных исходов опыта.
I=log24=2 бит - 2 бита информации несет задуманное число.
x>11 вопрос-1 бит.
нет
да
{0, 1}
{2, 3}
x>0
x>2
да
нет
да
нет
0
1
3
2
Пример. Случайным образом выбирается карта из колоды 32 карты. Какое количество информации несёт сообщение о том, что за карту достали.
I= log232=5
Задача для самостоятельного решения. Имеется 2 деревни А и В. Жители А всегда говорят правду, жители В всегда лгут. Они могут ходить из 1 деревни в другую. Путник зашёл в деревню и встретил жителя одной из деревень. Какое количество информации несёт сообщение о том, в какой он деревне и житель из какой.
Пусть начальная энтропия до проведения опыта равна H1. В результате получения сообщения, котрое несет I бит информации, энтропия стала равна H2.
Сообщение, уменьшающее число исходов в 2 раза, несет 1 бит информации.