Алфавитный и содержательный подходы к измерению информации

Измерение информации. Алфавитный подход

При алфавитном подходе для определения количества информации имеет значение лишь размер (объем) хранимого и передаваемого кода. 2i=N I – ДЛИНА двоичного кода (информационный вес символа) N - количество символов в алфавите (мощность алфавита)

Благодаря этой рекламе сайт может продолжать свое существование, спасибо за просмотр.

i=2: 00 01 10 11 i=3: 000 001 010 011 100 101 110 111

В двоичном коде каждая двоичная цифра несет одну единицу информации, которая называется 1 бит. Бит является основной единицей информации. Информационный объем текста складывается из информационных весов всех составляющих текст символов.

I=K*i (битов) i – информационный вес символа K – количество символов в тексте Информационный объем текста

i 1 2 3 4 5 6 7 8 9 10 2i 2 4 8 16 32 64 128 256 512 1024

1байт=8 бит 1 Кб=210 байтов=1024 байта 1 Мб=220 байтов 1 Гб=230 байтов 1 Тб=240 байтов

Измерение информации. Содержательный подход

Сообщение, информирующее об исходе какого-то события, снимает неопределённость знания человека об этом событии. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности наших знаний Сущность содержательного подхода: знание Знание Незнание

Ситуация 1. В ваш класс назначен новый учитель информатики, на вопрос «Это мужчина или женщина?» вам ответили: «Мужчина». Ситуация 2. На чемпионате страны по футболу играли команды «Динамо» и «Зенит». Из спортивных новостей вы узнали, что победил «Зенит». Ситуация 3. На выборах мэра города было представлено 4 кандидата. После голосования вы узнали, что избран Н. Н. Никитин.

Клод Элвуд Шеннон(1916-2001) – основатель теории информации Информация – это снятая неопределенность знания человека об исходе какого-то события

Сообщение, уменьшающее неопределенность знания об исходе некоторого события в два раза, несет 1 бит информации.

Количество информации i, содержащееся в сообщении об одном из N равновероятных исходов некоторого события, определяется из решения показательного уравнения: 2i = N «Главная формула» информатики

i=log2N I – количество информации, содержащееся в сообщении об одном из N равновероятных исходов события. Формула Хартли