- •Хранение информации человечеством
- •Представление об информационном ресурсе
- •Свойства социальной информации
- •Информационные процессы
- •Клонирование
- •Нервная система и память
- •Искусственный интеллект
- •Форма существования информации в памяти эвм
- •Количество информации в компьютерной технике
- •Методы воспроизведения и обработки информации
- •Измерение количества информации. Формула Хартли
Методы воспроизведения и обработки информации
Естественные методы. Методы, основанные на органах чувств. Логическое мышление. Воображение, сравнение, сопоставление, анализ, прогнозирование и т.п.
Аппаратные методы. Аппаратные методы – это всегда устройства (приборы). Магнитофоны, телефоны, микроскопы, видеомагнитофоны и т.д. С точки зрения информатики эти устройства выполняют общую функцию – преобразуют данные из формы, недоступной для естественных методов человека, в форму, доступную для них. Не всегда одни устройства могут обрабатывать данные созданные другими приборами. В таких случаях применяют специальные устройства преобразования данных, и говорят не о преобразовании формы данных, а о преобразовании их формата (модемы, бытовые видеокамеры).
Программные методы. Широкое внедрение средств вычислительной техники позволяет автоматизировать обработку самых разных видов данных с помощью компьютера. Компьютер – это прибор особого типа, в котором одновременно сочетаются аппаратные и программные методы обработки и представления информации. Эти методы составляют предметную область информатики.
Если предположить, что информация – это динамический объект, не существующий в природе сам по себе, а образующийся в ходе взаимодействия данных и методов, и существующий столько, сколько длится это взаимодействие, а все остальное время пребывающий в виде данных, то можно дать такое определение:
Информация - это продукт взаимодействия данных и методов, рассмотренный в контексте этого взаимодействия.
Контекстным (адекватным) считается тот метод, который является общепринятым для работы с данными определенного типа. Этот метод должен быть известен как создателю данных, так и потребителю информации. Для графических данных (иллюстраций) контекстным является метод наблюдения, основанный на зрении. В этом случае имеется в виду визуальная или графическая информация. Для текстовых данных подразумевается контекстный метод чтения, основанный на зрении, знании азбуки и языка. В этом случае говорят о текстовой информации.
Для данных, представленных в виде радиоволн, контекстными являются аппаратные методы преобразования данных и потребления информации с помощью радиоприемника или телевизора. Поэтому часто используются понятия телевизионная информация, информационная программа, информационный выпуск и т.п.
Для данных, хранящихся в компьютере, передающихся по сетям, контекстными являются аппаратные и программные методы вычислительной техники. Их еще называют средствами информационных технологий, которые входят в предметную область информатики. В этом случае используется понятие компьютерной информации.
Измерение количества информации. Формула Хартли
Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задается вопрос: число меньше? Ответ и «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном итоге, загаданное число будет найдено.
Посчитаем сколько вопросов надо задать, чтобы найти задуманное число. Допустим загаданное число 27. Начали:
Больше 50? Нет
Больше 25? Да
Больше 38? Нет
Меньше 32? Да
Меньше 29? Да
Больше 27? Нет
Это число 26? Нет
Ура! если число не 26 и не больше 27, то это явно 27. Чтобы угадать методом «деления пополам» число от 1 до 100 нам потребовалось 7 вопросов.
Кто-то может задаться вопросом: а почему именно так надо задавать вопросы? Ведь, например, можно просто спрашивать: это число 1? Это число 2? И т.д. Но тогда вам потребуется намного больше вопросов (возможность того, что вы телепат, и угадаете с первого раза не рассматривается). «Деление пополам» самый короткий рациональный способ найти число. Объем информации заложенный в ответ «да» или «нет» равен одному биту. Действительно, ведь бит может быть в состоянии 1 или 0. Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит (семь ответов «да» - «нет»).
N = 2k
Такой формулой можно представить, сколько вопросов (бит информации) потребуется, чтобы определить одно из возможных значений. N – это количество значений, а k – количество бит. Например, в нашем примере 100 меньше чем 27, однако больше, чем 26. Да, нам могло потребоваться и всего 6 вопросов, если бы загаданное число было бы 28.
Формула Хартли: k = log2N. Количество информации (k), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).
Количество информации. Формула Шеннона
Формула Хартли определяет количество необходимой информации для выявления определенного элемента множества при условии, что все элементы равновероятны. Однако может быть так, что какие-то элементы более вероятны (чаще встречаются), а какие-то меньше. Например, в русском языке буква «а» употребляется чаще, чем буква «ю».
В случае, когда вероятность элементов не одинакова, для определения количества информации, достаточной для выявления элемента, используют формулу Шеннона. Ее можно получить из формулы Хартли.
k = logN (формула Хартли) 1/N – вероятность каждого исхода, если все они равновероятны. -1/N * log1/N – вклад в k (общую неопределенность, количество информации) одного исхода.
При неравновероятных исходах пусть вклад каждого обозначается буквой P с индексным номером: 1, 2, 3, 4 …. N.
Получаем формулу:
k = -P1logP1 – P2logP2 – P3logP3 – … – PNlogPN
Чем больше k, тем больше информации содержится в системе. Максимальное значение k имеет лишь тогда, когда все исходы равновероятны.
