35. Понятие избыточности текста. Оценка избыточности текста.

Для оценки информативности текстов используют понятие избыточности текста. Пусть текст состоит из букв и содержит лишних букв, тогда избыточность текста вычисляется следующим образом:

Реальная информация, приходящаяся на букву, вычисляется следующим образом .

Шеннон предложил следующий способ подсчета избыточности текста: прочитываете 10-20 слов текста, при этом последующая часть текста должна быть закрыта, далее пытаетесь угадать с одной попытки первую закрытую букву, затем открываете эту букву и угадываете следующую и т.д. Опыт производится на 100-200 буквах текста. Отношение числа угаданных букв к общему числу угадываемых букв дает приближенное значение избыточности текста . Чем продолжительнее опыт, тем точнее результат.

Примером языка, лишенного избыточности, является язык цифр.

Все рассуждения о количестве информации в текстах относятся и к произвольным сигналам. В формуле (1) не учитывалось, что различные значения (уровни) дискретного сигнала могут появляться с различными вероятностями.

Пусть - вероятности появления -го значения сигнала ( ). Пусть также отсчетов сигнал принимает значение , отсчетов - значение и т.д. Вероятность появления такого сигнала определяется следующим образом

Если общее число отсчетов достаточно велико, то можно положить , ,..., . Тогда

При достаточно большом числе отсчетов ( ) можно считать, что все возможные комбинации сигнала ( ) равновероятны, т.е. , следовательно

Логарифмируя, найдем количество информации в сигнале

Используя тождества и , окончательно получим

(2)

Если все значения сигнала равновероятны ( ), то формулы (1) и (2) совпадают .

Если сигнал принимает какое-либо значение с вероятностью, равной единице ( ), то для и в соответствии с формулой (2) получим .

36. Понятие информации, экономической информации. Классификация экономической информации.

Понятие информации В широком смысле невозможно дать одно точное определение информации. С одной стороны, информация может рассматриваться как ресурс (аналогично трудовым, материальным и т.д.). Информация в этом смысле - новые сведения, позволяющие улучшить процессы, связанные с преобразованием вещества, энергии и самой информации. С другой стороны, информация неотделима от процесса информирования, где есть источник и потребитель информации: здесь информация - сведения, расширяющие запас знаний конечного потребителя.Различают три фазы существования информации:1.Ассимилированная информация - представление сообщений в сознании человека, наложенное на его систему понятий и оценок.2.Документированная информация - сведения, зафиксированные в знаковой форме на каком-то физическом носителе.3.Передаваемая информация - сведения, рассматриваемые в момент передачи информации от источника к приемнику.В дальнейшем будем рассматривать фазы 2 и 3.Основная масса информации собирается, передается и обрабатывается с помощью знаков. Знаки это сигналы, которые могут передавать информацию при наличии соглашения об их смысловом содержании между источником и приемником информации. Набор знаков, для которых существует указанное соглашение, называется знаковой системой.Информация на пути от источника к потребителю проходит через ряд преобразователей - кодирующие и деко дирующие устройства, ЭВМ и т.д. Смысловые свойства сообщений при этом отступают на второй план, и понятие «информация» заменяется общим понятием «данные». Данные - набор утверждений, фактов и (или) цифр, логически связанных между собой. Экономическая информация - информация об экономических процессах (производстве, распределении, обмене и потреблении материальных благ). Для ее обработки характерны сравнительно простые алгоритмы (упорядочение, выборка, корректировка).

Экономическая информация классифицируется по следующим признакам:

1.По отношению к системе - входная, выходная, внутренняя информация.

2.По признаку времени:

     перспективная (прогнозная) информация;

     ретроспективная (учетная) информация;

     периодические сообщения;

     непериодические сообщения.

3.По функциональным признакам (по функциональным подсистемам экономического объекта, например, о трудовых ресурсах, финансах, планирование, нормирование, учет и т.д.).

37. Понятие кода Грэя, особенности данного кода. Рекурсивное определение двоично-отраженного кода Грэя.

Код Грэя обладает ценным свойством, заключающемся в том, что любые два соседних кодовых слова отличаются лишь значением в одном разряде (последовательность кодовых слов в порядке минимального изменения). Код Грэя используется при построении различных преобразователей аналог-код, где он позволяет свести к единице младшего разряда ошибку неоднозначности при считывании информации.

Рекурсивное определение двоично-отраженного кода Грея следующее (используются обозначения, введенные в разд.2.3.2):

Рассмотрим алгоритм порождения кода Грэя. Коды Грея удобно задавать начальным словом и последовательностью переходов, т.е. упорядоченным списком номеров разрядов (пронумерованных справа налево, нумерация с единицы), которые меняются при переходе от одного кодового слова к другому.

38. Понятие кодирования информации, кода, основания и длины кода.

Преобразование сообщения в код называют кодированием информации. Такое преобразование осуществляется по определенному правилу (алгоритму). Множество различных кодовых комбинаций, получают при данном правиле кодирования, называют кодом.

Важными характеристиками кода являются основание ( ) и длина ( ) кода. Под основанием кода понимается число возможных значений, которые могут принимать элементы (символы, буквы) кодовой комбинации (слова), а под длиной - число элементов в этой комбинации.

39. Понятие меры количества информации. Единицы измерения количества информации.

Количество информации, которое можно перенести сигналом, будет тем больше, чем больше число комбинаций сигнала (сообщений).

Для подсчета числа таких комбинаций в нашем случае воспользуемся аксиомой комбинаторики – правилом произведения.

Правило произведения. Если некоторый выбор A можно осуществить способами, а для каждого из этих способов некоторый другой выбор B можно осуществить способами, то выбор «A и B» в указанном порядке можно осуществить S = способами. Это правило можно обобщить для произвольного числа выборов.

В нашем случае в каждый дискретный момент времени сигнал может принимать одно из значений. Т.е. в первый момент времени можно выбрать любой из возможных уровней сигнала, во второй момент времени можно выбрать любой из возможных уровней сигнала и так далее. Всего моментов времени , следовательно, по правилу произведения число возможных комбинаций сигнала или число возможных сообщений выражается формулой

.

Число дает комбинаторную оценку информации, содержащейся в произвольном дискретном сообщении (слове) из элементов (букв), каждая из которых принимает одно из возможных значений, составляющих некоторый алфавит.

В качестве меры количества информации принято использовать логарифм числа возможных сообщений

Таким образом, количество информации в сигнале пропорционально длительности сигнала (числу отсчетов ). Выбор основания логарифма определяет единицу измерения количества информации. Если , то измеряется в битах. Один бит – это количество информации, соответствующее одному из двух равновозможных сообщений типа «да» или «нет» (0 или 1). Таким образом

(1)

Бит является наименьшей единицей измерения информации. Кроме того, в ЭВМ в качестве единицы измерения информации используется байт (Б). Байт представляет собой вектор, состоящий из 8 бит. Очевидно, что байтом можно закодировать различных сообщений. Также широко используются килобайт (КБ), 1КБ= Б и мегабайт (МБ), 1МБ= Б.

Основы количественной оценки информации были заложены Н.Виннером и К.Шенноном в 1948 году.

Далее попытаемся ответить на вопрос - сколько бит информации приходится на одну букву русского языка?

В русском языке 33 буквы. Однако, буквы «е» и «ё» принято ститать за одну букву. Также за одну букву можно считать твердый и мягкий знаки. А промежуток между словами (пробел), наоборот, следует считать за букву. В итоге, в русском языке имеется 32 кодовых знака. Тогда информация, приходящаяся на одну букву, будет равна бит.

Это максимальная информация, приходящаяся на букву. Однако буквы в тексте встречаются с различной частотой. Например, относительная частота пробела равна 0.175. Это означает, что на 1000 букв текста в среднем приходится 175 пробелов. Относительная частота буквы «о» равна 0.09, буквы «а» – 0.062, буквы «щ» – 0.003 и т.д. Используемый термин «частота появления» обычно заменяют на термин «вероятность».

Отметим, что различная частота появления букв (вероятность) в текстах ложится в основу построения некоторых систем сжатия информации (архиваторов). Принцип работы таких систем основан на том, что для кодирования частовстречающихся букв используются короткие кодовые слова, а для кодирования редковстречающихся букв используются более длинные слова.

Из-за того, что буквы неравновероятны, информация, которую несет одна буква, уменьшается с 5 бит до 4.35 бита. Но и эта оценка завышена. Дело в том, что здесь информация вычисляется в предположении, что рассматривается одна изолированная буква текста, а предыдущие буквы неизвестны. На самом деле это не так. Действительно, если Вы прочитали слово «котор...», то следующей буквой может быть лишь «а», «ы», «о» или «у», т.о. выбор делается из 4 букв, а не из 32. В результате получается, что с учетом текстовых и стилистических связей, информация, реально приходящаяся на букву равна 0.5-1.5 бита.