4. Статистические закономерности текста. Частотный анализ, частоты встречаемости символов и биграмм в текстах.
Метод частотного анализа известен с еще IX-го века. Частотный анализ сводится к тому, что он подсчитывает частоты типовых элементов и делает выводы. Количество различных букв в каждом языке ограничено, и буквы могут быть просто перечислены. Текст состоит из слов, слова из букв. Важными характеристиками текста являются повторяемость букв, пар букв (биграмм) сочетаемость букв друг с другом, чередование гласных и согласных.
Некоторая разница значений частот в приводимых в различных источниках таблицах объясняется тем, что частоты существенно зависят не только от длины текста, но и от его характера. Например, в технических текстах редкая буква Ф может стать довольно частой в связи с частым использованием таких слов, как функция, дифференциал, диффузия.
Утверждается, что вероятность появления отдельных букв, а также их порядок в словах и фразах естественного языка подчиняются статистическим закономерностям: например, пара стоящих рядом букв «ся» в русском языке более вероятна, чем «цы». Анализируя достаточно длинный текст, зашифрованный методом замены, можно по частотам появления символов произвести обратную замену и восстановить исходный текст.
Существуют различные таблицы по встречаемости букв и сочетанию букв в тексте. Из таблиц биграмм можно также легко извлечь информацию о сочетаемости букв, т.е. о предпочтительных связях букв друг с другом.
Результатом таких исследований является таблица, в которой слева и справа от каждой буквы расположены наиболее предпочтительные «соседи» (в порядке убывания частоты соответствующих биграмм). В таких таблицах обычно указывается также доля гласных и согласных букв (в процентах), предшествующих (или следующих за) данной букве.
Первый закон Зипфа "ранг -- частота"
Частота — количество вхождений слова в текстах. Ранг — номер слова в общем списке обнаруженных слов, упорядоченном по убыванию частоты Слова, входящие в тексты с одинаковой частотой, имеют одинаковый ранг.
Вероятность = Частота вхождения слова / Число слов
Зипф обнаружил интересную закономерность. Оказывается, если умножить вероятность обнаружения слова в тексте на ранг частоты, то получившаяся величина (С) приблизительно постоянна!
С = (Частота вхождения словах Ранг частоты) / Число слов
В
торой
закон Зипфа "количество -- частота"
Разные слова в большом массиве текста могут иметь одинаковое количество вхождений. Если построить график, где ось X отображает частоту слова, а ось Y — количество слов, входящих в текст с такой частотой, то для любого массива текста этот график будет одинаковым.
5………………….
6. Регулярные выражения. Стандарты и механизмы регулярных выражений. Использование регулярных выражений.
Регуляторные выражения – способ записи некоторых шаблонов поиска. Регуляторные выражения представляют собой строку символов.
Регуля́рные выраже́ния — система обработки текста, основанная на специальной системе записи образцов для поиска. Образец, задающий правило поиска, по-русски также иногда называют «шаблоном», «маской».
Выражение может включить в себя:
1) строковые литералы (строка, набор символов);
2) диапазоны символов – множества ([……]);
Обычно с помощью регулярных выражений выполняются три действия:
Проверка наличия соответствующей шаблону подстроки.
Поиск и выдача пользователю соответствующих шаблону подстрок.
Замена соответствующих шаблону подстрок.
Сейчас регулярные выражения используются многими текстовыми редакторами и утилитами для поиска и изменения текста на основе выбранных правил.
Регулярные выражения используются для сжатого описания некоторого множества строк с помощью шаблонов, без необходимости перечисления всех элементов этого множества. При составлении шаблонов используется специальный синтаксис, поддерживающий, обычно, следующие операции:
Перечисление
Вертикальная черта разделяет допустимые варианты.
Группировка
Круглые скобки используются для определения области действия и приоритета операторов.
Квантификация
Квантификатор после символа или группы определяет, сколько раз предшествующее выражение может встречаться.
{m,n} общее выражение, повторений может быть от m до n включительно.
{m,} общее выражение, m и более повторений.
{n} - общее выражение, n повторений.
{n,} - общее выражение, более n повторений.
{,n} общее выражение, не более n повторений.
? - означает 0 или 1 раз, то же самое, что и {0,1}.
* - означает 0, 1 или любое число раз ({0,}).
+ - означает хотя бы 1 раз ({1,}).
Короткие обозначения также могут встречаться в регулярном выражении::
/d – все цифры [0…9]
/s - пробел
/w – символы входящие в слова
/D – все кроме цифр
/S – все кроме «пробельного»
/W – все кроме букв, цифр и символа подчеркивания
^ - все кроме [^0123456789]
| - или
. – замена одного и более символов и т.д.
Регулярное выражение поиска даты [0-9]+[/.-]{1,2}[0-9]+[/.-]{1}[0-9]+[0-3]{0,1}[0-9]{1}[/.-]{1}[0-1]{0,1}[0-9]{1}[/.-]{1}[0-9]{2,4}
где: .- 1 и более символов + - встречается 1 и более раз * - встречается 0 и более раз , - встр 0 и 1 раз {n} - встр n hfp {n, } - встр n и более раз {, n} - встр не более чем n раз {m, n} - встр от m до n раз