- •1. Начальные сведения о компиляции
- •1.1 Общие сведения о языке программирования и структуре транслятора.
- •1.2 Модель анализа-синтеза компиляции
- •1.3 Понятие прохода. Однопроходные и многопроходные компиляторы
- •1.4 Фазы компилятора
- •1.5 Управление таблицей символов
- •1.6 Обнаружение ошибок и сообщение о них
- •1.7 Фазы анализа
- •2.1 Назначение лексического анализатора
- •2. Лексический анализ
- •2.2 Атрибуты лексем
- •2.3 Общие принципы построения лексических анализаторов
- •2.4 Определение границ лексем
- •2.5 Выполнение действий, связанных с лексемами
- •2.6 Практическая реализация лексических анализаторов
- •2.7 Лексические ошибки
- •2.8 Способы построения лексических анализаторов
- •3. Определение лексем
- •3.1 Строки и языки
- •3.2 Операции над языками
- •3.3 Регулярные выражения
- •3.4 Регулярные определения
- •3.5 Распознавание лексем и регулярные выражения
- •3.6 Диаграммы переходов
- •Конечные автоматы
- •3.7.1 Недетерминированные конечные автоматы
- •3.7.2 Детерминированный конечный автомат
- •Преобразования нка
- •Построение конечного автомата по регулярной грамматике
- •4. Формальные языки и грамматики
- •4.1 Цепочки символов. Операции над цепочками символов
- •4.2 Понятие языка. Формальное определение языка
- •4.3 Способы задания языков
- •4.4 Синтаксис и семантика языка
- •4.5 Особенности языков программирования
- •4.6 Понятие о грамматике языка
- •4.7 Формальное определение грамматики. Форма Бэкуса-Наура
- •4.8 Принцип рекурсии в правилах грамматики
- •Другие способы задания грамматик
- •4.10 Запись правил грамматик с использованием метасимволов
- •4.11 Запись правил грамматик в графическом виде
- •4.12 Классификация языков и грамматик
- •4.12.1 Классификация грамматик по Хомскому
- •4.12.2 Классификация языков
- •4.12.3 Примеры классификации языков и грамматик
- •4.13 Цепочки вывода. Сентенциальная форма. Вывод. Цепочки вывода
- •4.14 Сентенциальная форма грамматики. Язык, заданный грамматикой
- •4.15 Левосторонний и правосторонний выводы
- •4.16 Дерево вывода. Методы построения дерева вывода
- •5. Синтаксический анализ
- •5.1 Основные принципы работы синтаксического анализатора
- •5.2 Роль синтаксического анализатора
- •5.3 Обработка синтаксических ошибок
- •5.4 Контекстно-свободные грамматики
- •5.5 Порождение
- •Деревья разбора и приведения.
- •Неоднозначность грамматик. Устранение неоднозначности
- •5.8 Устранение левой рекурсии
- •Левая факторизация
- •Эквивалентные преобразования кс-грамматик
- •6. Нисходящий анализ
- •6.1 Анализ методом рекурсивного спуска
- •6.2 Предиктивные анализаторы
- •6.3 Нерекурсивный предиктивный анализ
- •6.4 Множества first и follow
- •6.5 Построение таблиц предиктивного анализа
- •6.6 Ll(1)-грамматики
- •7. Восходящий синтаксический анализ
- •7.1 Понятие основы
- •7.2 Стековая реализация пс-анализа
- •Стек Вход
- •Стек Вход
- •7.3 Конфликты в процессе пс-анализа
- •7.4 Синтаксический анализ приоритета операторов
- •7.4.1 Грамматики простого предшествования
- •7.4.2 Грамматики операторного предшествования
- •7.4.3 Использование отношений приоритетов операторов
- •7.4.4 Нахождение отношений приоритетов операторов
- •7.4.5 Обработка ошибок переноса/свертки
- •7.4.6 Алгоритм синтаксического анализа простого предшествования
- •7.4.7 Алгоритм синтаксического анализа приоритета операторов
- •7.5.1 Алгоритм lr-анализа
- •7.5.2 Построение таблиц slr-анализа
- •7.5.3 Операция замыкания
- •7.5.4 Операция goto
- •7.5.5 Построение множеств пунктов
- •7.5.6 Построение таблицы разбора slr-анализа
- •8. Генерация кода. Методы Генерации кода.
- •8.1 Общие принципы генерации кода.
- •8.2 Внутреннее представление программы
- •8.3 Способы внутреннего представления программ.
- •8.4 Синтаксические деревья
- •8.4.1 Дерево разбора. Преобразование дерева разбора в дерево операций
- •Трехадресный код. Типы трехадресных инструкций
- •8.6 Тетрады - многоадресный код с явно именуемым результатом
- •8.8 Косвенные триады
- •8.9 Сравнение представлений: использование косвенного обращения
- •8.10 Ассемблерный код и машинные команды
- •8.11 Обратная польская запись операций
- •8.11.1 Вычисление выражений с помощью обратной польской записи
- •9. Синтаксически управляемая трансляция
- •9.1 Синтаксически управляемые определения
- •9.2 Вид синтаксически управляемого определения
- •9.3 Синтезируемые атрибуты
- •9.4 Наследуемые атрибуты
- •9.5 Графы зависимости
- •9.6 Порядок выполнения
- •9.7 Восходящее выполнение s-атрибутных определений
- •9.7.1 Синтезируемые атрибуты в стеке синтаксического анализатора
- •9.9 Схемы трансляции
- •9.9.1 Восходящее вычисление наследуемых атрибутов.
- •9.9.2 Наследование атрибутов в стеке синтаксического анализатора
- •9.9.3 Замена наследуемых атрибутов синтезируемыми
- •9.9.4 Память для значений атрибутов во время компиляции
- •9.9.5 Назначение памяти атрибутам во время компиляции
- •9.9.6 Устранение копий
2.8 Способы построения лексических анализаторов
Имеется три основных способа реализации лексического анализатора.
-
Использование генератора лексических анализаторов, такого как LЕХ, для создания лексического анализатора по спецификациям, основанным на регулярных выражениях. В этом случае генератор предоставляет функции для чтения и буферизации ввода.
-
Написание лексического анализатора на подходящем языке программирования с использованием возможностей ввода – вывода этого языка для чтения входной информации.
-
Написание лексического анализатора на языке ассемблера и явное управление процессом чтения входной информации.
Эти методы перечислены в порядке усложнения их реализации. К сожалению, более трудные для реализации подходы часто дают более быстрые лексические анализаторы [3].
LEX — программа для генерации лексических анализаторов. Входной язык содержит описания лексем в терминах регулярных выражений. Результатом работы LEX является программа на некотором языке программирования, которая читает входной файл (обычно это стандартный ввод) и выделяет из него последовательности символов (лексемы), соответствующие заданным регулярным выражениям.
Принцип работы LEX достаточно прост: на вход ей подается текстовый файл, содержащий описания нужных лексем в терминах регулярных выражений, а на выходе получается файл с текстом исходной программы сканера, на заданном языке программирования (обычно — на С). Текст исходной программы сканера может быть дополнен вызовами любых функций из любых библиотек, поддерживаемых данным языком и системой программирования. Таким образом, LEX позволяет значительно упростить разработку лексических анализаторов, практически сводя эту работу к описанию требуемых лексем в терминах регулярных выражений.
Вопросы
1. Что представляет собой входной алфавит следующих языков программирования: Pascal, C, Lisp?
2. Какие существуют соглашения по использованию пробелов в каждом из языков, указанных в п.1?
3. Какую роль выполняет лексический анализ в процессе компиляции?
4. Как могут быть связаны между собой лексический и синтаксический анализ?
5. Почему большинство современных компиляторов используют фазу лексического анализа, при том, что она является необязательной?
3. Определение лексем
В определении лексем важную роль играют регулярные выражения. Каждый шаблон соответствует множеству строк, так что регулярные выражения можно рассматривать как имена таких множеств.
3.1 Строки и языки
Алфавит, или класс символов, обозначает любое конечное множество символов. Типичным примером символов могут служить буквы или алфавитно-цифровые символы. Множество {0,1} представляет собой бинарный алфавит. ASCII является примером компьютерного алфавита.
Строка над некоторым алфавитом – это конечная последовательность символов, взятых из алфавита. В теории языков термин предложение и слово часто используются как символы термина “строка”. Длина строки s, обычно обозначаемая как │s│, равна количеству символов в строке. Например, длина строки banana равна шести.
Пустая строка, обозначаемая как λ ( или ε), представляет собой специальную строку нулевой длины.
Язык обозначает произвольное множество строк над некоторым фиксированным алфавитом. Например, {λ} - множество, содержащее только пустую строку.