5.3. Применение нейросетевых и методов к решению задач вычисления множественных коэффициентов регрессии и обращения плохо обусловленных матриц Обусловленность вычислительной задачи

Проблема обусловленности данных возникает при анализе разделимости классов и сокращении размерности векторов информативных признаков в АИС БЛ. Плохая обусловленность данных приводит к значительному накоплению погрешности при численном решении задач.

Обусловленность является одним из важнейших свойств любой вычислительной задачи наряду с корректностью задачи (существованием, устойчивостью и единственностью ее решения). Эти свойства необходимо учитывать при решении задач математического моделирования.

Теоретически наличие у задачи устойчивости означает, что ее решение может быть найдено со сколь угодно малой погрешностью, если только гарантировать, что погрешности входных данных достаточно малы. Однако на практике погрешности входных данных не могут быть сколь угодно малыми, точность их ограничена. Обусловленость вычислительной задачи [7] есть чувствительность ее решения к малым погрешностям входных данных. Задачу называют хорошо обусловленной, если малым погрешностям входных данных отвечают малые погрешности решения, и плохо обусловленной, если возможны сильные изменения решения. Часто оказывается возможным ввести количественную меру степени обусловленности - число обусловленности. Эту величину можно интерпретировать как коэффициент возможного возрастания погрешностей в решении по отношению к вызвавшим их погрешностям входных данных.

Пусть между абсолютными погрешностями входных данных x и решения y установлено неравенство:

(5.17)

Тогда величина _ называется абсолютным числом обусловленности.

Если же установлено неравенство

(5.18)

между относительными ошибками данных и решения, то величину _ называют относительным числом обусловленности. Обычно под числом обусловленности понимают относительное число обусловленности. Для плохо обусловленной задачи >>1. В некотором смысле неустойчивость задачи - это крайнее проявление плохой обусловленности, отвечающее значению  = . Конечно,  - это максимальный коэффициент возможного возрастания уровня ошибок, и для конкретных исходных данных действительный коэффициент возрастания может оказаться существенно меньше. Однако при выводе оценок (5.17), (5.18) стремятся к тому, чтобы не завышать значений  и поэтому соотношение >>1 все же свидетельствует о возможности существенного роста ошибок. Значение , при котором задачу следует признать плохо обусловленной, зависит, с одной стороны, от предъявляемых требований к точности решения и, с другой стороны - от уровня обеспечиваемой точности исходных данных. Например, если требуется найти решение с точностью 0.1%, а входная информация задается с точностью 0.02%, то уже значение  = 10 сигнализирует о плохой обусловленности. Однако (при тех же требованиях к точности результата) гарантия, что исходные данные задаются с точностью не ниже 0.0001%, означает, что при  = 10³ задача хорошо обусловлена.

Рассмотрим исходную систему линейных алгебраических уравнений

(5.19)

с квадратной матрицей порядка n. Для каждого n-мерного вектора решение задачи существует тогда и только тогда, когда 0. В этом случае можно определить матрицу , обратную матрице , и записать решение в виде:

. (5.20)

Рассмотрим “возмущенную систему”:

, (5.21)

которая отличается от (5.19) правой частью. Будем предполагать, что в матрицу возмущений не вносится. Нас интересует, насколько сильно может измениться решение в результате изменения правой части. Обозначим

Говорят, что система (5.19) устойчива по правой части, если при любых справедлива оценка

, (5.22)

где М₁>0 - постоянная, не зависящая от правых частей – норма матрицы. Оценка (5.22) выражает факт непрерывной зависимости решения от правой части, т.е. показывает, что при . Наличие устойчивости очень важно при численном решении систем уравнений, поскольку почти никогда нельзя задать правую часть точно, на самом деле вместо вектора задается какой-то близкий ему вектор . Погрешность возникает, например, в результате погрешностей округления.

Легко показать, что если 0, то система (5.19) устойчива по правой части. Действительно, из (5.9) и (5.11) следует уравнение для погрешности

откуда получаем

(5.23)

т.е. выполняется неравенство (5.22) с константой . Заметим, что чем ближе к нулю определитель матрицы , тем больше М₁ и, следовательно, тем сильнее погрешность правой части может исказить искомое решение.

Выше было дано общее определение абсолютного и относительного числа обусловленности вычислительной задачи. Подробнее остановимся на числе обусловленности матрицы, так как именно матрица корреляционных моментов представляет для нас непосредственный интерес. Применяя общее определение, можно сказать, что число обусловленности матрицы есть мера возрастания относительной погрешности решения задачи, в которой фигурирует данная матрица. Следовательно, обусловленность матрицы корреляционных моментов в нашем случае непосредственно влияет на точность вычисления коэффициентов начальной множественной регрессии.

В оценку (5.22) входят абсолютные погрешности решения и правой части . При решении системы (5.19) на ЭВМ с плавающей запятой более естественными характеристиками являются относительные погрешности

.

Получим оценку, выражающую относительную погрешность решения через относительную погрешность правой части. Для этого используем неравенство

, (5.24)

В результате мы придем к требуемой оценке:

(5.25)

где

. (5.26)

Число М_А, входящее в эту оценку, называется числом обусловленности матрицы и характеризует степень зависимости относительной погрешности решения от относительной погрешности правой части. Матрицы с большим числом обусловленности М_А называются плохо обусловленными матрицами. При численном решении систем с плохо обусловленными матрицами возможно сильное накопление погрешностей.

Подчеркнем, что число обусловленности не связано с каким-либо численным алгоритмом, а характеризует только свойство системы (5.19).

Число М_А чаще обозначают как сond( ), в дальнейшем будем придерживаться последнего обозначения.

С введением понятия сингулярных (собственных) чисел смысл числа обусловленности становится яснее.

Так как стандартное число обусловленности матрицы есть:

, (5.27)

число обусловленности можно интерпретировать как отношение максимального коэффициента растяжения векторов (сингулярного числа) под действие матрицы А к минимальному коэффициенту (сингулярному числу).

Действительно, исходя из сингулярного разложения, число обусловленности матрицы А полного ранга есть отношение:

, где

_max и _min - наибольшее и наименьшее сингулярные числа . Если имеет недостаточный ранг, то _min = 0, и говорят, что число cond( ) бесконечно.

Ясно, что cond( )  1. Если cond( ) близко к единице, то столбцы “очень независимы”. Если cond( ) большое, то столбцы почти зависимы.

Для квадратной матрицы: матрица считается более вырожденной, чем матрица , если cond( ) > cond( ). Если - ортогональная, то cond( ) =1. Здесь норма вектора определяется как , норму матрицы можно определить как .

Величина числа обусловленности зависит, вообще говоря, от выбора нормы векторов или, иными словами, от способа измерения величины входных данных и решения. В частности, выбору нормы отвечает .