Численные методы оптимизации.

Решение задачи нахождения векторов оценок, которые минимизируют критерий идентификации: .

Ограничения на вектор оценок не накладывается – задача безусловной оптимизации. Метод Ньютона

Используются как первые, так и вторые производные функции . Первая производная представляется градиентом, вторые – матрицей ИССЭ (квадратичной , симметричной матрицей, составленной из вторых частных производных):

. Алгоритм:

Метод является самым «быстрым» – наибольшая скорость сходимости к точке минимума.

Недостатки:

1. трудоемкость вычисления обратной матрицы

2. метод Ньютона не из каждой точки начального приближения сходится в точке минимума. Метод не относится к методу спуска. Поэтому часто используется модифицируемый метод:

На каждом шаге параметр подбирается таким образом, что выполняется условие спуска. В этом случае модифицируемый метод Ньютона становится не критичным к выбору точки начального приближения.

4 Диагностирование линейных ОУ методом комплементарного сигнала. Постановка задачи, расчет КС по измеренным значениям выходного сигнала.

На вход объекта подается единичный импульс длительностью , – реакция объекта на прямоугольный импульс. – значения реакции в дискретные моменты времени. (7)

Оценки должны быть такими, чтобы с момента времени реакция объекта . Решение:

Обозначим N+n – число отсчетов выходного сигнала объекта управления. N – размерность объекта N>n. Так как ОУ является линейным. То для него справедлив принцип суперпозиции: выход объекта при воздействии КС равен сумме реакций объекта на каждый из импульсов этого сигнала.

для момента

В терминах выходных отсчетов:

Это соотношение можно записать для всех других измерений

(8) Первое слагаемое можно перенести в правую часть и система (8) представится в векторной форме:

Введем в рассмотрение матрицу , где , .

Используя МНК получим оценки амплитуд (9): (9)

Алгоритм (расчет КС по измерениям выходного сигнала)

1. На вход системы подать единичный импульс длительности .

2. Зафиксировать (n+N) значений реакции на единичный импульс, начиная с момента через каждые единиц времени.

3. Из выбранных значений составить матрицу и . По формуле рассчитать , – матрица-столбец.

• Если описание системы известно заранее, коэффициенты можно вычислить по формуле (6)

• Если описание системы неизвестно и для измерения доступен лишь выходной сигнал системы, коэффициенты КС можно определить, решив системы (8) и (9).

5 Оценка параметров линейной регрессионной модели: линейная регрессионная модель, критерий идентификации, МНК-оценки коэффициентов модели

Предполагается, что статический объект описывается множественной регрессией с числом факторов n. Рассматривается объект с n – входами и одним выходом, статическая характеристика которого определяется регрессионной зависимостью (3а): (3а) Тогда наблюдение и статическая характеристика связаны соотношением(3):

(3) где – случайная величина, вызванная действием ненаблюдаемых входов. Требуется по результатам наблюдений за входами и выходами объекта определить неизвестных параметров. Другими словами, структура модели известна и задана – (3а). А коэффициенты регрессии неизвестны – параметрическая идентификация.

Для оценки неизвестных коэффициентов необходимы массивы данных о входах и выходах объекта, которые получаем в результате N – измерений входов и выходов объекта через одинаковые промежутки времени в момент . В результате получаем массивы ,

где . В результате измерений можно составить модель наблюдений (3) для каждого измерения (4):

(4)

Каждое из уравнений связывает выход со статической характеристикой (значением входов). Запишем модель наблюдений (4) в векторной форме. Рассмотрим вектор неизвестных параметров , вектор выходных наблюдений . n – число факторов (входов), N – число опытов (измерений). Данные по входам оформим в виде матрицы . Коэффициент , чтобы отразить влияние всех коэффициентов, а все остальные элементы – коэффициенты, соответствующие измеренные входы.

- матрица измерения входа. Запишем (4) в векторной форме (5): (5) Можно найти приближенное значение – оценки . Поэтому – не значение регрессии (статической характеристики объекта), а оценка выхода объекта (выход модели). Для нахождения оценки коэффициентов определяем ошибку идентификации:

– остаточный ряд,где - вектор невязок (остатков).

Для упрощения вычисления оценок будем считать, что ошибки идентификации являются центрированными, т.е. , и некоррелированными.

– дисперсия остатка,

– единичная матрица, – ковариационная матрица остатков, элементами которой являются ковариации между остатками, а по главной диагонали дисперсии. Т.к. по предположению все элементы равны 0, то ошибки некоррелированны, другими словами, – белый шум. Для нахождения оценок коэффициентов регрессии введем критерий идентификации в виде квадрата нормы остатков: (6) В качестве оценок выбирают такие величины, при которых . (6) – оптимизационная задача без ограничений, т.е. может быть любым. Находится векторная производная от целевой функции и приравнивается к нулю:

– матричное уравнение. В результате получим (7) Оценки, получаемые по данному методу, МНК – оценки. Оценки можно вычислить, если .

Точность МНК – оценки . Т.к. оценки являются случайными, то для их оценивания используется ковариационная матрица. Последовательность случайных величин является центрированной и некоррелированной .

Рассмотрим ошибку измерения коэффициента регрессии – разность между действительным значением и оценкой: . Требуется определить математическое ожидание оценки и ковариационную матрицу ошибок оценивания: Заменим оценку оценкой из (7), вместо вектора наблюдений подставив модель наблюдений получим (7б):

(7б) Подвергнем обе части операции математического ожидания:

Случайные величины центрированы. Следовательно, математическое ожидание равно нулю, и значение ожидаемой оценки равно действительному значению. Значение МНК – оценки является несмещенным. Заменим ошибки измерения коэффициентов их значениями, и подвергнем операции математического ожидания: (7в)

(7в) определяет точность оценки коэффициентов регрессии. Ковариационная матрица – математическое ожидание произведения двух случайных центрированных векторов. Элементами ковариационной матрицы являются ковариации между компонентами векторов, которые представляют ошибки измерения коэффициентов регрессии. На главной диагонали – дисперсии, которые характеризуют точность измерения коэффициентов регрессии.