Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Задачник.doc
Скачиваний:
1
Добавлен:
01.07.2025
Размер:
2 Мб
Скачать
☆

Int MaxM()

{

//возвращает максимально возможное значение mop

int max = sizes[0];

for (int i = 1; i <= n; i++)

if (sizes[i] > max) max = sizes[i];

return (max * max * max);

}

Процедура EvalMopAndNop построена в полном соответствии с соотношением (12), находя минимальное значение стоимости перемножаемых матриц в цикле по k – по всем возможным перемножениям на заданном отрезке последовательности:

Void EvalMopAndNop(int I, int j, ref int m, ref int n)

{

//нахождение на отрезке (i,j) минимального числа умножений

//и номера матрицы, где этот минимум достигается

int min =maxmop, num =0;

int m1=0;

for (int k = i; k < j; k++)

{

m1 = mop[i, k] + mop[k + 1, j]

+ sizes[i] * sizes[k+1] * sizes[j+1];

if (m1 <= min)

{

min = m1; num = k;

}

}

m = min; n = num;

}

При вычислении минимума используются уже рассчитанные элементы, лежащие левее и ниже диагонального элемента.

Матрица mop содержит всю необходимую информацию об оптимальном порядке умножений. Но эту информацию необходимо еще преобразовать к нормальному виду, поскольку она дается в обратном порядке, указывая на последнюю операцию умножения. Для достижения цели разумно использовать стек, вталкивая в него элементы в порядке их вычисления, тогда в конце первое умножение окажется в вершине стека. В данном случае стек можно организовать на обычном массиве, который назовем ords. Размерность массива определяется числом умножений (n-1), и массив будет заполняться снизу, так что указатель элемента top вначале имеет максимальное значение, равное n-2. Заполняет стек рекурсивная процедура, которая вначале вталкивает в стек значение, соответствующее последнему умножению, а затем рекурсивно вызывает себя на двух отрезках последовательности – предшествующему последнему умножению и следующему за ним. Рекурсивный вызов не выполняется, если отрезки имеют единичную длину.

Приведу текст рекурсивной процедуры orders(i, j), формирующей порядок умножений на отрезке [i, j]. Как обычно в таких случаях вначале строится нерекурсивная процедура без параметров, единственное назначение которой вызвать рекурсивную процедуру на начальном отрезке:

public void Ords()

{

orders(0, n - 1);

}

Void orders(int I, int j)

{

//рекурсивная процедура формирования порядка умножений

int k = mop[j,i];

ords[top] = FormStr(i, j, k);

top--;

if (i != k) orders(i, k);

if ((k+1) != j) orders(k+1, j);

}

Процедура FormStr формирует строку, показывающую порядок умножений в виде, удобном для восприятия пользователем:

private string FormStr(int i, int j, int k)

{

string s,s1;

if (i == k)

s = "(" + i + ")";

else s = "(" + i + ", " + k + ")";

if (j == k+1)

s1 = "(" + j + ")";

else s1 = "(" + (k+1) + ", " + j + ")";

return (s + "*" + s1);

}

На рис. 9 показано, как выглядит интерфейс пользователя в реальном проекте, где используется алгоритм динамического программирования для нахождения оптимального порядка выполнения умножений в последовательности матриц.

Рис. 9 Определение оптимального порядка умножения матриц

Эффективные алгоритмы умножения двух матриц. Алгоритм Штрассена

Вернемся к рассмотрению алгоритма умножения двух матриц: C(n*m) =A(n*p)*B(p*m). В соответствии с определением (7) для вычисления матрицы C требуется выполнить n*p*m операций умножения элементов матриц. Если рассматривать умножение квадратных матриц размерности n, то умножение двух матриц требует порядка O(n3) операций умножения элементов. Можно ли уменьшить требуемое число умножений? Существуют ли алгоритмы умножения, имеющие лучший порядок? Оказывается, да. И один из первых алгоритмов такого рода был предложен Штрассеном. Алгоритм Штрассена требует для умножения матриц порядка O(nlog(7)) = O(n2,81)операций умножения. Конечно, даром ничего не дается. Алгоритм Штрассена требует в сравнении с обычным алгоритмом дополнительной памяти и дополнительных сложений порядка O(n2). Он имеет гораздо большую константу при числе умножений, чем обычный алгоритм. Большие матрицы, встречающиеся на практике, как правило, являются разреженными, многие клетки которых равны нулю. Тогда, как уже отмечалось, для них можно применять специальные алгоритмы, использующие знание структуры построения матриц и ее специфику. Тем не менее, если требуется перемножать плотные матрицы больших размеров, применение алгоритма Штрассена становится разумным. В любом случае знание алгоритма Штрассена представляет как теоретический, так и практический интерес.

Чтобы понять основную идею уменьшения числа умножений за счет увеличения числа сложений, рассмотрим более простую задачу умножения двух комплексных чисел, заданных действительной и мнимой частью:

Для получения результата необходимо выполнить 4 умножения и 2 сложения (вычитания) над вещественными числами a, b, c, d. А можно ли обойтись тремя умножениями? Можно, например, так:

Для получения результата понадобилось 3 умножения и 5 сложений. Если полагать, что одна операция умножения эквивалентна по стоимости (сложности, времени вычисления) 30 операциям сложения, то второй алгоритм явно предпочтительнее первого.

Рассмотрение алгоритма Штрассена начнем со случая перемножения квадратных матриц, из чего однозначно следует, что матрицы имеют одинаковую размерность [n*n]. Более того, будем предполагать, что n – число четное, так что n = 2*m. Представим теперь матрицы сомножители в клеточном виде, состоящими из клеток одинаковой размерности [m*m]:

(13)

Соотношения (13) в то виде, как они записаны, пока что не дают никаких преимуществ. Исходная задача, имеющая сложность O((2*m)3) = O(8m3), свелась к вычислению четырех клеточных матриц – r, s, t, u, - для нахождения каждой из которых требуется два умножения матриц размерности [m*m] плюс одно сложение матриц, так что суммарно по-прежнему требуется число умножений порядка O(8m3). Наша цель – организовать вычисления так, чтобы число умножений клеточных матриц сократилось с восьми до семи за счет идеи, используемой при перемножении комплексных чисел.

Построим 7 временных матриц P1, P2, …P7. Каждая из матриц PI будет требовать ровно одного умножения матриц и возможно одного или двух сложений исходных клеточных матриц. Если удастся выразить клетки результата в виде линейной комбинации матриц PI, то цель будет достигнута, требуемое число умножений клеток сократится до 7, и, следовательно, будет построен более эффективный алгоритм умножения двух матриц. Эту задачу и удалось решить Штрассену. Вот соотношения для расчета:

(14)

Соотношения (14) и задают алгоритм Штрассена. Оценим время работы этого алгоритма. Нетрудно видеть, что время работы можно описать следующим рекуррентным уравнением:

(15)

Базисная теорема о рекуррентных уравнениях, рассматриваемая ниже, утверждает, что решение этого уравнения дается соотношением:

(16)

Алгоритм Штрассена можно обобщить на случай матриц произвольной размерности. Если матрицы квадратные, но n – нечетно, то нетрудно сделать его четным, добавив в перемножаемые матрицы строку и столбец, состоящие из нулевых элементов.

Если матрицы прямоугольные, но размеры m, n и p близки друг к другу, то, опять-таки, добавление нулевых строк и столбцов позволяет расширить матрицы до квадратных. Например, при перемножении матрицы A(27*31) на матрицу B(31*29) можно расширить матрицы до квадратных матриц размера 32*32, добавив в матрицу A пять нулевых строк и один такой же столбец, а в матрицу B соответственно добавить одну строку и три нулевых столбца. В результирующей матрице C размера 32*32 появятся пять пустых строк и три таких же столбца, исключив которые, получим нужный результат – матрицу размера 27*29.

Если приходится иметь дело с вытянутыми матрицами, то можно поступить следующим образом. Пусть r – это минимальный из трех размеров: r = min(n, p, m). Расширим матрицы так, чтобы все три размера были кратны r: n = ur, p = vr, m = wr. Тогда матрицы A и B можно рассматривать как клеточные матрицы, состоящие из квадратных клеток размерности r. Затем применять алгоритм Штрассена к произведениям клеток, для которых выполняется требования квадратности. Пусть, например, размеры перемножаемых матриц задаются тройкой чисел: 30, 70, 100. Эти матрицы можно расширить так, чтобы их размеры задавались тройкой: 30, 90, 120. Расширенные матрицы состоят из клеток размера 30*30. При перемножении клеток применим алгоритм Штрассена. Конечно, в таких случаях всегда нужно решить вопрос, а «стоит ли овчинка выделки».

Базисная теорема о решении рекуррентных уравнений

При разработке алгоритмов широко применяется прием «разделяй и властвуй», когда исходная задача разбивается на подзадачи. Решение общей задачи строится из решений подзадач. Важную часть таких алгоритмов составляют рекурсивные алгоритмы, когда исходная задача размерности n разбивается на подзадачи той же структуры, что и исходная, но меньшей размерности. Весь фокус рекурсии заключается в том, что процесс разбиения продолжается до тех пор, пока не придем к подзадачам минимальной размерности, обычно к задачам размерности n=1, для которых решение строится совсем просто. При этом важно, чтобы, зная решения подзадач, сложность построения решения общей задачи была невысокой.

Рассмотрим теорему, позволяющую оценить время решение общей задачи для рекурсивных алгоритмов в ряде важных случаев, часто возникающих на практике. Эту теорему иногда называют базисной теоремой рекуррентных уравнений. Рассмотрим случай, когда исходная задача размерности n сводится к решению k подзадач размерности n/q. Для упрощения доказательства будем предполагать, что n является степенью числа q, так что n = qm. Имеет место следующая теорема:

Теорема 3.1. Пусть k, b, q – неотрицательные постоянные. Решение рекуррентных уравнений

(17)

имеет вид:

(18)

Доказательство. Из соотношений (17) следует:

(19)

В соотношение (19) входит сумма членов геометрической прогрессии со знаменателем k/q. Если k < q, то знаменатель меньше 1. Это означает, что соответствующий бесконечный ряд сходится, а конечная сумма ограничена некоторой константой. Отсюда и следует первое из утверждений теоремы, что T(n) = O(qm) = O(n).

В случае, когда q = k, все слагаемые в сумме равны 1 и, следовательно, T(n) = b*qm * m = O(n*log(n)). Это доказывает второе из утверждений теоремы.

В случае, когда знаменатель прогрессии больше 1, воспользуемся выражением для суммы членов геометрической прогрессии. Тогда получим:

Все случаи разобраны и теорема доказана.

Теорема показывает, как временная сложность рекурсивных алгоритмов связана с размерами и числом подзадач. Если размер подзадачи уменьшается в q раз в сравнении с размером исходной задачи, то хорошо, когда число подзадач вырастает в менее чем в q раз. Тогда алгоритм будет выполнять свою работу за линейное время. Он останется почти линейным с логарифмическим сомножителем, если исходная задача разобьется на две подзадачи размера n/2, или на три задачи размера n/3, или на k задач размера n/k. В случае, когда появляются 4 подзадачи размера n/2, алгоритм будет уже квадратичным со временем работы O(n2). При 8 подзадачах размерности n/2 время работы алгоритма оценивается как O(n3).

Вернемся к алгоритму Штрассена, где исходная задача разбивается на 7 подзадач размерности n/2. Применить теорему 3.1 напрямую нельзя, поскольку время объединения решений подзадач является квадратичным, а не линейным, как в доказанной теореме. Но можно повторить доказательство теоремы (случай 3) и убедиться, что результат теоремы верен и в этом случае. Единственное ограничение, что число подзадач должно быть не меньше четырех, что выполняется для алгоритма Штрасссена, где число подзадач равно 7.

Конечно, на практике редко бывает, чтобы размерность задачи n представляла целую степень числа q. В этом случае ближайшая сверху степень числа q служит для оценки времени работы алгоритма. В самом алгоритме подзадачи создаются так, чтобы их размеры совпадали насколько это возможно.

Что происходит в тех случаях, когда не удается разбивать задачу на подзадачи примерно одинаковой размерности? Как правило, нарушение балансировки может существенно ухудшить качество алгоритма, увеличивая его временную сложность. В качестве примера рассмотрим ситуацию, когда исходная задача размерности n разбивается не на две подзадачи размерности n/2, а на две подзадачи - размерности 1 и n-1. Тогда

Нетрудно видеть, что решением этого уравнения является T(n) = O(n2). В результате разбалансировки алгоритм получил квадратичную сложность, что значительно хуже, чем сложность O(n*log(n)), получаемую при делении задачи на две подзадачи одинаковой размерности.

Тяжелая ситуация возникает и тогда, когда с ростом подзадач их размер сокращается не в k раз, а на k единиц. Рассмотрим ситуацию, когда исходная задача размерности n разбивается на две подзадачи размерности n-1 каждая. Соответствующее рекуррентное уравнение в этом случае имеет вид:

Даже упростив ситуацию, полагая, что объединение решений подзадач требует константного времени, а не линейного, приходим к алгоритму с экспоненциальной сложностью, где T(n) = O(2n). Как известно, алгоритмы с экспоненциальной сложностью становятся практически нереализуемыми уже при сравнительно небольших значениях n, несмотря на всю мощь современных компьютеров. Задача о «Ханойской башне» является классическим примером, где возникает подобная ситуация.

Эффективный алгоритм обращения матриц специальной структуры

Уже отмечалось, что знание структуры матрицы позволяет в ряде случаев выполнять основные операции эффективнее, чем в стандартных ситуациях. В качестве примера рассмотрим важный для ряда приложений класс матриц, имеющих следующую структуру:

(20)

Здесь RN – диагональная матрица размерности [N*N], Rm – диагональная матрица размерности [m*m], h и hT – прямоугольные матрицы соответственно размерностей [N*m] и [m*N]. Предположим также, что N существенно больше, чем m. Обращение матрицы R требует в стандартном случае O(N3) операций умножения, а в случае применения алгоритма Штрассена – O(N2,81).

Покажем, что, используя знание структуры матрицы R, можно построить более эффективный алгоритм. Докажем, что обратную матрицу можно вычислить по следующей схеме:

(21)

Поскольку обращение диагональных матриц не требует серьезных затрат, то основные вычисления будут связаны с обращением матрицы B, что требует O(m3) операций умножения. Если, например N= 10m, то суммарное время вычислений сократится примерно в 10 раз, требуя времени такого же, какое уходит на вычисление самой матрицы R в соотношении (20).

Докажем справедливость соотношения (21):

Задачи

  1. Дана прямоугольная матрица A. Вычислить матрицу B = AT.

  2. Дана квадратная матрица A. Построить транспонированную матрицу на том же месте.

  3. Даны матрицы A и B одинаковой размерности. Вычислить их сумму C= A+B

  4. Даны матрицы A и B. Вычислить их произведение C= A*B, если это возможно.

  5. Матрицы A и B являются нижнетреугольными матрицами одной размерности. Напишите процедуры сложения, умножения и транспонирования для таких матриц, учитывающие их структуру.

  6. Матрицы A и B являются верхнетреугольными матрицами одной размерности. Напишите процедуры сложения, умножения и транспонирования для таких матриц, учитывающие их структуру.

  7. Матрица A является нижнетреугольной матрицей, а B – верхнетреугольной. Напишите процедуры сложения и умножения таких матриц, учитывающие их структуру.

  8. В целях экономии памяти треугольные матрицы хранятся в одномерных массивах размерности (n2 +n)/2. Напишите процедуры сложения, умножения и транспонирования таких матриц.

  9. Дана квадратная матрица А. Напишите процедуру вычисления ее определителя.

  10. Дана квадратная матрица А. Напишите процедуру вычисления обратной матрицы А-1.

  11. Дана система n линейных уравнений с n неизвестными. Напишите процедуру нахождения ее решения.

  12. Дано m систем n линейных уравнений с n неизвестными с одной и той же правой частью (матрицей A). Напишите процедуру нахождения решений этих систем.

  13. Постройте обобщенную процедуру метода Гаусса, позволяющую вычислять определитель матрицы, находить обратную матрицу и решать системы уравнений с произвольным числом правых частей.

  14. Напишите процедуру обращения матрицы, используя алгоритм Штрассена.

  15. Проведите эксперименты и постройте графики времени обращения матриц в зависимости от их размерности для обычного алгоритма умножения матриц и алгоритма Штрассена.

  16. Напишите процедуру умножения последовательности матриц, используя алгоритм динамического программирования.

  17. Проведите эксперименты и постройте графики времени умножения последовательности матриц для алгоритма с последовательным умножением матриц и алгоритма динамического программирования. Предполагается, что последовательность, задающая размеры перемножаемых матриц, является последовательностью равномерно распределенных случайных чисел в заданном диапазоне [m, n].

  18. Дана последовательность точек на плоскости – P0, P1, …Pn, заданная декартовыми координатами. Постройте матрицу Вандермонда. Вычислите ее определитель двумя способами.

  19. Дана последовательность точек на плоскости – P0, P1, …Pn, заданная декартовыми координатами. Постройте интерполяционный алгоритм Лагранжа, используя алгоритм Гаусса.

  20. Проведите эксперименты и постройте графики времени нахождения коэффициентов интерполяционного полинома для двух алгоритмов – Гаусса и Лагранжа.

  21. Дана последовательность точек на плоскости – P0, P1, …Pn, заданная декартовыми координатами. Постройте матрицу Вандермонда и обратную к ней. Вычислите М-число обусловленности.

  22. Дана последовательность точек на плоскости – P0, P1, …Pn, заданная декартовыми координатами. Будем называть координаты этих точек «точными координатами». Постройте последовательность точек R0, R1, …Rn, координаты которых строятся по точным координатам и случайным ошибкам, так что aи = ат + ε, где aи – измеренное значение, ат – точное значение, а ε – ошибка измерения. Проведите исследование влияния ошибок измерений на коэффициенты интерполяционного полинома, сравнивая их с коэффициентами, полученными для точных координат точек.

  23. Дана последовательность точек на плоскости – P0, P1, …Pn, заданная декартовыми координатами. Будем называть координаты этих точек «точными координатами». Постройте последовательность точек R0, R1, …Rn, координаты которых строятся по точным координатам и случайным ошибкам, так что aи = ат + ε, где aи – измеренное значение, ат – точное значение, а ε – ошибка измерения. Проведите исследование влияния ошибок измерений на значение полинома , вычисленное в новой точке x*. Как меняется ситуация, когда точка x* находится внутри интервала измерений, вне этого интервала? Как влияет число обусловленности на результаты исследований?

  24. Напишите процедуру вычисления обратной матрицы для случая, когда прямая матрица имеет структуру, заданную соотношением (20).

  25. Проведите исследование временных затрат на обращение матрицы, структура которой задается соотношением (20), используя различные алгоритмы обращения – классический, Штрассена и специальный, заданный соотношением (21).

Математическая статистика и задачи обработки измерений

На практике часто приходится работать с последовательностями данных, представляющих результаты измерений значений некоторых величин. Как правило измерения сопровождаются ошибками, носящими случайный характер. Корректная обработка результатов измерений требует в этом случае привлечение аппарата теории вероятностей и математической статистики.

Переменная X называется случайной, если можно говорить о вероятности появления того или иного значения, но нельзя точно предсказать, какое именно значение примет эта величина в результате опыта. Классическим примером является случайная величина, задающая исход бросания монеты, у которой два возможных значения – «орел» и «решка». Для правильно устроенной монеты вероятности появления значений одинаковы и равны 1/2.

Случайные величины характеризуются законом распределения, позволяющим определить вероятность появления возможных значений. Далее для простоты будем рассматривать случайные величины, возможные значения которых являются вещественными числами. Тогда закон распределения будет характеризовать вероятность попадания значения случайной величины в некоторый заданный интервал вещественной оси.

Случайные величины могут быть дискретными и непрерывными. Для дискретной случайной величины множество возможных значений конечно. Закон распределения дискретной случайной величины можно задать таблицей, в которой каждому возможному значению xi приписана вероятность появления этого значения – pi. От вероятностей pi требуются, чтобы их значения принадлежали интервалу [0, 1] , а их сумма была равна 1, как это имеет место в случае бросания монеты.

Для непрерывной случайной величины множество возможных значений бесконечно и несчетно (при сделанном нами предположении – это вещественная ось). Вероятность каждого отдельного значения в этом случае равна нулю и имеет смысл говорить только о попадании значения в некоторый интервал. В этом есть некоторый парадокс – для непрерывных случайных величин реализуются события с нулевой вероятностью, поскольку для каждого отдельного значения xi справедливо, что P(X=xi) = 0.

Закон распределения для непрерывной случайной величины обычно задается с помощью функции распределения F(x), определяющей вероятность того, что случайная величина X примет значение меньшее x:

F(x) = P(X <x)

Наряду с функцией F(x) для задания закона распределения используют функцию f(x), - плотность распределения вероятностей. Функция f(x) связана с функцией F(x) следующим соотношением:

Зная плотность вероятности, нетрудно посчитать вероятность попадания значения случайной величины X в интервал [a, b]:

(22)

В зависимости от ситуации встречаются случайные величины с различными законами распределения. Рассмотрим два наиболее часто встречающихся закона распределения – равномерное и нормальное распределение. О равномерном распределении можно говорить как для дискретных, так и для непрерывных случайных величин. У равномерно распределенной дискретной случайной величины с n возможными значениями вероятности их появления одинаковы и равны 1/n. Бросание монеты или игрального кубика – примеры ситуаций, где появляется равномерно распределенная дискретная случайная величина. Непрерывная, равномерно распределенная в некотором интервале [a, b] случайная величина имеет постоянную плотность вероятности:

(23)

Вероятность попадания значения такой случайной величины в интервал [c,d], содержащийся в интервале [a,b] пропорциональна длине интервала и равна (d-c)/(b-a).

Непрерывная случайная величина распределена по нормальному закону (закону Гаусса), если ее плотность вероятности задается соотношением:

(24)

Функция распределения F(x) и плотность распределения – f(x) полностью характеризуют случайную величину. Но часто используют более простые числовые характеристики, называемые моментами распределения, среди которых важную роль играют два первых момента – математическое ожидание и дисперсия случайной величины. Математическое ожидание – mx представляет собой средневзвешенное значение случайной величины, где вероятности играют роль весовых коэффициентов. Для дискретной случайной величины:

(25)

Для непрерывной случайной величины сумма заменяется интегралом:

(26)

Случайная величина называется центрированной, если ее математическое ожидание равно 0. Если X – случайная величина с математическим ожиданием mx, то для центрирования достаточно вычесть математическое ожидание, переходя к случайной величине Y = X – mx.

Заметьте, математическое ожидание не является наиболее вероятным значением, - это центр, вокруг которого разбросаны значения случайной величины. Для дискретной величины оно вообще может не быть возможным значением. Так для равномерно распределенной случайной величины с двумя значениями 0 и 1 математическое ожидание будет равно 0,5, хотя само это значение никогда не появится в результате опыта. Для непрерывной случайной величины равномерно распределенной в интервале [0, 1], математическое ожидание также равно 0,5 и хотя это значение может появляться, но, как уже говорилось, вероятность этого события равна нулю.

Дисперсия характеризует разброс значений случайной величины относительно ее математического ожидания. Формально дисперсия задается следующими соотношениями:

(27)

Вместо дисперсии часто используют параметр, называемый среднеквадратическим отклонением - σx = √Dx .

У нормального закона распределения есть много замечательных свойств, - одно из них состоит в том, что два его параметра в соотношении (23) – m и σ представляют математическое ожидание и среднеквадратическое отклонение и полностью определяют этот закон распределения. От людей, влюбленных в теорию вероятностей, часто можно слышать, что все в этом мире распределено по нормальному закону (по гауссиане). Это высказывание подтверждается многочисленными наблюдениями в реальной жизни. Математическое обоснование его справедливости дают центральные предельные теоремы, утверждающие, что распределение суммы случайных величин с ростом числа слагаемых стремится к нормальному распределению, если среди слагаемых нет таких, вклад которых в сумму был бы определяющим. Разные предельные теоремы по-разному задают ограничения на слагаемые в сумме. С содержательной точки зрения случайность возникает из-за воздействия множества различных неучтенных факторов, - их совокупность приводит к нормальному распределению. Но следует с некоторой осторожностью принимать гипотезу о нормальности распределения. Приведу простой пример – пусть случайной величиной является площадь квадратного участка, полученная в результате измерения длины его стороны. Если мы примем, что сторона квадрата X имеет нормальное распределение, то площадь Y = X2 будет иметь распределение, отличное от нормального. Если же полагать, что Y распределено по нормальному закону, то тогда этого нельзя утверждать относительно распределения стороны. В таких ситуациях обычно предпочитают считать, что нормальным распределением обладают наблюдаемые величины (в нашем примере – это сторона), а дальше уже рассматривают распределение величин, функционально связанных с наблюдаемыми. Заметьте также, что речь всегда идет об асимптотически нормальном распределении, поскольку в нашем примере, как это часто бывает, случайные величины (длина, площадь) по своей сути являются положительными, а нормальное распределение предполагает возможность появления значений на всей вещественной оси.

Запись X N(m, σ) будет обозначать, что случайная величина X имеет нормальное распределение с параметрами m и σ. Запись X  R(a, b) будет обозначать, что случайная величина X равномерно распределена в интервале [a, b].

Для программистов крайне важно уметь генерировать последовательности значений случайной величины с заданным законом распределения. Поскольку такая последовательность формируется по определенному алгоритму, то ее нельзя назвать случайной в строгом смысле. Последовательности, вырабатываемые алгоритмически, называют псевдослучайными. Префикс «псевдо» обычно опускается. Библиотека классов FCL содержит специальный класс Random, позволяющий генерировать последовательность значений, как для дискретных, так и для непрерывных, равномерно распределенных случайных величин. Поскольку есть возможность получать равномерно распределенную случайную величину, то, используя результаты предельной теоремы нетрудно получать и случайные величины, распределенные по нормальному закону. Пусть X – непрерывная равномерно распределенная случайная величина в интервале [0, 1], последовательность значений которой генерируется методами класса Random. Используя соотношения (25) и (26), нетрудно подсчитать, что математическое ожидание и дисперсия в этом случае равны:

Случайная величина Y, образованная как сумма равномерно распределенных случайных величин Xi, будет распределена (асимптотически) по нормальному закону в соответствии с центральной предельной теоремой. Пусть

(28)

Тогда нетрудно показать, что

Для получения хорошего приближения к нормальному закону достаточно пользоваться сравнительно небольшими значениями n, например выбирать n = 10.

Часто приходится иметь дело не с одной случайной величиной, а с некоторой совокупностью – случайным вектором X (X1, X2, …Xn), все компоненты которого случайные величины. Все понятия, связанные со случайной величиной, - функция распределения, плотность распределения, моменты - легко обобщаются на многомерный случай. Для простоты рассмотрим вначале случай двух случайных непрерывных величин X и Y с плотностью распределения f(x, y). Вероятность попадания точки на плоскости с координатами (x, y) в некоторую область D вычисляется через плотность распределения:

В классической математике величины могут быть связаны некоторой зависимостью. Если, например, x и y связаны функциональной зависимостью, то, зная значение x, можно однозначно вычислить значение y. Для случайных величин можно говорить о вероятностной зависимости. Если X и Y связаны вероятностной зависимостью, то, зная значение x первой из них, нельзя однозначно сказать, каково будет значение второй случайной величины, но плотность вероятности случайной величины будет зависеть от значения x. Более точно это выражается в определении плотности двумерного распределения через плотности одномерного распределения:

В данном соотношении f(y/x) – условная плотность вероятностей – плотность вероятности случайной величины Y при условии, что случайная величина X приняла значение x. Аналогичный смысл имеет условная плотность f(x/y).

Случайные величины X и Y называются независимыми, если их условные плотности совпадают с обычными плотностями распределения, так что

С вероятностной зависимостью случайных величин X и Y тесно связано понятие корреляционной зависимости, числовыми характеристиками которой являются корреляционный момент - Kxy и коэффициент корреляции – rxy:

(29)

Корреляционный момент Kxy определяется, как математическое ожидание произведения центрированных случайных величин X и Y. Учитывая соотношение (29), нетрудно видеть, что из независимости случайных величин следует их некоррелированность – корреляционный момент и коэффициент корреляции равны 0. Отсюда следует, что, если есть корреляция, то случайные величины обязательно зависимы. Однако из некоррелированности не следует независимость случайных величин. Коэффициент корреляция может быть равен 0, тем не менее случайные величины могут быть зависимыми. Нетрудно показать, что коэффициент корреляции по модулю меньше или равен единицы. Если X и Y связаны линейной функциональной зависимостью, то отсюда следует и корреляционная зависимость:

(30)

Коэффициент корреляции отражает степень линейной зависимости случайных величин, имея по модулю значение 0, когда величины независимы, и 1, когда они связаны линейной функциональной зависимостью. Случайная величина естественно всегда линейно связана сама с собой и взаимный корреляционный момент по определению является ее дисперсией: Dx = Kxx.

Обобщая эти понятия на случайный вектор, приходим к характеристикам случайного вектора X= (X1, X2, …Xn) - вектору математических ожиданий Mx и корреляционной матрице Kx:

(31)

Корреляционная матрица является симметричной матрицей, по диагонали которой стоят дисперсии случайных величин Xi, а элементы Ki,j – корреляционные моменты случайных величин Xi и Xj. Если случайные величины независимы (не коррелированны), то корреляционная матрица случайного вектора является диагональной.

Если случайный вектор Y является суммой случайных векторов X1 и X2, то

(32)

Для независимых случайных векторов X1 и X2 корреляционная матрица суммы векторов сумме корреляционных матриц каждого из векторов: Ky = Kx1 + Kx2.

Пусть A – это матрица размерности n*m и случайный вектор Y размерности n линейно связан с вектором X размерности m:

Тогда корреляционная матрица вектора Y вычисляется из следующего соотношения:

(33)

На этом закончим с кратким введением в теорию вероятностей. Оно нам понадобилось только для того, чтобы можно было сформулировать некоторые задачи математической статистики по обработке результатов измерений, используя введенную терминологию.

Оценка характеристик распределения случайных величин

Пусть X – случайная величина, закон распределения которой неизвестен или известен с точностью до параметров распределения. Например из общих соображений можно полагать, что X распределена по нормальному закону, но математическое ожидание и дисперсия неизвестны. Пусть x1, x2, …xn – независимые измерения значений случайной величины – или, как говорят в статистике, - выборка из генеральной совокупности объема n. Зная выборку, точно определить параметры распределения невозможно, но можно получить для них оценку. Пусть a – некоторый параметр распределения (математическое ожидание, дисперсия, момент порядка k и так далее). Оценкой параметра ā будем называть любую функцию от данных выборки:

Понятно, что оценка является случайной величиной, поскольку является функцией от случайных величин. Среди всех возможных оценок нас будут интересовать оценки, обладающие такими свойствами как: состоятельность, несмещенность и эффективность. Оценка ā называется состоятельной, если она сходится по вероятности к истинному значению а. Это означает, что с увеличением объема выборки вероятность отклонения оценки от истинного значения стремится к нулю. Оценка ā называется несмещенной, если ее математическое ожидание равно истинному значению. Несмещенная оценка ā называется эффективной, если она обладает наименьшей дисперсией в классе несмещенных оценок.

Для параметров распределения случайной величины – mx, Dx, Kxy – математического ожидания, дисперсии, корреляционного момента применяются естественные оценки:

(34)

Все оценки в (34) являются состоятельными. Оценка для математического ожидания является несмещенной и эффективной, по крайней мере тогда, когда X имеет нормальное распределение. Оценки для дисперсии и корреляционного момента являются смещенными. Это смещение минимально и устраняется, если знаменатель в оценке выбрать равным n -1, а не n. На практике применяют как смещенные, так и несмещенные оценки.

Наряду с точечными оценками (34) часто применяют интервальные оценки, строя так называемые доверительные интервалы. Под доверительным интервалом можно понимать случайный интервал, который с некоторой заданной вероятностью (доверительной вероятностью) накрывает истинное значение параметра. Построить доверительные интервалы для параметров распределения можно, установив законы распределения для случайных величин, заданных соотношениями (34). В первом приближении на основе центральных предельных теорем можно считать, что все три оценки имеют нормальное распределение (асимптотически с ростом n). Поэтому достаточно найти математическое ожидание и дисперсию оценки. Справедливы следующие соотношения:

(35)

При подсчете дисперсии оценки D(Dx) необходимо знать центральный момент четвертого порядка. Поскольку значение его неизвестно, то, как обычно, можно пользоваться его оценкой, которую нетрудно получить по аналогии с оценками (34). Но, следует помнить, что для выборок сравнительно небольшого объема (n <100) оценки моментов порядка k (при k > 2) дают невысокую точность. В том случае, когда можно предположить, что X имеет нормальное распределение нетрудно выразить четвертый момент через дисперсию и тогда:

(36)

Полагая, что закон распределения для оценок mx и Dx известен (асимптотически стремится к нормальному закону) нетрудно построить интервальную оценку. Проще всего строить доверительный интервал с центром, заданным точечной оценкой. Пусть β – заданная доверительная вероятность. Определим параметр k, характеризующий длину интервала, из решения следующего уравнения:

(37)

С учетом соотношений (22) и (24) нетрудно показать, что

(38)

Функция Ф(x) – это функция Лапласа:

(39)

Задавая значения k, нетрудно получить вероятность β, удовлетворяющую соотношению (37), для этого достаточно уметь вычислять интеграл (39). Решать обратную задачу – по β определить k – труднее. Поскольку на практике точного решения не требуется, то k находят подбором, решая прямую задачу для разных значений k, пока не будет достигнута требуемая вероятность. Получив значение k, согласованное с вероятностью β, можно построить доверительный интервал [m -kσ, m +kσ], с заданной вероятностью накрывающий истинное значение параметра. Используя для m и σ соответствующие соотношения из (35) и (36), получаем интервальные оценки соответственно для математического ожидания и дисперсии распределения по данным выборки.

Если известно, что выборка принадлежит нормальному распределению, то можно построить интервальные оценки другим способом, поскольку в этом случае удается теоретически определить закон распределения оценок математического ожидания и дисперсии. Первая из этих оценок имеет распределение Стьюдента, вторая – распределение χ2 (Хи-квадрат).

Наряду с построением по данным выборки точечных и интервальных оценок распределения часто полезно построить и оценку самого распределения – статистический закон распределения. С этой целью интервал наблюдения [Xmin, Xmax], где Xmin и Xmax – минимальный и максимальный элемент в выборке X(x1, x2, …xn), разделим на k интервалов (разрядов) – d1, d2, …dk. Для каждого из разрядов подсчитаем pi - частоту попадания элементов выборки в i-й разряд. Сумма частот по всем разрядам очевидно должна быть равна 1. Таблица с элементами {(d1, p1), (d2, p2) …(dk, pk)} задает статистический закон распределения, построенный по данным выборки.

Гистограммой распределения называется график, построенный следующим образом. По оси абсцисс откладываются разряды, служащие основанием прямоугольников. Высота прямоугольника равна частному от деления частоты в данном разряде на длину интервала, задающего разряд. Отсюда следует, что площадь каждого прямоугольника равна частоте разряда, а суммарная площадь гистограммы равна 1. При равновеликих интервалах высоты прямоугольников пропорциональны частотам статистического ряда распределения. Гистограмма распределения является аналогом плотности вероятности для статистического закона распределения.

Рассмотрим пример выборки из 1000 измерений. В таблице 3.1 показано распределение измерений по 10 разрядам:

Таблица 3.1 Статистический закон распределения

Номер разряда - i

1

2

3

4

5

6

7

8

9

10

Итог

Число элементов - mi

17

39

100

164

239

189

148

73

21

10

1000

Частота - pi

0,017

0,039

0,1

0,164

0,239

0,189

0,148

0,73

0,021

0,01

1

Гистограмма, построенная по этим данным, приведена на рис.10. И выборка и рисунок гистограммы получены в проекте, написанном на языке C#.

Рис. 10 Гистограмма распределения

Гистограмма является инструментом анализа, позволяя визуально оценить, насколько статистический закон распределения согласуется с предполагаемым из теоретических соображений законом распределения. Например, глядя на гистограмму, приведенную на рис. 10, можно полагать, что наблюдаемая случайная величина может иметь нормальное распределение, но гипотеза о равномерном распределении заведомо не имеет место. Существуют формальные методы – критерии согласия, - позволяющие проверить гипотезу согласованности теоретического и статистического законов распределения.

Пусть F(x) – теоретический закон распределения наблюдаемой случайной величины, параметры которого были оценены по результатам выборки. Тогда нетрудно подсчитать теоретические вероятности pi попадания случайной величины в разряды, заданные статистическим законом распределения. Меру расхождения частот pi и вероятностей pi называют χ2 и определяют следующим образом:

(40)

Распределение этой меры и называется распределением χ2 и оно не зависит ни от объема выборки n, ни от распределения F(x). Но оно зависит от параметра k, называемого числом степеней свободы. Значение k равно числу разрядов, уменьшенное на число связей. Под связями понимается параметры распределения, оцениваемые по выборке. К связям относится и условие того, что сумма частот равна 1. Поэтому в нашем примере выборки с 10 разрядами, оценками математического ожидания и дисперсии число степеней свободы распределения χ2 будет равно 7. Плотность вероятности распределения χ2 с k степенями свободы имеет вид:

(41)

В соотношении (41) Г(x) – это Гамма-функция (обобщение функции n!), которую в данном частном случае можно вычислить достаточно просто, учитывая ее свойства:

(42)

При k, равном 7, Г(7/2) = 2,5*1,5* √π

Как пользоваться критерием согласия? Предположим, что по данным выборки построен статистический ряд (смотри таблицу 3.1) и гистограмма. На основе анализа данных в качестве предполагаемого распределения наблюдаемой величины X построена гипотеза о том, что X имеет распределение F(x) (например нормальное или равномерное). Тогда, используя оценки параметров, можно вычислить вероятности попадания случайной величины в разряды статистического распределения, добавив по сути еще одну строку в таблицу 3.1. После чего нетрудно рассчитать по формуле (40) меру расхождения теоретического и статистического распределений – χ0. Затем, используя соотношение (41), посчитать вероятность события P(χ2 > χ0). Если вероятность такого события достаточно высокая, то расхождение может возникать за счет чисто случайных факторов и гипотезу о законе F(x) согласуется с данными выборки. Если же эта вероятность мала, то гипотезу следует отвергнуть и искать другой вид распределения для случайной величины. Вопрос о выборе значения доверительной вероятности решается в каждом конкретном случае, он не связан ни с какими математическими соображениями.

Задачи

  1. Напишите процедуру, генерирующую случайное число, распределенное по нормальному закону с параметрами 0, 1 (m=0, σ=1).

  2. Напишите процедуру, генерирующую случайное число, распределенное по нормальному закону с параметрами m, σ.

  3. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из равномерного непрерывного распределения на интервале [0, 1]. По данным выборки постройте точечные и интервальные оценки математического ожидания и дисперсии.

  4. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из равномерного непрерывного распределения на интервале [a, b]. По данным выборки постройте точечные и интервальные оценки математического ожидания и дисперсии.

  5. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из нормального непрерывного распределения с параметрами [0,1]. По данным выборки постройте точечные и интервальные оценки математического ожидания и дисперсии.

  6. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из нормального непрерывного распределения с параметрами [m, σ]. По данным выборки постройте точечные и интервальные оценки математического ожидания и дисперсии.

  7. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из равномерного непрерывного распределения на интервале [a, b]. По данным выборки постройте статистический закон распределения. Постройте в форме гистограмму распределения. (Рисование в формах описано в главе 24 учебника).

  8. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из нормального непрерывного распределения с параметрами [m, σ]. По данным выборки постройте статистический закон распределения. Постройте в форме гистограмму распределения. (Рисование в формах описано в главе 24 учебника).

  9. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из равномерного непрерывного распределения на интервале [a, b]. По данным выборки постройте статистический закон распределения. Вычислите критерии согласия статистического закона распределения с нормальным и равномерным законами распределения.

  10. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из нормального непрерывного распределения с параметрами [m, σ]. По данным выборки постройте статистический закон распределения. Вычислите критерии согласия статистического закона распределения с нормальным и равномерным законами распределения.

  11. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из равномерного непрерывного распределения на интервале [a, b]. По данным выборки постройте статистический закон распределения. Постройте в форме гистограмму распределения и плотность равномерного распределения, полученную на основе оценок математического ожидания и дисперсии. (Рисование в формах описано в главе 24 учебника).

  12. Напишите процедуру, генерирующую выборку X(x1, x2, …xn) из нормального непрерывного распределения с параметрами [m, σ]. По данным выборки постройте статистический закон распределения. Постройте в форме гистограмму распределения и плотность нормального распределения, полученную на основе оценок математического ожидания и дисперсии. (Рисование в формах описано в главе 24 учебника).

  13. Напишите процедуру, генерирующую случайный вектор Y = (Y1, Y2, … Ym). Компонента Y1 этого вектора представляет случайную величину Y1 N(m, σ), а остальные – это функции от Y1: Y2 = |Y1|; Y3 = Sin(Y1); Y4 = a*Y12 + b*Y1 +c. Постройте выборку, представляющую прямоугольную матрицу с элементами Ykj, где элементы первого столбца генерируются случайным образом, а остальные элементы вычисляются, как соответствующие функции. По данным выборки рассчитайте для вектора Y оценки математического ожидания, корреляционную матрицу и матрицу, составленную из коэффициентов корреляции.

  14. Напишите процедуру, генерирующую случайный вектор Y = (Y1, Y2, … Ym). Компонента Y1 этого вектора представляет случайную величину Y1 R(e, f), а остальные – это функции от Y1: Y2 = |Y1|; Y3 = Sin(Y1); Y4 = a*Y12 + b*Y1 +c. Постройте выборку, представляющую прямоугольную матрицу с элементами Ykj, где элементы первого столбца генерируются случайным образом, а остальные элементы вычисляются, как соответствующие функции. По данным выборки рассчитайте для вектора Y оценки математического ожидания, корреляционную матрицу и матрицу, составленную из коэффициентов корреляции.

  15. Напишите процедуру, генерирующую случайный вектор Y = (Y1, Y2, … Ym). Компонента Y1 этого вектора представляет случайную величину Y1 N(m, σ), а остальные – это функции от Y1: Y2 = Y12; Y3 = Cos(Y1); Y4 = a*Y1 + b*. Постройте выборку, представляющую прямоугольную матрицу с элементами Ykj, где элементы первого столбца генерируются случайным образом, а остальные элементы вычисляются, как соответствующие функции. По данным выборки рассчитайте для вектора Y оценки математического ожидания, корреляционную матрицу и матрицу, составленную из коэффициентов корреляции.

  16. Напишите процедуру, генерирующую случайный вектор Y = (Y1, Y2, … Ym). Компонента Y1 этого вектора представляет случайную величину Y1 R(e, f), а остальные – это функции от Y1: Y2 = Y12; Y3 = Cos(Y1); Y4 = a*Y1 + b*. Постройте выборку, представляющую прямоугольную матрицу с элементами Ykj, где элементы первого столбца генерируются случайным образом, а остальные элементы вычисляются, как соответствующие функции. По данным выборки рассчитайте для вектора Y оценки математического ожидания, корреляционную матрицу и матрицу, составленную из коэффициентов корреляции.

  17. Постройте модель «Рост-Вес». Пусть r – случайная величина, задающая рост случайно выбранного человека (в сантиметрах), r  N(mr, σr). Случайная величина b, задающая вес этого человека (в килограммах), вычисляется по формуле: b = mb + b1*p1 +| b2|*p2 - b3*p3, mb = mr – 100, где случайная величина b1 N(0,1) характеризует случайные отклонения от нормы, а ее коэффициент p1 = 0,05 mb. Случайная величина b2 N(0,1) характеризует уровень наследуемого ожирения, ее коэффициент p2 = 0,25 mb. Случайная величина b3 N(0,1) характеризует образ жизни, ее коэффициент p3 = 0,15 mb. Постройте выборку, моделирующую рост и вес N человек. По данным выборки постройте точечные и интервальные оценки математического ожидания и дисперсии величин r и b, а также постройте корреляционную матрицу и матрицу, составленную из коэффициентов корреляции.

  18. Но основе модели «Рост-Вес» (смотри предыдущую задачу 3.89) постройте расширенную модель «Рост-Возраст-Вес». Предложите соответствующие соотношения, связывающие вес с ростом и возрастом. Постройте выборку и по ее данным постройте точечные и интервальные оценки математического ожидания и дисперсии величин, а также постройте корреляционную матрицу и матрицу, составленную из коэффициентов корреляции.

  19. Постройте модель «Снаряд», в которой вылетевший из пушки снаряд рассматривается как тело, брошенное с начальной скоростью V под углом α к горизонту. Сопротивление воздуха и кривизна земли не учитывается. Пусть производится N опытов, в каждом из которых V и α рассматриваются как случайные величины V N(V0, σv), α N(α0, σα). Если ввести декартову систему координат, с началом в точке выстрела и осью X, лежащей в плоскости полета, то координата точки падения xп вычисляется по формуле: Постройте выборку случайного вектора (V, α, xп). Определите его статистические характеристики – оценки математического ожидания, дисперсии, корреляционной матрицы, коэффициентов корреляции. Постройте интервальные оценки параметров, гистограмму распределения параметра xп. Вычислите критерии согласия статистического закона распределения xп и теоретического для двух гипотез – нормального и равномерного.

  20. Постройте модель «Снаряд», в которой вылетевший из пушки снаряд рассматривается как тело, брошенное с начальной скоростью V под углом α к горизонту. Сопротивление воздуха и кривизна земли не учитывается. Пусть производится N опытов, в каждом из которых V и α рассматриваются как случайные величины V R(V0, V1), α R(α0, α1). Если ввести декартову систему координат, с началом в точке выстрела и осью X, лежащей в плоскости полета, то координата точки падения xп вычисляется по формуле: Постройте выборку случайного вектора (V, α, xп). Определите его статистические характеристики – оценки математического ожидания, дисперсии, корреляционной матрицы, коэффициентов корреляции. Постройте интервальные оценки параметров, гистограмму распределения параметра xп. Вычислите критерии согласия статистического закона распределения xп и теоретического для двух гипотез – нормального и равномерного.

  21. Пусть Y – это случайный вектор с n независимыми компонентами yk N(0, σk). Вектор Z связан с вектором Y линейной зависимостью: Z = AY, где A – матрица размерности m*n. Постройте выборку и вычислите оценку для корреляционной матрицы вектора Z. Сравните оценку корреляционной матрицы с точным значением, полученным по формуле: Kz = AKyAT В этом соотношении корреляционная матрица Ky вектора Y является диагональной матрицей.

  22. Пусть Y – это случайный вектор с n независимыми компонентами yk R(-dk, dk). Вектор Z связан с вектором Y линейной зависимостью: Z = AY, где A – матрица размерности m*n. Постройте выборку и вычислите оценку для корреляционной матрицы вектора Z. Сравните оценку корреляционной матрицы с точным значением, полученным по формуле: Kz = AKyAT В этом соотношении корреляционная матрица Ky вектора Y является диагональной матрицей.

  23. Пусть X – это случайный вектор с m независимыми компонентами xk N(0, σkx). Пусть Y – это случайный вектор с n независимыми компонентами yk N(0, σky). Вектора X и Y независимы. Вектор Z связан с векторами X и Y линейной зависимостью: Z = X+AY, где A – матрица размерности m*n. Постройте выборку и вычислите оценку для корреляционной матрицы вектора Z. Сравните оценку корреляционной матрицы с точным значением, полученным по формуле: Kz = Kx + AKyAT В этом соотношении корреляционные матрицы Kx и Ky являются диагональными матрицами.

  24. Пусть X – это случайный вектор с m независимыми компонентами xk R(-dkx, dkx). Пусть Y – это случайный вектор с n независимыми компонентами yk R(-dky, dky). Вектора X и Y независимы. Вектор Z связан с векторами X и Y линейной зависимостью: Z = X+AY, где A – матрица размерности m*n. Постройте выборку и вычислите оценку для корреляционной матрицы вектора Z. Сравните оценку корреляционной матрицы с точным значением, полученным по формуле: Kz = Kx + AKyAT В этом соотношении корреляционные матрицы Kx и Ky являются диагональными матрицами.

Проекты

  1. Постройте класс NormalRandom – аналог класса Random библиотеки FCL и интерфейс для работы с этим классом. У класса два конструктора – один без параметров, позволяющий получать серии случайных чисел без повторения, другой – с параметром типа int позволяет получить повторяющуюся серию. Перегруженный метод Next() возвращает очередное случайное число  N(0, 1), а реализация Next(m, σ) N(m, σ). Две реализации метода NextArray возвращают массив случайных чисел.

  2. Постройте класс Stat и интерфейс для работы с этим классом. Методы класса Stat по выборке случайной величины X должны позволять вычислять точечные и интервальные оценки параметров математического ожидания, дисперсии, среднеквадратического отклонения, статистический закон распределения и визуально отображать гистограмму, например так, как это показано на рис. 10. Методы должны также позволять вычислять критерии согласия статистического и теоретического ( нормального, равномерного) законов распределения.

  3. Постройте класс StatVector и интерфейс для работы с этим классом. Методы класса StatVector по выборке случайного вектора X должны позволять вычислять точечные оценки вектора математического ожидания, корреляционной матрицы и матрицы коэффициентов корреляции. Для заданной компоненты вектора необходимо строить статистический закон распределения и визуально отображать гистограмму, например так, как это показано на рис. 10.

  4. По аналогии с моделями «Рост-Вес» и «Снаряд» (смотри задачи 3.91 и 3.92) предложите собственную модель, включающую случайные величины и случайные вектора. Используйте в модели класс Random библиотеки FCL, классы NormalRandom, Stat, StatVect (смотри задачи 3.97, 3.98, 3.99).

Оценка ненаблюдаемых параметров

В предыдущем разделе рассматривалась ситуация, когда проводились измерения случайной величины Y (случайного вектора) параметры распределения которого были неизвестны, и требовалось найти оценку этих параметров или параметров известных функций наблюдаемой величины. Теперь рассмотрим обратную задачу, не менее часто встречающуюся на практике. Пусть по-прежнему наблюдается случайная величина Y. Вектор измерений Y (y1, y2, …yn) задается следующим соотношением:

(43)

В соотношении (43) X(a, t) – функционально известная в общем случае нелинейная вектор-функция, которую будем называть измеряемой функцией. Векторными аргументами ее являются вектор неизвестных параметров а размерности m и известный вектор t (чаще всего, в роли t выступает время – измерения проводятся во времени). Неизвестный вектор E рассматривается как вектор ошибок измерений. Полагается, что E – это случайный вектор с известным законом распределения.

Итак, задача теперь формулируется следующим образом. Требуется найти оценки ненаблюдаемого вектора параметров a по измерениям функции (функций), зависящей от этих параметров в предположении, что измерения сопровождаются ошибками, закон распределения которых известен. Вот пример подобной ситуации. Спутник движется по орбите, требуется определить параметры этой орбиты, наблюдая в моменты времени (t1, t2, … tn) координаты спутника в полярной системе координат – D(t), ε(t), β(t). Другой пример – врач пытается определить состояние внутренних органов больного, наблюдая за доступными измерению параметрами – давлением, температурой, кардиограммой.

При рассмотрении модели ошибок измерений зачастую делается предположение о том, что вектор E имеет многомерное нормальное распределение, которое полностью характеризуется вектором математических ожиданий и корреляционной матрицей KE. Когда систематические ошибки в измерениях отсутствуют, то математическое ожидание вектора E является нулевым вектором. При этих предположениях вектор измерений Y имеет нормальное распределение с X(a,t) в качестве вектора математического ожидания и корреляционной матрицей KE.

Модель ошибок измерений может быть и более сложной. Рассмотрим ситуацию, когда вектор E представлен следующим образом:

(44)

В соотношении (44):

Ef – вектор, составленный из независимых компонентов, распределенных по нормальному закону N(0,σfi), характеризует так называемую флюктуационную (шумовую) составляющую ошибок измерений;

Ec – представляет сингулярную составляющую ошибок, определяемую матричным уравнением (45) Здесь:

H – известная неслучайная матрица,

b – случайный нормальный вектор с диагональной корреляционной матрицей Kb.

Сингулярная составляющая может иметь различную природу, например, включать медленно меняющиеся систематические ошибки. При условии некоррелированности шумовой и сингулярной составляющих корреляционная матрица вектора ошибок задается соотношением:

(46)

На практике размерность вектора b существенно меньше размерности вектора E и потому для обращения матрицы KE следует пользоваться ранее рассмотренной специальной схемой (21).

Для оценки вектора параметров а в статистике широко применяются метод максимума правдоподобия и метод наименьших квадратов. При определенных предпосылках оценки, полученные по этим методам, обладают важными свойствами асимптотической несмещенности и эффективности.

Метод максимума правдоподобия находит оценки а, которые обеспечивают максимальной значение условной плотности вероятности P(Y/a). Если нет априорных данных, то это то наилучшее, что можно сделать с вероятностной точки зрения. Если предположить, что часто вполне обосновано, что вектор ошибок измерений E – имеет нормальное распределение с известной корреляционной матрицей R, то оптимальные оценки по методу максимума правдоподобия находятся из условия минимизации функционала правдоподобия:

(47)

Как найти минимум этого функционала? Точное решение возможно, когда X(a, t) линейно зависит от параметров:

(48)

В соотношении (48) X – это прямоугольная матрица размерности n*m, элементы которой зависят от t. Нетрудно показать, что минимум функционала (52) при условии выполнения (48) достигается при:

(49)

Матрица I в соотношении (49) называется информационной матрицей Фишера, определяемой соотношением:

(50)

Вектор оценок а несмещен относительно истинных значений, а его корреляционная матрица совпадает с матрицей, обратной к матрице Фишера:

(51)

Для нелинейной измеряемой функции X(a,t) в общем случае не удается получить точное решение, минимизирующее функционал правдоподобия, и минимум ищется численными методами. Рассмотрим итерационный метод минимизации, основанный на идее линеаризации функции X(a, t). Вектор оценок а будем строить по следующей схеме:

(52)

В соотношении (52)

а0 – вектор начального приближения,

Δаj – вектор поправок на j-й итерации,

λj – величина шага на j-й итерации,

s – общее число проведенных итераций.

Вектор поправок на каждой итерации определяется из решения системы линейных уравнений:

(53)

Индекс номера итерации в соотношении (53) опущен. Соотношение (53) для нахождения поправок на каждой итерации подобно соотношению (49). В роли матрицы X, ранее определяемой соотношением (48), теперь выступает матрица частных производных измеряемой функции по параметрам:

(54)

Матрицы X и I, вектор X(a,t) в соотношении (53) на каждой итерации вычисляются по значению вектора оценок, полученному на предыдущей итерации. Естественно, что на первой итерации используется задаваемый вектор начальных приближений, от выбора которого существенно зависит скорость сходимости и возможность сходимости к интересующему нас решению. В нелинейном случае минимизируемый функционал в пространстве параметров не обязательно является выпуклым и может иметь локальные минимумы, что затрудняет поиск решения и приводит к необходимости повторения поиска с различными начальными приближениями.

Обсуждая реализацию итерационного процесса, остановимся на трех вопросах – как вычислять X - матрицу частных производных, как выбирать величину шага λ на каждой итерации, какой критерий использовать для завершения итерационного процесса.

В ряде случаев измеряемая функция X(a, t) может быть достаточно простой, так что соотношения для вычисления производных могут быть получены аналитически. Но получать аналитические соотношения совсем не требуется. Для итерационного процесса достаточно использовать разностный метод вычисления производных. Этот способ вполне приемлем, поскольку не требуется высокая точность в вычислении производных. В этом случае xi,k в соотношении (54) вычисляются через измеряемую функцию следующим образом:

(55)

Величину шага в простейшем случае можно выбирать постоянной для всех итераций. Более разумной стратегией является адаптация шага по ходу итерационного процесса. Начальное значение шага следует выбирать в диапазоне [0,5 – 1]. Если несколько подряд идущих итераций оказались успешными (значение функционала уменьшалось), то следует увеличить шаг. Если же с текущим шагом значение функционала возросло, то это свидетельствует, что шаг велик и его следует уменьшить.

Для прерывания итерационного процесса можно использовать один или несколько критериев. Самым простым из них является задание Smax - максимального числа итераций, по достижению которого процесс останавливается:

S <Smax (56)

Другим критерием является значения функционала в достигнутой точке. Процесс следует остановить, когда значение функционала F(a) становится меньше заданного значения Fmin. Как выбирать значение Fmin? Понятно, что из-за ошибок измерений значение функционала в точке минимума не равно нулю. Если измерения не коррелированны, то функционал F(a) является квадратичным функционалом:

(57)

В точке, соответствующей точному значению параметров a, значение функционала подчинено распределению χ2 с n степенями свободы. Анализ этого распределения показывает, что вероятность того, что за счет чисто случайных причин значение функционала будет превосходить значение n, примерно равна 0,5. Поэтому в качестве критерия остановки можно выбрать следующее условие:

(58)

Для случая коррелированных измерений или в случае неверного выбора весов это правило может не работать. В этих ситуациях целесообразно руководствоваться следующими соображениями. При завышенном значении с итерационный процесс будет прерван до достижения минимума, при заниженном – минимум будет достигнут и начнутся колебания вокруг точки мимнимума, а в некоторых случаях возможен уход в окрестность другого минимума. По-видимому, менее желательна ошибка преждевременного прерывания итерационного процесса и потому формулой (58) можно пользоваться во всех случаях.

Еще один критерий останова может быть связан с анализом матрицы частных производных X. Если максимальный по модулю элемент этой матрицы достаточно мал, то это свидетельствует о достижении локального минимума. Анализировать конечно нужно не столько саму матрицу X, сколько рассчитанный на ее основе вектор поправок Δа. Так что еще один возможный критерий останова может выглядеть так:

(59)

Итерационный процесс прерывается, когда выполняется хотя бы одно из условий (56), (58), (59). Полезно также так организовать пользовательский интерфейс, чтобы квалифицированный пользователь мог следить за процессом сходимости и прервать его в подходящей точке, пользуясь неформальными критериями.

Метод наименьших квадратов и другие частные случаи

Оценки по методу максимума правдоподобия можно получать по формуле (49), если измеряемая функция линейна относительно искомых параметров, и по формулам (52), (53) в нелинейном случае. При получении оценок предполагается, что известна корреляционная матрица вектора измерений. Что происходит, когда измерения не коррелированны, или известна только дисперсия, но не взаимная корреляция? Практически в этом случае схема оценивания остается без изменения. Вычисления упрощаются за счет того, что корреляционная матрица становится диагональной, а следовательно, упрощается умножение на эту матрицу, а также ее обращение. Формально формулы (49), (52), (53) остаются без изменения, но корреляционная матрица ошибок измерений становится теперь диагональной. Этот вариант метода максимума правдоподобия широко применяется на практике и носит название метода наименьших квадратов. Минимизируемый функционал F(a) задается соотношением (57) и оценки минимизируют сумму квадратов отклонений измеряемой функции от реальных измерений. Дисперсии ошибок измерений играют роль весовых коэффициентов. На практике оценки по методу наименьших квадратов используются чаще, чем оценки метода максимума правдоподобия.

В случае, когда измерения выполняются с одинаковой точностью, или отсутствует достоверная информация о дисперсиях измерений, то всем измерениям приписывается одинаковый вес, функционал F(a) слегка упрощается и принимает вид:

(60)

Заметьте, в целом схема оценивания не меняется – просто корреляционная матрица становится теперь единичной. Случай равноточных измерений фактически означает полное отсутствие знаний о распределении ошибок измерений. Задача нахождения оценок становится теперь не столько вероятностной, сколько задачей аппроксимации. Вернемся к задаче построения интерполяционного многочлена Лагранжа. В ней требовалось построить полином степени n, проходящей через n+1 точку. Когда n велико, гораздо разумнее строить полином степени m (m<n), который не обязан проходить через все точки, но в соответствие с критерием наименьших квадратов наименее отклоняется от точек, представляющих результаты измерений. Итак, когда n > m, а корреляционная матрица задается единичной матрицей, то в этом частном случае задача превращается в задачу аппроксимации (приближения) измеряемой функции – подбору неизвестных ее параметров, так чтобы измеряемая функция в некотором роде наилучшим образом приближалась к результатам измерений.

Еще один важный частный случай этой задачи имеет место тогда, когда n становится равным m. К этому случаю сводится задача о нахождении решения системы n уравнений с n неизвестными. В линейном случае соотношение (49) с учетом того, что матрица X становится квадратной, а, следовательно, может быть обращена, теперь приводится к виду:

(61)

В нелинейном случае соотношение (43) можно рассматривать как запись системы n нелинейных уравнений с n неизвестными. Понятно, что любое решение этой системы одновременно минимизирует соответствующий функционал, используемый для нахождения оценок. Справедливо и обратное утверждение, что точка глобального минимума функционала (значение функционала равно нулю с точностью ε) дает решение системы нелинейных уравнений. В этом случае для нахождения минимума следует использовать схему метода наименьших квадратов для случая равноточных измерений. Соотношение (53) для расчета вектора поправок упрощается и принимает вид:

(62)

Мы рассмотрели три вариации критерия, используемого при нахождении оценок параметров. Отличаются они тем, насколько известна и используется информация о законе распределения ошибок измерений – используются ли корреляции или только дисперсии ошибок, а может быть используется только предположение о нормальном характере ошибок измерений.

Поговорим теперь о программистских аспектах реализации алгоритма оценки. Как наилучшим способом сочетать общую схему нахождения оценок и частные варианты критериев? Простой, можно даже сказать примитивный способ, состоит в том, чтобы иметь единую процедуру для итерационного процесса нахождения оценок, вызывая в ней ту или иную процедуру (комплекс процедур), задающую соотношения, связанные с вычислением вектора поправок для каждого из рассмотренных частных случаев. При программировании на C# на эту проблему следует смотреть с общих позиций ООП. В данной ситуации можно построить систему классов, связанных отношением наследования. Родительским классом будет класс оценок максимума правдоподобия, а остальные классы получаются наследованием из него путем специализации. Это классический вариант применения наследования. Альтернативный подход к решению задачи дает использование функций высших порядков – функций, аргументы которых являются функции. На C# функции высших порядков описываются с использованием делегатов. В главе 20 учебника [1] демонстрируется применение обоих подходов в похожей ситуации.

Задачи

  1. (Модель 1вектора ошибок измерений). Постройте модель получения коррелированного вектора ошибок измерений E размерности n. Указание. Постройте вначале некоррелированный вектор e размерности m, компоненты которого независимы и принадлежат распределению N(0, σi). Задайте матрицу X размерности n*m и вычислите вектор E=Xe. Компоненты вектора E, являясь линейной комбинацией компонентов вектора e, будут коррелированны. Вычислите KE - корреляционную матрицу вектора E, равную XTKeX. Постройте выборку объема S получения вектора E и вычислите оценку корреляционной матрицы - KE.

  2. (Модель 2 вектора ошибок измерений). Постройте модель получения коррелированного вектора ошибок измерений E размерности n. Пусть измерения проводятся в заданные моменты времени t1, t2, … tn. Пусть ошибка измерения в момент tk задается соотношением: Случайные величины e0, e1, e2, e3 – независимы и подчинены нормальному распределению с параметрами 0, 1. Вычислите KE - корреляционную матрицу вектора E. Постройте выборку объема S получения вектора E и вычислите оценку корреляционной матрицы - KE.

  3. (Модель 3 вектора ошибок измерений). Постройте модель получения коррелированного вектора ошибок измерений E размерности n в соответствии с соотношениями (44) – (46). Вычислите KE - корреляционную матрицу вектора E. Постройте выборку объема S получения вектора E и вычислите оценку корреляционной матрицы - KE.

  4. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 1, смотри задачу 3.101). Найдите его корреляционную матрицу KE и вычислите вектор оценок параметров по методу максимума правдоподобия. Вычислите корреляционную матрицу вектора оценок параметров.

  5. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 1, смотри задачу 3.101).Найдите его корреляционную матрицу KE и вычислите вектор оценок по методу наименьших квадратов, используя только знание дисперсий ошибок измерений. Вычислите корреляционную матрицу вектора оценок параметров при этих же предположениях.

  6. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 1, смотри задачу 3.101). Найдите его корреляционную матрицу KE и вычислите вектор оценок по методу наименьших квадратов, не используя знания корреляционной матрицы (предполагая равноточность измерений). Вычислите корреляционную матрицу вектора оценок параметров при этих же предположениях.

  7. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 1, смотри задачу 3.101). Найдите его корреляционную матрицу KE и вычислите три варианта вектора оценок параметров: по методу максимума правдоподобия; по методу наименьших квадратов, используя только знание дисперсий ошибок измерений; по методу наименьших квадратов, не используя знания корреляционной матрицы (предполагая равноточность измерений). Вычислите три варианта корреляционной матрицы вектора оценок параметров при этих же предположениях.

  8. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 2, смотри задачу 3.102). Найдите его корреляционную матрицу KE и вычислите вектор оценок параметров по методу максимума правдоподобия. Вычислите корреляционную матрицу вектора оценок параметров.

  9. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 2, смотри задачу 3.102).Найдите его корреляционную матрицу KE и вычислите вектор оценок по методу наименьших квадратов, используя только знание дисперсий ошибок измерений. Вычислите корреляционную матрицу вектора оценок параметров при этих же предположениях.

  10. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 2, смотри задачу 3.102). Найдите его корреляционную матрицу KE и вычислите вектор оценок по методу наименьших квадратов, не используя знания корреляционной матрицы (предполагая равноточность измерений). Вычислите корреляционную матрицу вектора оценок параметров при этих же предположениях.

  11. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 2, смотри задачу 3.102). Найдите его корреляционную матрицу KE и вычислите три варианта вектора оценок параметров: по методу максимума правдоподобия; по методу наименьших квадратов, используя только знание дисперсий ошибок измерений; по методу наименьших квадратов, не используя знания корреляционной матрицы (предполагая равноточность измерений). Вычислите три варианта корреляционной матрицы вектора оценок параметров при этих же предположениях.

  12. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 3, смотри задачу 3.103). Найдите его корреляционную матрицу KE и вычислите вектор оценок параметров по методу максимума правдоподобия. Вычислите корреляционную матрицу вектора оценок параметров.

  13. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 3, смотри задачу 3.103).Найдите его корреляционную матрицу KE и вычислите вектор оценок по методу наименьших квадратов, используя только знание дисперсий ошибок измерений. Вычислите корреляционную матрицу вектора оценок параметров при этих же предположениях.

  14. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 3, смотри задачу 3.103). Найдите его корреляционную матрицу KE и вычислите вектор оценок по методу наименьших квадратов, не используя знания корреляционной матрицы (предполагая равноточность измерений). Вычислите корреляционную матрицу вектора оценок параметров при этих же предположениях.

  15. Пусть измеряемая функция X(a, t) линейна относительно вектора параметров a, так что вектор измерений задается соотношением (48). Постройте модель вектора ошибок измерений (Модель 3, смотри задачу 3.103). Найдите его корреляционную матрицу KE и вычислите три варианта вектора оценок параметров: по методу максимума правдоподобия; по методу наименьших квадратов, используя только знание дисперсий ошибок измерений; по методу наименьших квадратов, не используя знания корреляционной матрицы (предполагая равноточность измерений). Вычислите три варианта корреляционной матрицы вектора оценок параметров при этих же предположениях.

  16. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 1, смотри задачу 3.101). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров по методу максимума правдоподобия, используя соотношения (52) –(59). Вычислите корреляционную матрицу вектора оценок параметров.

  17. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 1, смотри задачу 3.101). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров по методу наименьших квадратов, используя только знание дисперсий ошибок измерений. Вычислите корреляционную матрицу вектора оценок параметров при этих предположениях.

  18. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 1, смотри задачу 3.101). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров по методу наименьших квадратов в предположении равноточных измерений. Вычислите корреляционную матрицу вектора оценок параметров при этих предположениях.

  19. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 1, смотри задачу 3.101). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров. Получите три варианта оценок: по методу максимума правдоподобия; по методу наименьших квадратов; по методу наименьших квадратов в предположении равноточных измерений. Вычислите три варианта корреляционной матрицы вектора оценок параметров при этих предположениях.

  20. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 2, смотри задачу 3.102). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров по методу максимума правдоподобия, используя соотношения (52) –(59). Вычислите корреляционную матрицу вектора оценок параметров.

  21. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 2, смотри задачу 3.102). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров по методу наименьших квадратов, используя только знание дисперсий ошибок измерений. Вычислите корреляционную матрицу вектора оценок параметров при этих предположениях.

  22. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 2, смотри задачу 3.102). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров по методу наименьших квадратов в предположении равноточных измерений. Вычислите корреляционную матрицу вектора оценок параметров при этих предположениях.

  23. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 2, смотри задачу 3.102). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров. Получите три варианта оценок: по методу максимума правдоподобия; по методу наименьших квадратов; по методу наименьших квадратов в предположении равноточных измерений. Вычислите три варианта корреляционной матрицы вектора оценок параметров при этих предположениях.

  24. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 3, смотри задачу 3.103). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров по методу максимума правдоподобия, используя соотношения (52) –(59). Вычислите корреляционную матрицу вектора оценок параметров.

  25. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 3, смотри задачу 3.103). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров по методу наименьших квадратов, используя только знание дисперсий ошибок измерений. Вычислите корреляционную матрицу вектора оценок параметров при этих предположениях.

  26. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 3, смотри задачу 3.103). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров по методу наименьших квадратов в предположении равноточных измерений. Вычислите корреляционную матрицу вектора оценок параметров при этих предположениях.

  27. Задайте нелинейную относительно параметров измеряемую функцию X(a, t), для которой вектор измерений задается соотношением (43). Постройте модель вектора ошибок измерений (Модель 3, смотри задачу 3.103). Найдите его корреляционную матрицу KE. Постройте итерационный процесс вычисления вектора оценок параметров. Получите три варианта оценок: по методу максимума правдоподобия; по методу наименьших квадратов; по методу наименьших квадратов в предположении равноточных измерений. Вычислите три варианта корреляционной матрицы вектора оценок параметров при этих предположениях.

  28. Пусть P1, P2… Pn – точки на плоскости, координаты xk которых измеряются точно, а координаты yk которых содержат ошибки измерений, отвечающие модели 1 (смотри задачу 3.101). Постройте полином степени m, наилучшим образом (в соответствии с критерием максимума правдоподобия) проходящий через точки Pk. При n, равном m, сравните полученный полином с полиномом Лагранжа.

  29. Пусть P1, P2… Pn – точки на плоскости, координаты xk которых измеряются точно, а координаты yk которых содержат ошибки измерений, отвечающие модели 1 (смотри задачу 3.101). Постройте полином степени m, наилучшим образом (в соответствии с критерием наименьших квадратов) проходящий через точки Pk. При n, равном m, сравните полученный полином с полиномом Лагранжа.

  30. Пусть P1, P2… Pn – точки на плоскости, координаты xk которых измеряются точно, а координаты yk которых содержат ошибки измерений, отвечающие модели 1 (смотри задачу 3.101). Постройте полином степени m, наилучшим образом (в соответствии с критерием наименьших квадратов для случая равноточных измерений) проходящий через точки Pk. При n, равном m, сравните полученный полином с полиномом Лагранжа.

  31. Примените алгоритм оценки параметров для решения системы нелинейных уравнений.

Проекты

  1. Постройте проект на C# «Оценка параметров». В основу проекта положите семейство классов с наследованием. Проект должен предоставлять пользователю широкий спектр возможностей, позволяя:

Моделировать вектор измерений с использованием различных моделей;

Оценивать параметры в линейных задачах с использованием разных критериев – максимума правдоподобия, наименьших квадратов, наименьших квадратов при условии равноточных измерений, при условии равенства числа измерений и числа оцениваемых параметров. Получать вероятностные характеристики оценок параметров;

Оценивать параметры в нелинейных задачах с использованием разных критериев – максимума правдоподобия, наименьших квадратов, наименьших квадратов при условии равноточных измерений, при условии равенства числа измерений и числа оцениваемых параметров. Получать вероятностные характеристики оценок параметров;;

Решать системы линейных и нелинейных уравнений. Решать задачу аппроксимации по методу наименьших квадратов;

Управлять ходом итерационного процесса – возможностью выбора алгоритма задания шага на каждой итерации, условием окончания итерационного процесса, возможностью слежения за ходом сходимости и остановки процесса.

  1. Постройте проект на C# «Оценка параметров 1». В основу проекта положите классы с делегатами и функциями высших порядков (callback функциями). Проект должен предоставлять пользователю тот же спектр возможностей, что и проект «Оценка параметров» (Задача 3.132).

Примеры

Для демонстрации того, как можно решать некоторые задачи из раздела «Теория вероятностей и математическая статистика», построен проект с именем TVMS. Проект содержит класс NormalRandom, являющийся аналогом класса Random, интерфейсный класс TestingNormalForm, позволяющий пользователю работать с методами класса NormalRandom, и класс GistForm, поддерживающий рисование в форме гистограммы распределения.

Начнем рассмотрение с класса NormalRandom.

/// <summary>

/// Пример класса для работы со случайными числами,

/// распределенными по нормальному закону

/// </summary>

class NormalRandom

{

/// <summary>

/// Закрытое поле класса. Обеспечивает доступ к методам класса Random

/// </summary>

Random rnd;

/// <summary>

///Конструктор класса. Инициализирует новый экземпляр класса.

//Последовательность не будет повторяться

/// </summary>

public NormalRandom()

{

rnd = new Random();

}

/// <summary>

/// Конструктор класса с параметром. Инициализирует новый экземпляр класса.

///Последовательность будет повторяться

/// </summary>

/// <param name="x"></param>

public NormalRandom(Int32 x)

{

rnd = new Random(x);

}

Закрытое поле класса содержит объект класса Random, позволяющий генерировать равномерно распределенные числа, комбинация которых позволяет получить нормально распределенное число.

Как и у класса Random, у класса NormalRandom имеется два конструктора. Конструктор без параметров позволяет получать неповторяющиеся серии случайных чисел, конструктор с параметром обеспечивает моделирование повторяющихся серий.

Перегруженный метод класса Next позволяет получать очередное случайное число, распределенное по нормальному закону с параметрами 0 и 1, либо с заданным значением математического ожидания и среднеквадратического отклонения.

/// <summary>

/// Next - Основной метод класса.

/// </summary>

/// <returns>

/// Возвращает очередное случайное число,

/// распределенное по нормальному закону с параметрами 0, 1

///</returns>

public double Next()

{

const int N = 50;

double res = 0;

for (int i = 1; i <= N; i++)

res += (rnd.NextDouble()-0.5);

res /= Math.Sqrt(N / 12);

return res;

}

/// <summary>

/// Next - Основной метод класса.

/// </summary>

/// <returns>

/// Возвращает очередное случайное число,

/// распределенное по нормальному закону с параметрами m, sigma

///</returns>

public double Next(double m, double sigma)

{

return Next()* sigma + m;

}

Следующий метод класса также перегружен. Он позволяет за одно обращение получить выборку из нормального закона – массив случайных чисел.

/// <summary>

/// Метод для получения массива случайных чисел

/// </summary>

/// <param name="ar">

/// Переданный в процедуру массив заполняется случайными числами

/// распределенными по нормальному закону с параметрами 0, 1

/// </param>

public void NextArray(double[] ar)

{

for (int i = 0; i < ar.Length; i++)

ar[i] = Next();

}

/// <summary>

/// Метод для получения массива случайных чисел

/// </summary>

/// <param name="ar">

/// Переданный в процедуру массив заполняется случайными числами

/// распределенными по нормальному закону с параметрами m, sigma

/// </param>

public void NextArray(double[] ar, double m, double sigma)

{

for (int i = 0; i < ar.Length; i++)

ar[i] = Next(m, sigma);

}

В отличие от класса Random класс NormalRandom позволяет решать и обратные задачи, получая статистические характеристики выборки. Метод StatLaw по выборке получает оценки математического ожидания и среднеквадратического отклонения, а также строит гистограмму распределения, вычисляя частоты попадания значений выборки в заданное число интервалов. Весь интервал значений, в который попадают элементы выборки разбивается на заданное число m равновеликих интервалов, для каждого из которых подсчитывается число элементов, попавших в этот интервал.

/// <summary>

/// Метод, позволяющий по выборке случайных чисел

/// вычислить статистические характеристики

/// </summary>

/// <param name="row">

/// В row задается выборка

/// </param>

/// <param name="ar">

/// В ar - возвращается гистограмма -

/// частоты попадания элементов выборки в интервалы

/// </param>

/// <param name="Mx">

/// Оценка математического ожидания

/// </param>

/// <param name="sko">

/// Оценка среднеквадратического отклонения

/// </param>

public void StatLaw(double[] row, int[] ar, out double Mx, out double sko)

{

//Получение выборки

int N = row.Length; //объем выборки

int m = ar.Length; //число интервалов при построении гистограммы

//Вычисление оценок матожидания и ско

Mx = 0;

for (int i = 0; i < N; i++)

Mx += row[i];

Mx /= N;

sko = 0;

for (int i = 0; i < N; i++)

sko += (row[i] - Mx) * (row[i] - Mx);

sko /= N;

sko = Math.Sqrt(sko);

//[Xmin - Xmax] - интервал значений элементов выборки

double Xmin, Xmax;

Xmin = Xmax = row[0];

for (int i = 1; i < N; i++)

if (Xmin >row[i]) Xmin = row[i];

else if (Xmax < row[i]) Xmax = row[i];

//Построение гистограммы -

//вычисление частот попадания элементов выборки в m интервалов

double l = Math.Abs(Xmax - Xmin) / m;

double lim = 0;

for (int i = 0; i < m; i++)

ar[i] = 0;

for (int i = 0; i < N; i++)

{

lim = Xmin + l;

for (int j = 0; j < m; j++)

{

if (row[i] <= lim)

{

ar[j] += 1; break;

}

lim += l;

}

}

}

Еще один метод класса NormalRandom позволяет визуализировать данные, представляя гистограмму распределения в виде графика (диаграммы) в отдельной форме. Метод создает новый объект специально спроектированной формы, передавая ему массив, задающий гистограмму. Затем форма открывается и в ней рисуется гистограмма.

public void DrawGis(int[] ar)

{

GistForm gistf = new GistForm(ar);

gistf.Show();

gistf.DrawGis();

}

Приведу описание класса GistForm:

using System;

using System.Collections.Generic;

using System.ComponentModel;

using System.Data;

using System.Drawing;

using System.Drawing.Drawing2D;

using System.Text;

using System.Windows.Forms;

namespace TVMS

{

public partial class GistForm : Form

{

int cx, cy; //размеры формы

int dx, dy;

int lx, ly;

int[] ar;

int m;

Graphics graph;

Pen pen;

Brush brush, brush1;

public GistForm(int[] ar)

{

InitializeComponent();

this.ar= ar;

m = ar.Length;

Init();

}

void Init()

{

int k = 0;

for (int i = 0; i < m; i++)

if (k < ar[i]) k = ar[i];

cx = this.Width; cy = this.Height;

dx = cx / 10; dy = cy / 10;

lx = (cx - 2 * dx) / m;

ly = (cy - 2 * dy) / k;

graph = this.CreateGraphics();

pen = SystemPens.ControlText;

brush1 = SystemBrushes.Control;

HatchStyle hs = HatchStyle.BackwardDiagonal;

brush = new HatchBrush(hs, Color.Aquamarine,Color.Black);

hs = HatchStyle.ForwardDiagonal;

brush1 = new HatchBrush(hs, Color.Aquamarine,Color.Black);

}

public void DrawGis()

{

//Рисуем гистограмму на форме

int signal = 1;

Rectangle rct;

Point pnt= new Point();

Size sz= new Size();

int h=0;

for (int i = 0; i < m; i++)

{

h=Convert.ToInt32(ly*ar[i]);

pnt.X =(dx+i*lx);

pnt.Y= cy-dy -h;

sz.Width= lx;

sz.Height = h;

rct = new Rectangle(pnt, sz);

graph.DrawRectangle(pen, rct);

if (signal == 1)

{

graph.FillRectangle(brush, rct);

signal = -signal;

}

else

{

graph.FillRectangle(brush1, rct);

signal = -signal;

}

}

}

}

}

Поля класса GistForm содержат размеры формы, параметры масштабирования при построении гистограммы, используемые кисти и перья, а также передаваемую конструктору ссылку на массив, хранящий гистограмму. При вызове конструктора происходит инициализация полей формы. Единственный метод класса DrawGis рисует в пустой форме гистограмму, масштабируя рисунок для нормального визуального восприятия. Для красоты соседние интервалы рисуются разными кистями.

На рис. 11 показана форма интерфейсного класса, обеспечивающая работу конечного пользователя с классом NormalRandom.

Рис. 11 Форма для работы с классом NormalRandom

Как обычно, форма разделена на три части. Первая часть отводится входным данным, вторая – выходным, а третья часть содержит команды, выполняющие операции над данными. Пользователь задает исходные данные в полях первого раздела формы, а затем начинает выполнять команды, получая необходимые ему результаты.

Полям, отображаемым в форме, соответствуют поля класса формы, задающие внутреннее представление соответствующих величин. Вот как выглядит соответствующее описание этих полей:

public partial class TestingNormalForm : Form

{

int N = 0, m = 0;

double MxT; //Математическое ожидание

double skoT; //среднеквадратическое отклонение

double[] X; //выборка