Подбор параметров линейной функции методом наименьших квадратов

Постановка задачи.

Пусть в результате эксперимента получена совокупность значений , . Требуется подобрать по методу наименьших квадратов параметры и линейной функции , изображающей данную экспериментальную зависимость.

Решение задачи.

В данном случае

. (4)

Тогда ;

Найдем частные производные функции по и :

Приравнивая частные производные и к нулю, получим систему двух уравнений с двумя неизвестными и :

или

(5)

Система (5) называется нормальной системой метода наименьших квадратов. Из этой системы находим и , а затем, подставляя их в уравнение (4), получим уравнение искомой линейной зависимости.

Покажем, что функция в найденной точке имеет минимум. Для этого используем достаточное условие существования экстремума функции двух переменных. Найдем частные производные второго порядка функции :

;

;

.

Тогда

Отсюда следует, что . Так как , то в точке функция имеет минимум.

Пример 1. Результаты измерений величин и даны в таблице:

	-2	0	1	2	4
	0,5	1	1,5	2	3

Предполагая, что между и существует линейная зависимость , способом наименьших квадратов определить коэффициенты и .

Решение

В нашем случае (число измерений). Для того, чтобы найти параметры и , необходимо составить нормальную систему (5).

Предварительно вычислим

; ; ; .

Тогда система (5) примет вид:

Решая эту систему, получим и . Следовательно, искомая линейная зависимость имеет вид .

Метод наименьших квадратов получил самое широкое распространение в практике статистических исследований, так как, во–первых, не требует знания закона распределения выборочных данных; во–вторых, достаточно хорошо разработан в плане вычислительной реализации; в–третьих, допускает довольно веское теоретическое обоснование с вероятностной точки зрения.

Кроме метода наименьших квадратов, существуют и другие методы оценивания параметров распределения. К их числу относится метод максимального правдоподобия, предложенный Р. Фишером.

Вопрос 2. Принцип максимального правдоподобия

Метод максимального правдоподобия точечной оценки неизвестных параметров распределения основан на принципе максимального правдоподобия и сводится к отысканию максимума функции одного или нескольких оцениваемых параметров.

Дискретные случайные величины

Пусть – дискретная случайна величина, которая в результате испытаний приняла значения . Допустим, что вид закона распределения величины задан, но неизвестен параметр , которым определяется этот закон. Требуется найти точечную оценку параметра .

Обозначим вероятность того, что в результате испытания величина примет значение через .

О.2.1. Функцией правдоподобия дискретной случайной величины называется функция аргумента , имеющая вид

где – фиксированные числа.

Согласно принципу максимального правдоподобия в качестве точечной оценки параметра принимается такое его значение , при котором функция правдоподобия достигает максимума. Оценка в этом случае называется оценкой максимального правдоподобия.

Замечание

Функция правдоподобия – функция от аргумента , а оценка максимального правдоподобия – функция от независимых аргументов .

О.2.2. Функция называется логарифмической функцией правдоподобия.

Функции и являются функциями аргумента и достигают максимума при одном и том же значении . На практике удобнее вместо отыскания максимума функции находить максимум функции .

Точку максимума функции находят с помощью следующего алгоритма:

1. Найти производную .

2. Приравнять производную нулю и найти критическую точку – корень полученного уравнения

. (6)

Уравнение (6) называется уравнением правдоподобия.

3. Найти вторую производную и вычислить ее значения в критической точке . Если при , то точка – точка максимума.

Найденную точку максимума принимают в качестве оценки максимального правдоподобия.