7.3. Регрессионный анализ

Постановка задачи

Одной из типовых задач обработки многомерных ЭД является определение количественной зависимости показателей качества объекта от значений его параметров и характеристик внешней среды. Примером такой постановки задачи является установление зависимости между временем обработки запросов к базе данных и интенсивностью входного потока. Время обработки зависит от многих факторов, в том числе от размещения искомой информации на внешних носителях, сложности запроса. Следовательно, время обработки конкретного запроса можно считать случайной величиной. Но вместе с тем, при увеличении интенсивности потока запросов следует ожидать возрастания его среднего значения, т.е. считать, что время обработки и интенсивность потока запросов связаны корреляционной зависимостью.

Постановка задачи регрессионного анализа формулируется следующим образом:

Имеется совокупность результатов наблюдений вида матрицы данных. В этой совокупности один столбец соответствует показателю, для которого необходимо установить функциональную зависимость с параметрами объекта и среды, представленными остальными столбцами. Будем обозначать показатель через y^* и считать, что ему соответствует первый столбец матрицы наблюдений. Остальные т–1 (m > 1) столбцов соответствуют параметрам (факторам) х₂, х₃, …, х_т .

Требуется: установить количественную взаимосвязь между показателем и факторами. В таком случае задача регрессионного анализа понимается как задача выявления такой функциональной зависимости y^* = f(x₂ , x₃ , …, x_т), которая наилучшим образом описывает имеющиеся экспериментальные данные.

Допущения:

количество наблюдений достаточно для проявления статистических закономерностей относительно факторов и их взаимосвязей;

обрабатываемые ЭД содержат некоторые ошибки (помехи), обусловленные погрешностями измерений, воздействием неучтенных случайных факторов;

матрица результатов наблюдений является единственной информацией об изучаемом объекте, имеющейся в распоряжении перед началом исследования.

Функция f(x₂ , x₃ , …, x_т), описывающая зависимость показателя от параметров, называется уравнением (функцией) регрессии. Термин "регрессия" (regression (лат.) – отступление, возврат к чему-либо) связан со спецификой одной из конкретных задач, решенных на стадии становления метода, и в настоящее время не отражает всей сущности метода, но продолжает применяться.

Решение задачи регрессионного анализа целесообразно разбить на несколько этапов:

предварительная обработка ЭД;

выбор вида уравнений регрессии;

вычисление коэффициентов уравнения регрессии;

проверка адекватности построенной функции результатам наблюдений.

Предварительная обработка включает стандартизацию матрицы ЭД, расчет коэффициентов корреляции, проверку их значимости и исключение из рассмотрения незначимых параметров (эти преобразования были рассмотрены в рамках корреляционного анализа). В результате преобразований будут получены стандартизованная матрица наблюдений U (через y будем обозначать стандартизованную величину y^* ) и корреляционная матрица ρ .

Стандартизованной матрице U можно сопоставить одну из следующих геометрических интерпретаций:

в т-мерном пространстве оси соответствуют отдельным параметрам и показателю. Каждая строка матрицы представляет вектор в этом пространстве, а вся матрица – совокупность п векторов в пространстве параметров;

в п-мерном пространстве оси соответствуют результатам отдельных наблюдений. Каждый столбец матрицы – вектор в пространстве наблюдений. Все вектора в этом пространстве имеют одинаковую длину, равную . Тогда угол между двумя векторами характеризует взаимосвязь соответствующих величин. И чем меньше угол, тем теснее связь (тем больше коэффициент корреляции)..

Выбор вида уравнения регрессии

Задача определения функциональной зависимости, наилучшим образом описывающей ЭД, связана с преодолением ряда принципиальных трудностей. В общем случае для стандартизованных данных функциональную зависимость показателя от параметров можно представить в виде

y = f(u₁, u₂, ...u_p) + ε

где f – заранее не известная функция, подлежащая определению; ε - ошибка аппроксимации ЭД.

Указанное уравнение принято называть выборочным уравнением регрессии y на u. Это уравнение характеризует зависимость между вариацией показателя и вариациями факторов. А мера корреляции измеряет долю вариации показателя, которая связана с вариацией факторов. Иначе говоря, корреляцию показателя и факторов нельзя трактовать как связь их уровней, а регрессионный анализ не объясняет роли факторов в создании показателя.

Еще одна особенность касается оценки степени влияния каждого фактора на показатель. Регрессионное уравнение не обеспечивает оценку раздельного влияния каждого фактора на показатель, такая оценка возможна лишь в случае, когда все другие факторы не связаны с изучаемым. Если изучаемый фактор связан с другими, влияющими на показатель, то будет получена смешанная характеристика влияния фактора. Эта характеристика содержит как непосредственное влияние фактора, так и опосредованное влияние, оказанное через связь с другими факторами и их влиянием на показатель.

В регрессионное уравнение не рекомендуется включать факторы, слабо связанные с показателем, но тесно связанные с другими факторами. Не включают в уравнение и факторы, функционально связанные друг с другом (для них коэффициент корреляции равен 1). Включение таких факторов приводит к вырождению системы уравнений для оценок коэффициентов регрессии и к неопределенности решения.

Функция f должна подбираться так, чтобы ошибка ε в некотором смысле была минимальна. Существует бесконечное множество функций, описывающих ЭД абсолютно точно (ε = 0), т.е. таких функций, которые для всех значений параметров u_j,2 , u_j,3 , …, u_j,т принимают в точности соответствующие значения показателя y_i , i =1, 2, …, п. Вместе с тем, для всех других значений параметров, отсутствующих в результатах наблюдений, значения показателя могут принимать любые значения. Понятно, что такие функции не соответствуют действительной связи между параметрами и показателем.

В целях выбора функциональной связи заранее выдвигают гипотезу о том, к какому классу может принадлежать функция f, а затем подбирают "лучшую" функцию в этом классе. Выбранный класс функций должен обладать некоторой "гладкостью", т.е. "небольшие" изменения значений аргументов должны вызывать "небольшие" изменения значений функции (ЭД содержат некоторые ошибки измерений, а само поведение объекта подвержено влиянию помех, маскирующих истинную связь между параметрами и показателем).

Простым, удобным для практического применения и отвечающим указанному условию является класс полиномиальных функций

(7.6)

Для такого класса задача выбора функции сводится к задаче выбора значений коэффициентов a₀ , a_j , a_jk , …, a_jj , … . Однако универсальность полиномиального представления обеспечивается только при возможности неограниченного увеличения степени полинома, что не всегда допустимо на практике, поэтому приходится применять и другие виды функций. Частным случаем, широко применяемым на практике, является полином первой степени или уравнение линейной регрессии

.

(7.7)

Это уравнение в регрессионном анализе следует трактовать как векторное, ибо речь идет о матрице данных

, i =1, 2, … , n.

(7.8)

Обычно стремятся обеспечить такое количество наблюдений, которое превышало бы количество оцениваемых коэффициентов модели. Для линейной регрессии при п > т количество уравнений превышает количество подлежащих определению коэффициентов полинома. Но и в этом случае нельзя подобрать коэффициенты таким образом, чтобы ошибка в каждом скалярном уравнении обращалась в ноль, так как к неизвестным относятся а_j и  _i , их количество n + т – 1, т.е. всегда больше количества уравнений п. Аналогичные рассуждения справедливы и для полиномов степени, выше первой.

Для выбора вида функциональной зависимости можно рекомендовать следующий подход:

в пространстве параметров графически отображают точки со значениями показателя. При большом количестве параметров можно строить точки применительно к каждому из них, получая двумерные распределения значений;

по расположению точек и на основе анализа сущности взаимосвязи показателя и параметров объекта делают заключение о примерном виде регрессии или ее возможных вариантах;

после расчета параметров оценивают качество аппроксимации, т.е. оценивают степень близости расчетных и фактических значений;

если расчетные и фактические значения близки во всей области задания, то задачу регрессионного анализа можно считать решенной. В противном случае можно попытаться выбрать другой вид полинома или другую аналитическую функцию, например периодическую.

Вычисление коэффициентов уравнения регрессии

Систему уравнений (7.8) на основе имеющихся ЭД однозначно решить невозможно, так как количество неизвестных всегда больше количества уравнений. Для преодоления этой проблемы нужны дополнительные допущения. Здравый смысл подсказывает: желательно выбрать коэффициенты полинома так, чтобы обеспечить минимум ошибки аппроксимации ЭД. Могут применяться различные меры для оценки ошибок аппроксимации. В качестве такой меры нашла широкое применение среднеквадратическая ошибка. На ее основе разработан специальный метод оценки коэффициентов уравнений регрессии – метод наименьших квадратов (МНК). Этот метод позволяет получить оценки максимального правдоподобия неизвестных коэффициентов уравнения регрессии при нормальном распределения вариант, но его можно применять и при любом другом распределении факторов.

В основе МНК лежат следующие положения:

значения величин ошибок и факторов независимы, а значит, и некоррелированы, т.е. предполагается, что механизмы порождения помехи не связаны с механизмом формирования значений факторов;

математическое ожидание ошибки ε должно быть равно нулю (постоянная составляющая входит в коэффициент a₀), иначе говоря, ошибка является центрированной величиной;

выборочная оценка дисперсии ошибки должна быть минимальна.

Рассмотрим применение МНК применительно к линейной регрессии стандартизованных величин. Для центрированных величин u_j коэффициент a₀ равен нулю, тогда уравнения линейной регрессии

.

(7.9)

Здесь введен специальный знак "^", обозначающий значения показателя, рассчитанные по уравнению регрессии, в отличие от значений, полученных по результатам наблюдений.

По МНК определяются такие значения коэффициентов уравнения регрессии, которые обеспечивают безусловный минимум выражению

.

(7.10)

Минимум находится приравниванием нулю всех частных производных выражения (7.10), взятых по неизвестным коэффициентам, и решением системы уравнений

(7.11)

Последовательно проведя преобразования и используя введенные ранее оценки коэффициентов корреляции

получим

.

(7.12)

Итак, получено т–1 линейных уравнений, что позволяет однозначно вычислить значения a₂, a₃, …, a_т.

Если же линейная модель неточна или параметры измеряются неточно, то и в этом случае МНК позволяет найти такие значения коэффициентов, при которых линейная модель наилучшим образом описывает реальный объект в смысле выбранного критерия среднеквадратического отклонения.

Когда имеется только один параметр, уравнение линейной регрессии примет вид . Коэффициент a₂ находится из уравнения  _y,2 – a_{2  2,2} = 0. Тогда, учитывая, что  _2,2 = 1, искомый коэффициент

a₂ =  _y,2.

(7.13)

Соотношение (7.13) подтверждает ранее высказанное утверждение, что коэффициент корреляции является мерой линейной связи двух стандартизованных параметров.

Подставив найденное значение коэффициента a₂ в выражение для w, с учетом свойств центрированных и нормированных величин, получим минимальное значение этой функции, равное 1–  ²_y,2. Величину 1–  ²_y,2 называют остаточной дисперсией случайной величины y относительно случайной величины u₂. Она характеризует ошибку, которая получается при замене показателя функцией от параметра . Только при | _y,2 | = 1 остаточная дисперсия равна нулю, и, следовательно, не возникает ошибки при аппроксимации показателя линейной функцией.

Переходя от центрированных и нормированных значений показателя и параметра

,

можно получить для исходных величин

.

(7.14)

Это уравнение также линейно относительно коэффициента корреляции. Нетрудно заметить, что центрирование и нормирование для линейной регрессии позволяет понизить на единицу размерность системы уравнений, т.е. упростить решение задачи определения коэффициентов, а самим коэффициентам придать ясный смысл.

Применение МНК для нелинейных функций практически ничем не отличается от рассмотренной схемы (только коэффициент a₀ в исходном уравнении не равен нулю).

Например, пусть необходимо определить коэффициенты параболической регрессии

= a₀ + a₂ u₂ + a₂₂ u₂².

Выборочная дисперсия ошибки

.

На ее основе можно получить следующую систему уравнений

После преобразований система уравнений примет вид

Учитывая свойства моментов стандартизованных величин, запишем

Определение коэффициентов нелинейной регрессии основано на решении системы линейных уравнений. Для этого можно применять универсальные пакеты численных методов или специализированные пакеты обработки статистических данных [1].

С ростом степени уравнения регрессии возрастает и степень моментов распределения параметров, используемых для определения коэффициентов. Так, для определения коэффициентов уравнения регрессии второй степени используются моменты распределения параметров до четвертой степени включительно. Известно, что точность и достоверность оценки моментов по ограниченной выборке ЭД резко снижается с ростом их порядка. Применение в уравнениях регрессии полиномов степени выше второй нецелесообразно.

Качество полученного уравнения регрессии оценивают по степени близости между результатами наблюдений за показателем и предсказанными по уравнению регрессии значениями в заданных точках пространства параметров. Если результаты близки, то задачу регрессионного анализа можно считать решенной. В противном случае следует изменить уравнение регрессии (выбрать другую степень полинома или вообще другой тип уравнения) и повторить расчеты по оценке параметров.

При наличии нескольких показателей задача регрессионного анализа решается независимо для каждого из них.

Анализируя сущность уравнения регрессии, следует отметить следующие положения. Рассмотренный подход не обеспечивает раздельной (независимой) оценки коэффициентов – изменение значения одного коэффициента влечет изменение значений других. Полученные коэффициенты не следует рассматривать как вклад соответствующего параметра в значение показателя. Уравнение регрессии является всего лишь хорошим аналитическим описанием имеющихся ЭД, а не законом, описывающим взаимосвязи параметров и показателя. Это уравнение применяют для расчета значений показателя в заданном диапазоне изменения параметров. Оно ограниченно пригодно для расчета вне этого диапазона, т.е. его можно применять для решения задач интерполяции и в ограниченной степени для экстраполяции.

Задача 7.2. Построить уравнение регрессии для пропускной способности канала по выборке, заданной в табл. 7.1.

Решение. Применительно к указанной выборке построение аналитической зависимости в основной своей части выполнено в рамках корреляционного анализа: пропускная способность зависит только от параметра "соотношение сигнал/шум". Остается подставить в выражение (7.14) вычисленные ранее значения параметров. Уравнение для пропускной способности примет вид

= 26,47– 0,93 ^. 41,68 ^. 5,39/6,04+0,93 ^. 5,39/6,03 ^х = – 8,121+0,830х.

Результаты расчетов представлены в табл. 7.5.

Таблица 7.5

№ пп	Пропускная способность	Соотношение сигнал/шум,	Значение функции, кбит/с	Погрешность, кбит/с
	канала, кбит/с	дБ
	Y	X		
1	26,37	41,98	26,72	–0,35
2	28,00	43,83	28,25	–0,25
3	27,83	42,83	27,42	0,41
4	31,67	47,28	31,12	0,55
5	23,50	38,75	24,04	–0,54
6	21,04	35,12	21,03	0,01
7	16,94	32,07	18,49	–1,55
8	37,56	54,25	36,90	0,66
9	18,84	32,70	19,02	–0,18
10	25,77	40,51	25,50	0,27
11	33,52	49,78	33,19	0,33
12	28,21	43,84	28,26	–0,05
13	28,76	44,03	28,42	0,34
14	24,60	39,46	24,63	–0,03
15	24,51	38,78	24,06	0,45

Остаточная дисперсия стандартизованной величины Y относительно стандартизованной величины Х равна 1– 0,93² = 0,14, т.е. является малой величиной. Погрешность аппроксимации и величина остаточной дисперсии показывают высокую точность линейной модели, поэтому задачу регрессионного анализа можно считать решенной. Свободный член уравнения регрессии отрицательный, следовательно, область существования показателя не включает нулевое значение параметра "отношение сигнал/шум", что вытекает из сущности параметра (при нулевом уровне сигнала передача информации невозможна).

Тема №8. Выражение неопределённости измерений.

Измерение. Погрешности, эффекты, поправки. Неопределённость. Вычисление стандартной неопределённости: моделирование измерения, оценивание стандартной неопределённости по типу А, оценивание стандартной неопределённости по типу Б. Определение суммарной стандартной неопределённости: некоррелированные входные величины, коррелированные входные величины. Определение расширенной неопределённости: определения, расширенная неопределённость, выбор коэффициента охвата. Составление отчёта о неопределённости.

ВВЕДЕНИЕ

В последнее время усилился процесс экономической и научной интеграции международного сообщества. Важным элементом этого процесса является гармонизация стандартов и других нормативных документов, в том числе в области метрологии, с целью устранения барьеров в торговом, промышленном, научном и культурном сотрудничестве.

В 1993 году под эгидой семи международных организаций:

- Международного бюро мер и весов,

- Международной электрической комиссии,

- Международной организации по стандартизации,

- Международной организации законодательной метрологии,

- Международного союза по чистой и прикладной химии,

- Международного союза по чистой и прикладной физике,

- Международной федерации клинической химии

был издан документ «Руководство по выражению неопределенности измерения». Целью документа являлось следующее:

- обеспечить полную информацию по составлению отчетов о

неопределенностях измерений;

- предоставить основу для международного сличения результатов

измерений;

- предоставить универсальный метод для выражения и оценивания неопределенности результата измерения, применимый ко всем видам измерений и всем типам данных, используемых при измерениях.

Величина, непосредственно используемая для выражения неопределенности измерения, должна быть внутренне согласующейся, то есть должна непосредственно выводиться из компонентов, составляющих ее, а также независимой от того, как эти компоненты группируются. Кроме того, должна существовать возможность непосредственного использования неопределенности, оцененной для одного результата, как составляющей при оценивании неопределенности другого измерения, в котором используется

первый результат.

Основой являются:

- отказ от использования понятий «погрешность» и «истинное значение измеряемой величины» в пользу понятий «неопределенность» и «оцененное значение измеряемой величины»;

- переход от классификации погрешностей по природе из проявления на

случайные и систематические к другому делению – по способу оценивания

неопределенностей измерений (по типу А – методами математической

статистики и по типу В – другими методами).

Идейной основой замены термина «погрешность» на «неопределенность» является философская предпосылка агностицизма о том, что «истинное значение» непознаваемо и погрешность, как базирующаяся на использовании истинного значения измеряемой величины, теряет смысл.

Поскольку Руководство имеет сугубо практическую направленность, то отказ от

использования понятия «погрешность результата измерений» при изложении

материала мотивируется тем, что оно опирается на понятие истинного значения,

которое принципиально не может быть получено.

Основным понятием, используемым в Руководстве, является понятие

«неопределенность измерения». Неопределенность измерения трактуется в двух

смыслах – широком и узком, В широком смысле «неопределенность» трактуется как «сомнение», например: «…когда все известные или предполагаемые составляющие погрешности оценены и внесены соответствующие поправки, все еще остается неопределенность относительно истинности указанного результата, то есть сомнение в том, насколько точно результат измерения представляет значение измеряемой величины».

В узком смысле «неопределенность измерения есть параметр, связанный

с результатом измерения, который характеризует разброс значений, которые

могли бы быть обоснованно приписаны измеряемой величине».

В качестве этого параметра в Руководстве используют стандартную неопределенность, суммарную неопределенность и расширенную неопределенность.

Оценки перечисленных неопределенностей получают на основе ряда экспериментальных данных (оценки неопределенностей по типу А) и на основе дополнительной, в том числе экспертной информации (оценки неопределенностей по типу В). К описанию неопределенностей применяется статистический подход независимо от способа их оценивания (при этом считается, что все поправки на систематические погрешности (эффекты) уже введены). В качестве неопределенности измерения обычно оценивают

расширенную неопределенность, а для промежуточных величин, на основе которых получают результат измерения, вычисляют стандартные неопределенности.

Неопределенность (измерения) есть параметр, связанный с результатом

измерения, который характеризует дисперсию значений, которые могли быть

обосновано приписаны измеряемой величине.

Примечание 1.Параметром может быть, например, стандартное

отклонение (или данное кратное ему) или полуширина интервала,

имеющего установленный уровень доверия.

2.Неопределенность измерения обычно включает мало составляющих. Некоторые из этих составляющих могут быть оценены из статистического распределения результатов рядов измерений и могут характеризоваться экспериментальными стандартными отклонениями.

Другие составляющие, которые могут быть характеризоваться стандартными отклонениями, оценивают из предполагаемых распределений вероятностей, основанных на опыте или другой информации.

3.Очевидно, что результат измерения является наилучшей оценкой значения измеряемой величины и что все составляющие неопределенности, включая те, которые возникают от систематических эффектов, таких как составляющие, связанные с поправками и эталонами сравнения, вносят вклад в дисперсию.

Однако оно не расходится с другими понятиями неопределенности измерения, такими как:

- мера возможной погрешности оцененного значения измеряемой

величины, полученной как результат измерения;

- оценка, характеризующая диапазон значений, в пределах которого

находится истинное значение измеряемой величины.

Стандартная неопределенность - неопределенность результата измерения, выраженная как стандартное отклонение.

Оценка (неопределенности) по типу А – метод оценивания неопределенности путем статистического анализа ряда наблюдений.

Оценка (неопределенности) по типу В – метод оценивания неопределенности иным способом, чем статистический анализ рядов наблюдений.

Суммарная стандартная неопределенность –стандартная неопределенность результата измерения, когда результат получают из значений ряда других величин, равная положительному квадратному корню суммы членов, причем члены являются дисперсиями или ковариациями других величин, взвешенными в соответствии с тем, как результат измерения изменяется в зависимости от изменения этих величин.

Расширенная неопределенность – величина, определяющая интервал вокруг результата измерения, в пределах которого, можно ожидать, находится большая часть распределения значений, которые с достаточным основанием могли быть приписаны измеряемой

величине.

Примечания. 1. Эта часть распределения может рассматриваться как вероятность охвата или уровень доверия для интервала.

2.Установление связи между конкретным уровнем доверия и интервалом, определенным расширенной неопределенностью, требует явных и неявных предложений относительно распределения вероятностей, характеризуемого результатом измерения и его суммарной

стандартной неопределенностью. Уровень доверия, который может быть приписан этому интервалу, может быть известен только до той степени, в которой такие предложения могут быть оправданы.

3.Расширенная неопределенность называется общей неопределенностью

Коэффициент охвата - числовой коэффициент, используемый как множитель суммарной стандартной неопределенности для получения расширенной неопределенности.

Примечание. Коэффициент покрытия k обычно находится в диапазоне

от 2 до 3.

Целью измерения является определение значения измеряемой величины , т.е. значения определенной величины которую надо измерить. Поэтому измерение начинается соответствующей спецификацией измеряемой величины, метода измерения и измерительной процедуры.

Обычно результат измерения является только аппроксимацией или оценкой значения измеряемой величины и, таким образом, будет полным, только когда сопровождается установлением неопределенности этой оценки.

На практике спецификация или определение измеряемой величины зависит от требуемой точности измерения. Измеряемую величину следует определять с достаточной полнотой по отношению к требуемой точности, чтобы для всех практических целей, связанных с измерением, ее значение было единственным.

.

ПРИМЕР – Если длину стального стержня с номинальной длиной 1 м нужно

определить с точностью до микрометра, то его спецификация должна включать

температуру и давление, при которых эта длина определяется. Таким образом,

измеряемую величину следует специфицировать, как, например, длина стержня

при 25,00 ⁰С и 101325 Па (плюс любые другие определяющие параметры,

которые считают необходимыми, такие как способ, с помощью которого этот

стержень поддерживается). Однако, если длина должна быть определена только с точностью до миллиметра, то ее спецификация не требует определения температуры или давления или значения любого другого определяющего параметра.

3.1.4. Во многих случаях результат измерения определяется на основе рядов

наблюдений, полученных при условиях повторяемости.

3.1.5. Предполагается, что изменения в повторных наблюдениях возникают из-

за влияющих величин, которые могут оказать влияние на результат измерения и которые невозможно поддерживать полностью постоянными.

3.1.6. Математическая модель измерения, которая преобразует ряд повторных наблюдений в результат измерения, является крайне важной, т.к. кроме наблюдений, она обычно включает различные величины, которые точно неизвестны. Это отсутствие значения вносит вклад в неопределенность результата измерения наряду с изменениями повторных наблюдений и любой неопределенностью, связанной с самой математической моделью.