11.3. Статистическая регуляризация данных.

Как следует из выражения (11.2.21), для практического использования информации из дополнительных потоков данных необходимо установить значения и диспер­сию D(M), причем, исходя из задания последней по выражению (11.2.11), должно быть известно значение _x - относительной средней квадратической флюктуации вели­чины х.

Применительно к СРД определение значений и _x по зарегистрированным мас­сивам данных не представляет затруднений как в целом по пространству измерений, так и в виде распределений в скользящем окне усреднения данных. Последнее эквивалентно приведе­нию D_xm => 0 для текущей точки обработки данных по информации ее ближайших окрестно­стей и позволяет производить максимальное извлечение полезной информации из дополни­тельных потоков сигналов, если частотный спектр распределения величины х по пространству измерений много меньше частотного спектра полезного сигнала. Отметим, что информация о распределении х также может иметь практическое значение (в частности, при гамма-опробовании с дополнительным потоком сигналов в низкоэнергетическом диапазоне спектра излучения - для оценки эффективного атомного номера горных пород).

Проверка теоретических положений метода АРД проводилась путем статистического моделирования на ПК соответствующих массивов данных и их обработки цифровыми фильтрами.

В таблице 1 приведены 4 группы результатов обработки по формулам (11.2.20-21) двух статистически независимых и постоянных по средним значениям массивов данных n и m (модели постоянных полей) при различных установках СРД по скользящему окну К_с счета текущих значений = m_i/n_i и D_i(М) по массиву m. Текущая точка обработки данных – по центру окна. Количество отсчетов в каждом массиве – 1000, распределение значений отсчетов соответствует закону Пуассона. Определение прогнозных отсчетов М_i по массиву m для использования в уравнении (11.2.20) проводилось со сглаживанием отсчетов в скользящем окне K_s низкочастотного цифрового фильтра (вариант без сглаживания при K_s = 1). В качестве низкочастотного фильтра в алгоритме СРД используется (здесь и в дальнейшем) весовое окно Лапласа-Гаусса. Теоретическое значение D_z.т. дисперсии результатов z определялось по выражению (11.2.22) с расчетом дисперсии D(M) по выражению D(M) = [1+ (1/(K_c )+1/(K_c ))]. При сглаживании прогнозных отсчетов значение D_M в выражении (11.2.22) принималось равным D_M. = H_s, где H_s – коэффициент усиления сглаживающим фильтром дисперсии шумов (сумма квадратов коэффициентов цифрового фильтра). Дополнительно в таблице приводятся зарегистрированные средние значения коэффициента снижения статистических флюктуаций  = _n²/_z².

Таблица 1.

Статистика результатов моделирования СРД.

(Основной массив = 9.9, D_n = 9.7, дополнительный массив = 9.9, D_m = 9.9, 1000 отсчетов.)

Kc	Ks	z	Dz	Dz.т.		Kc	Ks	z	Dz	Dz.т.	
3	1	9,7	5,7	6,19	1,7	11	3	9,6	3,6	3,80	2,8
5	1	9,7	5,4	5,78	1,8	11	5	9,6	3,3	3,55	3,0
11	1	9,6	5,1	5,36	1,9	11	11	9,6	3,1	3,22	3,2
21	1	9,6	5,0	5,18	2,0	11	21	9,6	3,0	3,11	3,3
51	1	9,6	5,0	5,05	2,0	11	51	9,6	3,0	2,99	3,3
3	3	9,7	4,1	4,71	2,4	3	11	9,8	4,5	4,26	2,2
5	5	9,7	3,6	4,01	2,8	5	11	9,7	3,5	3,78	2,8
11	11	9,6	3,1	3,22	3,2	11	11	9,6	3,1	3,22	3,2
21	21	9,6	2,9	2,91	3,4	21	11	9,6	3,1	3,12	3,2
51	51	9,6	2,7	2,66	3,7	51	11	9,6	3,1	2,99	3,2

Как видно из данных таблицы, практические результаты фильтрации достаточно хорошо совпадают с ожидаемыми по данным теоретических расчетов. Некоторое уменьшение среднего значения z по отношению к исходному среднему значению n определяется асимметричностью пуассоновского типа модели. При малых средних значениях модельных отсчетов в массиве m это приводит к определенной статистической асимметрии в работе СРД, т.к. при (+_m)² > (-_m)² среднестатистическое доверие к дополнительной информации с отсчетами M_i+ меньше, чем с отсчетами M_i-. Этим же фактором, по-видимому, вызвано и большее расхождение между теоретическими и фактическими значениями D_z при малых значениях окна К_с. Можно также заметить, что по значению коэффициента  фильтрация выходит на теоретические значения ( 1+MN) только при достаточно точном определении значений и D_i(М), что требует увеличения окна К_с счета этих параметров для полного использования дополнительной информации.

Таблица 2.

Эффект использования дополнительной информации, в полном соответствии с выражением (11.2.22), усиливается при предварительном сглаживании статистических вариаций отсчетов M_i и при увеличении значений отсчетов дополнительного массива (материалы по последнему случаю не приводятся, т.к. не имеют какой-либо дополнительной информации). В спокойных по динамике полях еще большая глубина регуляризации может быть достигнута при счете значений и D_m по сглаженному массиву М, что позволяет повысить вес прогнозных отсчетов M_i. Результаты моделирования данного варианта в тех же условиях, что и для таблицы 1, приведены в таблице 2. Такой же эффект, в принципе, может достигаться и непосредственным введением дополнительного коэффициента веса в выражение (11.2.20) в качестве множителя для значения D(M), что позволяет осуществлять внешнее управление глубиной регуляризации.

Оценка СРД по сохранению разрешающей способности полезной информации была проведена на фильтрации детерминированных сигналов n и m предельной формы – в виде прямоугольных импульсов. Оценивались два фактора: сохранение формы полезного сигнала и подавление статистических шумов, наложенных на полезный сигнал.

При установке СРД без усреднения данных по массиву М (К_s = 1, прогноз М_i по текущим значениям массива М) при любых значениях окна К_с выходной массив Z без всяких изменений повторяет массив N, т.е. не изменяет полезный сигнал и полностью сохраняет его частотные характеристики. Естественно при условии, что массив М пропорционален массиву N.

При К_s > 1 форма выходных кривых несколько изменяется и приведена на рис. 11.3.1. В индексах выходных кривых z приведена информация по установкам окон СРД: первая цифра - окно счета дисперсии D_M и текущего значения (в количестве точек отсчетов), вторая цифра (через флеш) - окно сглаживания отсчетов М весовой функцией Лапласа-Гаусса и определения прогнозных отсчетов М_i. Для сравнения с результатами типовой низкочастотной фильтрации на рисунке приведена кривая n25 отсчетов N, сглаженных весовой функцией Лапласа-Гаусса с окном 25 точек.

Рис. 11.3.1. СРД прямоугольного импульса. Счет D_m по несглаженному массиву М.

На рис. 11.3.1а приведен результат СРД прямоугольного импульса с амплитудным значением 10 на фоне 5 при отношении m/n = 1 (равные значения отсчетов N и М). Дисперсия D_N в выражении (11.2.21) принималась равной значению отсчетов N (статистика Пуассона). Как видно на рисунке, при сохранении фронтов сигнальной функции сглаживание прогнозных значений М_i приводит к появлению искажения формы сигнала по обеим сторонам скачка, интервал которого тем больше, чем больше значение K_s. Амплитудное значение искажений, как это и следует из выражения (11.2.21), в первую очередь зависит от соотношения текущих значений D_N и D(M) и в меньшей степени от глубины сглаживания прогнозных отсчетов.

Максимальную величину искажения для точек скачка в первом приближении можно оценить из следующих соображений. Значения D(M) между точками скачка равны D(M) = А²/4, где А - амплитуда скачка, при этом значения коэффициента  для нижней и верхней точек скачка определяются выражениями   А²/(4D_N+A²), где D_N = N точки скачка (для статистики Пуассона). Отсюда, при прогнозном значении М  N+А/2 для нижней точки скачка и M  N-A/2 для верхней точки относительная величина изменений N определится выражением   1/(2N/A+A), т.е. будет тем меньше, чем больше значения А и N и больше отношение N/A, что можно наглядно видеть на рис. 11.3.1в. Из этого выражения также следует, что максимальные искажения скачков, вносимые системой СРД, будут всегда в несколько раз меньше, чем статистические флюктуации непосредственных отсчетов  = 1/ на краях скачков.

При увеличении глубины регуляризации введением счета дисперсии D(M) по сглаженному массиву М картина искажений несколько изменяется и приведена на рис. 11.3.2. Реакция СРД на сглаживание дисперсии D(M) проявляется в своеобразной компенсации абсолютных отклонений отсчетов непосредственно по сторонам скачка отклонениями противоположного знака в более дальней зоне от скачка. Максимальные значения искажений остаются примерно на таком же уровне, как и для работы по несглаженной дисперсии D(M), с несколько меньшей зависимостью от увеличения значений N и А.

Рис. 11.3.2. СРД прямоугольного импульса. Счет D_m по сглаженному массиву М.

В приведенных примерах значение окна счета К_с принималось равным значению окна сглаживания К_s дополнительного массива М. При К_с > K_s картина процесса практически не изменяется. При обратном соотношении размеров окон вступает в действие второй фактор - отклонение от фактических значений счета текущих значений x_i = m/n в малом окне К_с по массиву отсчетов, сглаженных с большим окном K_s. На расстояниях от скачка функции, больших К_с/2, СРД переходит в режим предпочтения сглаженных значений массива М, т.к. D(M)  0, что при К_с < K_s может приводить к появлению существенной погрешности – выбросов на расстояниях  К_с/2 от скачков. Естественно, что при практических измерениях таких условий наблюдаться не будет и эффект резко уменьшится, но для полного его исключения вариант K_c  K_s можно считать предпочтительным.

Рис. 11.3.3. СРД сигнала N по массиву M. Рис. 11.3.4. Коэффициент .

(Счет D_m по несглаженному массиву М). (Среднее статистическое по 50 циклам)

На рис. 11.3.3 приведен пример регистрации рандомизированного модельного сигнала в виде прямоугольного импульса амплитудой 40 на фоне 10, на котором виден принцип работы СРД. Как и следовало ожидать, СРД производит сглаживание статистических флюктуаций фона и сигнала за пределами зоны К_с от скачка, отдавая предпочтение сглаженным прогнозным значениям М_i, и не изменяет значения фона и сигнала в пределах этой зоны в связи с резким возрастанием текущих значений D(M) в выражении (11.2.21). Изменение коэффициента  в зоне скачка, управляющего формированием выходных отсчетов, приведено на рис. 11.3.4 (среднестатистическое по 50-ти циклам рандомизации для модельного импульса на рис. 11.3.3) и наглядно показывает принцип адаптации СРД к динамике изменения значений обрабатываемых сигналов.

Рис. 11.3.5. Статистика сигнала N Рис. 11.3.6. Статистика сигнала Z

(Измерения по 50-ти циклам). (50 циклов. Счет D_m по несглаженному М)

Статистическая оценка работы СРД по прямоугольным импульсам проводилась по 50-ти циклам рандомизации исходных массивов N и M. В качестве примера на рисунках 11.3.5 и 6 приведены результаты обработки статистики массивов N и Z. Кроме статистики циклов рандомизации проводилась суммарная обработка всех циклов по общей статистике фона и вершины импульсов. Результаты обработки для тех же установок фильтров приведены в таблице 3.

Таблица 3.

Статистика значений фона и вершины импульсов (50 циклов).

Массивы и условия обработки	Фон		Сигнал
	Сред.отсчет	Дисперсия	Сред.отсчет	Дисперсия
Основной входной массив N Дополнительный входной массив М Массив Z, счет Dm по несглаженному М Массив Z, счет Dm по сглаженному М Массив N, сглаженный весовым окном	9.96 9,89 9,87 9,84 11,5	9.97 9,49 5,47 4,76 17,9	50,1 50,2 49,7 49,9 48,5	52,0 47,4 22,3 18,6 29,2

Результаты моделирования подтверждают преимущество СРД перед простыми методами сглаживания. В числовой форме это наглядно проявляется в снижении дисперсии отсчетов выходного массива Z при практическом сохранении средних значений массива N и для фоновых отсчетов, и для амплитудных значений сигнала. При простом сглаживании "развал" фронтов сигнала (подавление высокочастотных составляющих спектра сигнала), как и должно быть при использовании низкочастотных фильтров, вызывает снижение по отношению к исходному массиву средних значений в максимумах и повышение фоновых значений сигнала, которое тем больше, чем больше окно весовой функции. Этот эффект особенно отчетливо проявляется в интервале окна фильтра по обе стороны от резких изменений сигнала.

При отсутствии дополнительных массивов М, коррелированных с регуляризируемым массивом N, формирование прогнозных значений М_i может производиться по ближайшим окрестностям текущих значений N_i в скользящем окне K_s. При строго корректном подходе текущая точка N_i не должна включаться в число счета прогнозных значений M_i, но, как показало моделирование, это практически не влияет на результаты регуляризации. При прогнозировании M_i по всем точкам окна K_s массив М формируется любым методом сглаживания из массива N, и все особенности работы СРД по сглаженным массивам М, рассмотренные выше, остаются без изменений при условии счета значений D_m в окне К_с по массиву М. Для исключения выбросов по обе стороны от скачков полезного сигнала счет D_m как дисперсии прогнозных значений M_i необходимо выполнять непосредственно по массиву N.

Рис. 11.3.7. СРД одиночного массива N

(3 прохода. Счет D_m по массиву n)

Фундаментальной особенностью СРД является возможность последовательной многократной фильтрации данных, при которой может осуществляться преимущественное повышение степени регуляризации данных с минимальными искажениями формы полезного сигнала. Для выполнения последнего размер окна К_с счета x_i и D_m устанавливается минимальным (3-5 точек), а глубина регуляризации данных (степень подавления шумов) устанавливается количеством последовательных операций фильтрации (до 3-5 проходов). Пример регуляризации модельного массива N в три прохода приведен на рис. 11.3.7. Для сравнения пунктиром на рисунке приведено сглаживание массива 5-ти точечным фильтром Лапласа-Гаусса, который имеет коэффициент подавления шумов, эквивалентный 3-х проходному СРД (см. рис. 11.3.9).

Рис. 11.3.8. Статистика средних значений Рис. 11.3.9. Статистика дисперсий

(25 циклов. Счет D_m по массиву n) (25 циклов. Счет D_m по массиву n)

На рисунках 11.3.8 и 11.3.9 приведены результаты статистической обработки 3-х проходной СРД для 25 циклов моделирования в сравнении с 1-м проходом и с 5-ти точечным фильтром Лапласа-Гаусса (кривая n5).

Количество проходов может ограничиваться в автоматическом режиме, например, по среднеквадратическому значению корректирующих отсчетов z_i = N_i - z_i в каждом проходе по сравнению с предыдущим проходом, которое сначала резко уменьшается за счет сглаживания флюктуаций, а затем, в зависимости от динамики сигнальной функции, стабилизируется или даже начинает увеличиваться за счет искажения самого сигнала.

Рис. 11.3.10. Модули спектров модельных сигналов. Рис.11.3.11. Участок спектра.

(1– входной массив N, 2– выходной массив Z, один цикл CРД,

3– выходной массив Z,три цикла CРД), 4 – массив нерандомизированного меандра).

Частотное представление работы СРД хорошо видно на рис. 11.3.10, где приведены модули спектров рандомизированного сигнала в виде меандра (средние значения в минимуме - 20, в максимуме - 100, 25 периодов по 40 отсчетов, всего 1000 отсчетов) и результатов его обработки СРД (окно К_с= 3, окно К_s= 3). Модуль спектра основного полезного сигнала (в данном случае чистого меандра) представляет собой последовательность отдельных частотных гармоник по всему диапазону спектра. В спектре рандомизированного меандра эти частотные гармоники суммируются со спектром шума, статистически равномерно распределенным по всему частотному диапазону (спектр шума на рисунке для наглядности сглажен). СРД осуществляет подавление шумовых составляющих сигнала, практически не затрагивая частотных гармоник меандра и не изменяя их по амплитуде. Последнее можно видеть на рис. 11.3.11, где представлен отрезок спектра сигналов в высокочастотной части главного диапазона в области одной гармоники меандра (частотные составляющие шума не сглажены). При 3-х цикловом СРД высокочастотные составляющие шумов подавляются практически на порядок.

Рис. 11.3.12. Диаграммы ГК.

На рис. 11.3.12 и 11.3.13 приведен пример практического использования СРД при опробовании участка скважины, пересекающей пласты каменной соли, на содержание сильвинита по гамма-излучению Калия-40. По данным геологического опробования пласты сильвинита в толще вмещающих пород (галита) имеют достаточно резкие границы и однородны по содержанию сильвинита в пределах пластов. Исходная диаграмма ГК (детектор CsJ(Tl) со свинцовым фильтром толщиной 2 мм) и результаты фильтрации исходного массива данных ГК с использованием СРД и низкочастотного фильтра с весовым окном Лапласа-Гаусса приведены на рис. 11.3.12.

Рис. 11.3.13. Результаты интерпретации диаграмм ГК.

Результаты интерпретации диаграмм ГК симметричным деконволюционным цифровым фильтром (окно 13 точек) приведены на рис. 11.3.13. Как видно на рисунке, деконволюция по несглаженной диаграмме ГК дает существенные вариации содержания сильвинита в пределах пластов. Применение низкочастотной фильтрации диаграммы ГК снимает флюктуации содержания в пределах пластов, но существенно сглаживает границы пластов. Использование СРД позволяет устранить этот недостаток.

В заключение отметим, что СРД может использоваться для регуляризации не только ядернофизических данных, но и любых других числовых массивов непрерывных измерений, если радиус их корреляции не менее 3-5 отсчетов. В качестве примера на рис. 11.3.14 приведена диаграмма акустического каротажа, зарегистрированная с шагом дискретизации данных 20 см, сглаживание которой проведено СРД без потери пространственного разрешения.

Рис. 11.3.14. Диаграмма акустического каротажа и результат ее обработки СРД

(5 циклов, K_c = K_s = 3, физическое окно 0.6 м).