Критические значения критерия ирвина таблица. Краткие теоретические сведения

Если критические точки симметричны относительно нуля, двусторонняя критическая область определяется неравенствами: K набл <-k кр, K набл >k кр, или равносильным неравенством \K набл \>k кр (рисунок 1, в).

Рисунок 1 - Графическая интерпретация к распределению области принятия гипотезы

Основной принцип проверки статистических гипотез формулируется следующим образом: если наблюдаемое (опытное) значение критерия принадлежит критической области - гипотезу отвергают, если наблюдаемое значение критерия принадлежит области принятия гипотезы - гипотезу принимают.

Проверку статистической гипотезы проводят для принятого уровня значимости q (принимается равным 0,1; 0,05; 0,01 и т. д.). Так принятыйуровень значимости q = 0,05 означает, что выдвинутая нулеваястатистическая гипотеза может быть принята с доверительной вероятностью P = 0,95. Или есть вероятность отвергнуть эту гипотезу (совершить ошибку первого рода), равная P = 0,95.

Нулевая статистическая гипотеза подтверждает принадлежность проверяемого “подозрительного” результата измерения (наблюдения) данной группе измерений.

Формальным критерием аномальности результата наблюдений (а, следовательно, и основанием для принятия конкурирующей гипотезы: “подозрительный” результат не принадлежит данной группе измерений) при этом служит граница, отнесенная от центра распределения на величину tS , т. е.:

(1)

где x iпод – результат наблюдения, проверяемый на наличие грубой погрешности; t – коэффициент, зависящий от вида и закона распределения, объема выборки, уровня значимости; S - СКО.

Таким образом, границы погрешности зависят от вида распределения, объема выборки и выбранной доверительной вероятности.

При обработке уже имеющихся результатов наблюдений произвольно отбрасывать отдельные результаты не следует, так как это может привести к фиктивному повышению точности результата измерений. Группа измерений (выборка) может содержать несколько грубых погрешностей и их исключение производят последовательно, по одному.

Все методы исключения грубых погрешностей (промахов) могут быть разделены на два основных типа :

· методы исключения при известном генеральном СКО;

· методы исключения при неизвестном генеральном СКО.

В первом случае X ц . р . и СКО вычисляется по результатам всей выборки, во втором случае из выборки перед вычислением удаляются подозрительные результаты.

В случае ограниченного числа наблюдений и (или) сложности оценки параметров закона распределения рекомендуется исключать грубые погрешности, используя приближенные коэффициенты вида распределения. При этом исключаются значения x i < x r - и x i > x r + , где x r - , x r + – границы промахов, определяемые выражениями:

(2),(3)

где A – коэффициент, значение которого выбирается в зависимости от заданной доверительной вероятности в диапазоне от 0,85 до 1,30 (рекомендуется выбирать максимальное значение А равное 1,3); γ – контрэксцесс, значение которого зависит от формы закона распределения величины (ЗРВ).

После исключения промахов операции по определению оценок центра распределения и СКО результатов наблюдений и измерений необходимо повторить.

Поскольку на практике чаще встречаются измерения при неизвестном СКО (ограниченное число наблюдений), в пособии рассмотрены следующие критерии проверки подозрительных (с точки зрения погрешностей) результатов наблюдений: Ирвина, Романовского, вариационного размаха, Диксона, Смирнова, Шовене.

Поскольку критериальные требования (коэффициенты), определяющие границу, за которой находятся “грубые” (в смысле погрешностей) результаты наблюдений у разных авторов различны, то проверку следует выполнять сразу по нескольким критериям (рекомендуется использовать не меньше трех, из рассматриваемых ниже). Окончательное заключение о принадлежности “подозрительных” результатов рассматриваемой совокупности наблюдений следует делать по большинству критериев. Кроме этого выбор критерия для определения грубых погрешностей должен выполняться после построения гистограммы результатов наблюдений. По виду гистограммы выполняется предварительная идентификация вида закона распределения (нормальный, близкий к нормальному или отличный от него).

Критерий Ирвина. Для полученных экспериментальных данных определяют коэффициент по формуле:

(4)

где х n + 1, x n – наибольшие значения случайной величины; S – среднее квадратическое отклонение, вычисленное по всем значениям выборки.

Затем этот коэффициент сравнивается с табличным значением λ q , возможные значения которого приведены в таблице 1.

Таблица 1 - Критерий Ирвина λ q .

Если λ >λ q , то нулевая гипотеза не подтверждается, т. е. результат ошибочный, и он должен быть исключен при дальнейшей обработке результатов наблюдений.

Критерий Романовского. Конкурирующая гипотеза о наличии грубых погрешностей в подозрительных результатах подтверждается, если выполняется неравенство:

(5)

где t p - квантиль распределения Стьюдента при заданной доверительной вероятности с числом степеней свободы k = п -k п (k n - число подозрительных результатов наблюдений). Фрагмент квантилей для распределения Стьюдента представлен в таблице 2.

Точечные оценки распределения и СКО S результатов

наблюдений вычисляется без учета k n подозрительных результатов наблюдений.

Таблица 2 - Критерий Стьюдента t p (квантили Стьюдента)

Критерий вариационного размаха. Является одним из простых методов исключения грубой погрешности измерений (промаха). Для его использования определяют размах вариационного ряда упорядоченной совокупности наблюдений (x 1 ≤x 2 ≤...≤x k ≤...≤x n):

Если какой-либо член вариационного ряда, например x k , резко отличается от всех других, то производят проверку, используя следующее неравенство:

(7)

где X - выборочное среднее арифметическое значение, вычисленное после исключения предполагаемого промаха; z - критериальное значение.

Нулевую гипотезу (об отсутствии грубой погрешности) принимают, если указанное неравенство выполняется. Если x k не удовлетворяет условию (7), то этот результат исключают из вариационного ряда.

Коэффициент z зависит от числа членов вариационного ряда n ,что представлено в таблице 3.

Таблица 3 - Критерий вариационного размаха

Критерий Диксона. Критерий основан на предположении, что погрешности измерений подчиняются нормальному закону (предварительно необходимо построение гистограммы результатов наблюдений) и проверка гипотезы о принадлежности нормальному закону распределения. При использовании критерия вычисляют коэффициент Диксона (наблюдаемое значение критерия) для проверки наибольшего или наименьшего экстремального значения в зависимости от числа измерений. В таблице 4 приведены формулы для вычисления коэффициентов. Коэффициенты r 10 , r 11 применяют, когда имеется один выброс, а r 21 и r 22 - когда два выброса. Требуется первоначальное упорядочение результатов измерений (объема выборки). Критерий применяется, когда выборка может содержать более одной грубой погрешности.

Таблица 4 – Формулы коэффициентов Диксона

Вычисленные для выборки по формулам значения коэффициентов Диксона r сравнивают с принятым (табличным) значением критерия Диксона r q (таблица 5).

Нулевая гипотеза об отсутствии грубой погрешности выполняется, если выполняется неравенство r < r q .

Если r > r q , то результат признается грубой погрешностью и

исключается из дальнейшей обработки.

Таблица 5 – Критериальные значения коэффициентов Диксона (при принятом уровне

значимости q )

Критерии Райта. Критерий “правило трех сигм” является одним из простейших для проверки результатов, подчиняющихся нормальному закону распределения. Сущность правила трех сигм: если случайная величина распределена нормально, то абсолютная величина ее отклонения от математического ожидания не превосходит утроенного среднего квадратического отклонения.

На практике правило трех сигм применяют так: если распределение изучаемой случайной величины неизвестно, но условие, указанное в приведенном правиле, выполняется, то есть основания предполагать, что изучаемая величина распределена нормально; в противном случае она не распределена нормально. С этой целью для выборки (включая подозрительный результат) вычисляется центр распределения и оценка СКО результата наблюдений. Результат, который удовлетворяет условию

,

считается имеющим грубую погрешность и удаляется, а ранее вычисленные характеристики распределения уточняются.

Этому критерию аналогичен критерий Райта , основанный на том, что если остаточная погрешность больше четырех сигм, то этот результат измерения является грубой погрешностью и должен быть исключен при дальнейшей обработке. Оба критерия надежны при числе измерений больше 20…50. Их правомочно применять, когда известна величина генерального среднеквадратического отклонения (S ).

Может оказаться, что при новых значениях и S другие результаты попадут в категорию аномальных.

Критерий Смирнова. Критерий Смирнова используется при объемах выборки п ≥ 25 или при известных значениях генеральных среднего и СКО . Он устанавливает менее жесткие границы грубой погрешности. Для реализации этого критерия вычисляются действительные значения квантилей распределения (наблюдаемое значение критерия) по формуле:

(8)

Найденное значение сравнивается с критериальным β k , приведенным в таблице6

Таблица 6 – Квантили распределения β k

Критерий Шовене. Критерий Шовене применяется для законов, не противоречащих нормальному, и строится на определении числа ожидаемых результатов наблюдений n ож , которые имеют столь же большие погрешности, как и подозрительный. Гипотеза о наличии грубой погрешности принимается, если выполняется условие:

Порядок проверки гипотезы следующий:

1) вычисляются среднее арифметическое и СКО S результатов наблюдений для всей выборки;

2) из таблицы нормированного нормального распределения (Приложение 1 – интегральная функция нормированного нормального распределения) по величине

определяется вероятность появления подозрительного результата в генеральной совокупности чисел n :

(9)

3) число ожидаемых результатов п ож определяется по формуле:

Указанные выше критерии во многих случаях оказываются “жесткими”. Тогда рекомендуется пользоваться критерием грубой погрешности «k» , зависящим от объема выборки п и принятой доверительной вероятности Р.

Таблица 7 - Зависимость критерия грубой погрешности k от объема выборки п

и доверительной вероятности Р

Для распределений, отличных от нормального, таких классов, как двух модальных кругловершинных композиций нормального и дискретного распределения c эксцессом ε = 1,5 - 3,0; островершинных двумодальных; композиций дискретного двузначного распределения и распределения Лапласа с эксцессом ε = 1,5 - 6,0; композиций равномерного распределения с экспоненциальным распределением эксцесса ε = 1,8-6,0 и классом экспоненциальных распределений в пределах изменения эксцесса ε = 1,8-6,0 граница грубой погрешности определяется величиной ± (t гр . σ ) или ±(t гр . S ), где:

(11)

где γ - контрэксцесс;

(12)

Погрешности в определении оценок S СКО и t sp являются отрицательно коррелированными, т. е. возрастание СКО S сопровождается уменьшением t zp . Поэтому определение границ грубой погрешности для законов, отличных от нормального, с эксцессом ε < 6 с помощью критерия t zp является достаточно точным и может широко использоваться на практике.

Оценки , S и ε должны вычисляться после исключения подозрительных результатов из выборки. После расчета границ грубой погрешности результаты наблюдений, оказавшиеся внутри границ, возвращаются, а ранее найденные характеристики распределения уточняются.

Для равномерного распределения за границы грубой погрешности можно принять величину ±1,8 . S.

Рассмотрим пример применения критериев для исключения грубых погрешностей при измерении скорости ударной волны. Получены результаты, представленные в таблице 8.

Таблица 8 - Результаты наблюдений

Требуется определить, не содержит ли результат наблюдения V =3,50 км/с грубую погрешность.

Для графического определения вида закона распределения построим гистограмму. При построении разбиение на интервалы осуществляем таким образом, чтобы измеренные значения оказались серединами интервалов, что показано на рисунке 2.

1 Технический институт (филиал) ФГАОУ ВПО "Северо-Восточный федеральный университет имени М.К. Аммосова"

2 Институт тектоники и геофизики им. Ю.А. Косыгина ДВО РАН

3 Академия наук Республики Саха (Якутия)

Приведены результаты численного моделирования выявления аномальных (пиковых) уровней положительно определенного временного ряда методом Ирвина. Для моделирования использован ряд числовых данных в виде отдельных пиковых значений, осложненных случайной помехой и синусоидальным сигналом. В рамках аддитивной модели исходного ряда задача разделения нормального и аномального уровней методом Ирвина успешно решается в случаях отдельных импульсов. Однако, даже в этом случае, следующий за пиковым значением член ряда с фоновым уровнем интерпретируется как аномальный. В задачах автоматизированной обработки данных ряды пиков осложняются пропорциональным количеством значений фоновых компонент. Для тех случаев, когда количество пиков превышает 50% от общего количества значений ряда и тем более для подряд стоящих пиков сформированный ряд фоновых данных осложняется пиковой компонентой за счет увеличения дисперсии. В результате численного моделирования была разработана методика в виде модифицированного метода Ирвина для адекватного выделения аномальных уровней ряда. Данная задача актуальна для систем электромагнитного мониторинга грозовых разрядов и поиска различных источников электромагнитного излучения тектонической природы.

электромагнитное излучение

разделение уровней ряда

модификация метода Ирвина

метод Ирвина

аномальные уровни ряда

временные ряды

1. Калинина В. Н., Панкин В. Ф. Математическая статистика. – М.: Высшая школа, 2001. – 336 с.

2. Трофименко С.В. Методы и примеры статистических оценок временных рядов //Международный журнал экспериментального образования", №9, 2013.-С.41-42.

3. Трофименко С.В. Проявление землетрясений на фоне стационарного сейсмического процесса Олекмо-Становой зоны (ОСЗ) Горный информационно-аналитический бюллетень (научно-технический журнал). 2007. Т. 17. №1. С. 208-213.

4. Трофименко С.В. Геофизические поля и сейсмичность Южной Якутии //Горный информационно-аналитический бюллетень (научно-технический журнал). 2007. Т. 17. №1. С. 188-196.

5. Трофименко С.В Детальные геолого-геофизические исследования зон активных разломов и сейсмическая опасность Южно-Якутского региона /А.Н. Овсюченко, Трофименко С.В., Мараханов А.В., П.С., Карасев, Е.А. Рогожин, В.С. Имаев, В. М. Никитин, Н.Н.Гриб // Тихоокеанская геология, 2009. – том 28. – №4. – С. 55-74.

6. Трофименко С.В. Очаговые зоны сильных землетрясений Южной Якутии /Овсюченко А.Н., Трофименко С.В., Мараханов А.В., П.С., Карасев, Е.А. Рогожин, В.С. //Физика Земли. 2009. №2. С. 15-33.

7. Трофименко С.В. Сейсмотектоника переходной области от Байкальской рифтовой зоны к орогенному поднятию Станового хребта /А.Н.Овсюченко, Трофименко С.В., Мараханов А.В., П.С., Карасев, Е.А. Рогожин, В.С. //Геотектоника, 2010, № 1, с. 29-51.

8. Трофименко С.В. Тектоническая интерпретация статистической модели распределений азимутов аномалий гравимагнитных полей Алданского щита. – Тихоокеанская геология. – 2010. – Том 29. – №3. – С. 64-77.

9. Трофименко С.В. Активные нектонические нарушения участка Алдан-Нагорный нефтепроводной системы Восточная Сибирь – Тихий океан /Карасев П.С., Овсюченко А.Н., Мараханов А.В., Трофименко С.В. // Нефтяное хозяйство. – 2008. – № 9. –С. 80-84.

Геофизический мониторинг атмосферных источников электромагнитного излучения, разработанный для регистрации и контроля движения грозовых разрядов, может быть использован для дистанционного отслеживания геодинамических процессов в земной коре , связанных с формирующимися очагами землетрясений и активными разломами земной коры . Важным вопросом при интерпретации аномалий электромагнитного излучения (ЭМИ) является разделение аномалий по типу источника излучения, что детально исследовано в работе .

Суммарный сигнал ЭМИ, можно представить в виде:

где и импульсная аномальная (пики) и фоновые составляющие сигнала, - случайный компонент. Причем, априори, функция источника сигнала не известна, т.е. для неё не известен тип модели, определяемой по (1).

В линейной теории электромагнитных волн принята аддитивная модель исходного ряда наблюдений ЭМИ на основе принципа суперпозиции. Если временной ряд представляется в виде суммы соответствующих компонент, то полученная модель носит название аддитивной и имеет вид (без учета тренда и сезонной компоненты):

, (2)

где - уровни временного ряда.

В данной работе представлены результаты имитационного моделирования разделения полей ЭМИ на основе статистического анализа временного ряда наблюдений, отражающих реальное состояние геофизической среды.

На рис. 1,2 показаны результаты наблюдений сигналов ЭМИ в периоды слабо возмущенного (рис. 1) и возмущенного (рис. 2) состояния геофизической среды. Качественно выделить фоновую составляющую в возмущенный день весьма проблематично.

Для отработки технологии разделения полей ЭМИ на фоновую и импульсную составляющие в модели (2) был создан имитационный файл в среде электронных таблиц Excel. Совокупный ряд исходных данных (2) был составлен из суммы рядов пиковых значений , количество импульсов которых можно задавать произвольно и фоновой компоненты ряда в виде суммы периодической синусоидальной и случайной компонент ряда (рис.3). Суммарный ряд подвергался алгоритму выделения импульсов по методу Ирвина (метод пиков), который используется в практике статистического анализа временных рядов с целью выделения аномальных уровней ряда.

Рис. 1. Исходный ряд значений амплитуд сигналов ЭМИ в слабо возмущенный день 04.01.2013.

Рис. 2. Исходный ряд значений амплитуд сигналов ЭМИ в сильно возмущенный день 13.01.2013.

Рис. 3. Компоненты модельного ряда для имитации сигналов ЭМИ

Пусть имеется временной ряд . Метод Ирвина предполагает использование соотношения

где - стандартное отклонение, - среднее значение амплитуд, для оценки аномального приращения амплитуды последующего члена ряда в предположении, что предыдущий член ряда относится к фоновой составляющей сигнала . Расчетные значения сравниваются с табличными значениями критерия Ирвина ; если какое-либо из них оказывается больше табличного , то соответствующее значение уровня ряда считается аномальным. Значения критерия Ирвина для уровня значимости приведены в таблице 1.

Таблица 1

Значения критических значений для уровня значимости

Для практических расчетов при известной длине реализации можно использовать аналитическое выражение для определения критических значений , для которой погрешность аппроксимации меньше 1%:

, (4)

Численные эксперименты показали следующее: во-первых, для одиночного пика (аномального уровня) относительно фонового уровня следующий член ряда также интерпретируется как аномальный, хотя амплитуда его импульса сравнима с фоновым значением. Во-вторых, эта же погрешность будет присутствовать при наличии в исходном ряде нескольких аномальных уровней , , …. В данном случае, за аномальный уровень рада будет принят первый аномальный и следующий за серией аномалий фоновый уровень . Все промежуточные аномалии , …, будут отнесены к фоновой составляющей ряда. Это приведет к искажению (завышению) огибающей фоновой компоненты (рис. 4).

При интерактивном способе разделения уровней ряда фиктивные аномальные уровни отбраковываются оператором. В задачах автоматизированной обработки данных ряды пиков осложняются пропорциональным количеством значений фоновых компонент.

Для тех случаев, когда количество пиков превышает 50% от общего количества значений ряда и тем более для подряд стоящих пиков сформированный ряд фоновых данных осложняется пиковой компонентой (рис.5). Видимо эти погрешности до сих пор не позволили методу Ирвина найти достаточно широкое применение в практике статистических исследований временных рядов.

Рис. 4. Иллюстрация осложнения фоновой компоненты ряда аномальными уровнями при использовании метода Ирвина

Рис. 5. Осложнение фоновой составляющей имитационного ряда при 50% соотношении пиковых и фоновых компонент

В результате численного моделирования различных соотношений «сигнал - помеха» была разработана методика в виде модифицированного метода Ирвина для адекватного разделения аномальных (пиковых) и фоновых уровней ряда. Данная задача, как было указано выше, актуальна для систем электромагнитного мониторинга грозовых разрядов и поиска различных источников электромагнитного излучения тектонической природы.

Для исключения указанных погрешностей метода Ирвина было разработано три варианта расчетов для разделения уровней рада, применение которых обосновано сложностью соотношений «сигнал-помеха» в реальных экспериментальных данных, например, как это показано на рис. 1, 2.

В простейшем случае, для выделения одиночных пиков положительно определенного ряда к условию Ирвина (3) добавляется условие не отрицательности разности , т.е. . Все аномальные уровни в фоновой компоненте ряда заменяются значениями по формуле параболического интерполирования:

, (5)

где члены ряда фоновой компоненты, предшествующие аномальному уровню . Так как первый член ряда может быть с аномальной амплитудой, то в начале ряда проставляются три дополнительных члена ряда с минимальной амплитудой. Результаты численного моделирования по данному алгоритму показаны на рис. 6.

Рис. 6. Выделение фоновой составляющей имитационного ряда при наличии одиночных пиковых компонент с дополнительным условием не отрицательности разности сравниваемых амплитуд последовательных членов ряда

Сравнение с результатами расчетов с применением простого алгоритма Ирвина (рис. 4) наглядно показывает необходимость введения в алгоритм дополнительного условия не отрицательности разности .

При увеличении количества аномальных уровней до 50% замена пиковых значений по формуле (5) приводит к осложнению фоновой компоненты усредненными значениями амплитуд аномальных уровней (рис. 5). В данном случае применяется алгоритм последовательного исключения аномальных уровней.

Амплитуды сигнала аномальных уровней в фоновой компоненте заменяются по формуле (5) с возвратом на начало цикла расчетов. При этом значение стандартного отклонения рассчитывается для первоначального ряда и при повторных расчетах принимается за константу.

Данный алгоритм позволяет адекватно разделять фоновую и импульсную компоненты, однако требует большего времени для расчетов, так как в массиве данных за сутки накапливается до 80000 импульсов и более, что приведет к задержке отображения результатов в реальном времени в системах автоматизированного мониторинга.

Для случаев возмущенного состояния геофизической среды (см. рис. 2) разработан алгоритм с построением вариационного ряда с возрастающими амплитудами сигнала. Для = (20-40)% от общего количества членов вариационного ряда рассчитывается стандартное отклонение и применяется метод Ирвина до появления первого аномального уровня . Максимальное значение из первых (k-1) уровней вариационного ряда принимается за граничное значение фоновой компоненты, по которому производится разделение компонент исходного ряда.

Численное моделирование с использованием данных натурного эксперимента показало, что, если в исходном ряде присутствует только две компоненты, то фоновая компонента выделяется из исходного ряда без искажений. При наличии нескольких источников ЭМИ метод чувствителен к выбору количества членов вариационного ряда для расчета . Это может привести к пропуску аномальных источников сигнала либо к выделению мнимых источников (ошибки первого и второго родов). Для исключения данных погрешностей в системе автоматического мониторинга предполагается производить расчеты с использованием различных процентных выборок из вариационного ряда для расчета и применения метода Ирвина. Адекватность модели во всех случаях проверяется по статистическим характеристикам остаточного ряда . Проведенные расчеты для двух дней с различным состоянием возмущенности геофизической среды (рис.1, 2) показали сходимость моделей фоновых компонент, выделенных по методам исключения пиков и построения вариационного ряда при = (35 - 45)%.

Рецензенты:

Омельяненко А.В., д.т.н., профессор, главный научный сотрудник лаборатории инженерной геокриологии Института мерзлотоведения им. П.И.Мельникова СО РАН, г. Якутск;

Имаев В.С., д.г.-м.н., профессор, гл. научный сотрудник Института земной коры СО РАН, г.Иркутск.

Библиографическая ссылка