Параметрические и непараметрические процедуры статистического анализа данных. Параметрические и непараметрические методы статистики

Все параметрические методы статистики работают с интервальной шкалой, в отличие от непараметрических методов, ориентированных прежде всего на первые две шкалы. Поясним отличия этих методов.

При рассмотрении большинства статистических методов предполагается, что наблюдения, о которых идет речь, выражены в интервальной шкале и являются реализациями случайной величины, распределение которой принадлежит некоторому параметрическому семейству распределений. Например, случайная величина имеет нормальное, или пуассоновское, или другое распределение. То есть, мы предполагаем, что известна форма распределения, например, мы можем предполагать нормальную N (μ, δ ) модель, но с неизвестными параметрами μ и δ . Методы оценивания и проверки гипотез позволяют делать выводы о неизвестных параметрах, при этом ценность любых заключений до некоторой степени должна зависеть от адекватности исходного предположения о параметрическом семействе, то есть о форме распределения. Однако существуют случайные величины, которые не подчиняются одной из распространенных форм распределения. Следовательно, к ним нельзя применить те математические методы, которые разработаны для параметрических распределений. Поэтому для таких признаков разработаны специальные математические модели, которые получили название непараметрических или свободных от распределения.

Таким образом, можно выделить две группы методов статистики: параметрические и непараметрические.

Преимущество параметрических методов состоит в том, что для них существует хорошо разработанный математический аппарат. Однако применение этих методов, кроме прочего, предполагает большой объем выборки. Параметрические методы используют для количественных признаков.

Для анализа номинальных и ранговых переменных используются только непараметрические методы, которые не требуют предварительных предположений относительно вида исходного распределения. В этом их достоинство. Но есть и недостаток – снижение т.н. мощности (чувствительности к различиям объектов). Поясним это.

Напомним, что прежде чем приступить к анализу результатов эксперимента, исследователь выдвигает две взаимоисключающие гипотезы. Одна из них - статистическая гипотеза, которую исследователь обычно предполагает отклонить (т.н. нулевая гипотеза Н 0 : например, изучаемые сорта не отличаются по урожайности). Альтернативная гипотеза (Н 1 ) фактически отрицает нулевую гипотезу. В альтернативной гипотезе обычно содержатся выдвигаемые исследователем предположения (есть отличия).

Выделяют два типа статистических ошибок анализа. Ошибка первого рода (ошибка α – типа): отклоняется нулевая гипотеза, которая в действительности верна. Ошибка второго рода (ошибка β – типа): принимаем нулевую гипотезу, которая в действительности ложная.

Мощностью или чувствительностью статистического критерия (метода) называется вероятность того, что в результате его применения будет принято правильное решение (Н 1 ) при действительно ложной нулевой гипотезе. Мощность критерия зависит от объема выборки, уровня значимости, направленности нулевой и альтернативной гипотез, надежности экспериментальных данных, приборов и от самого статистического метода. При равных условиях параметрические методы более мощные, чем непараметрические. Но мощность непараметрических методов возрастает с увеличением объема выборки.

Каждому типу шкалы соответствует своя статистическая техника. Для номинальных шкал часто используется критерий χ 2 (хи-квадрат). Для порядковых шкал – ранговые статистики. Для интервальных шкал – весь арсенал статистических критериев.

Алгоритмы и примеры вычисления непараметрических критериев.

Вопросы по непараметрическим критериям.

Статистический критерий – решающее правило, обеспечивающее принятие истинной и отклонение ложной гипотезы с высокой вероятностью Одновременно с этим статистический критерий – метод расчета определенного числа и само это число.

Параметрические критерии используются в случае, когда выборка является нормальной, при этом в расчет в данных критериях включены признаки вероятностного распределения признака, то есть средние и дисперсия. При этом предполагается, что данные непрерывны. К параметрическим критериям относятся: t-критерий Стьюдента, критерий хи-квадрат. Подходят для шкал интервальных отношений.

Непараметрические критерии используются, когда нельзя говорить о нормальном распределении, критерии основаны на оперировании рангами или частотами. К непараметрическим относятся критерий знаков, критерий Вилкоксона, критерий Манна-Уитни, Джонкхиер. Подходят для шкал, более слабых, чем интервальные.

Перед выбором критерия мы должны проверить выборку на нормальность.

Я понятия не имею, что написать по мерам среднего и мерам разброса, ибо судя по всему там все те же понятия дисперсии и бла бла прочего *_*

2. Методы проверки статистических гипотез: t-критерий,критерий Вилкоксона, критерий Манна-Уитни,Краскал-Уоллеса(условия применения, формулировка гипотез, распределения статистик, идея расчета)

t-критерий (Стьюдент) – применяется если выборка нормальная. Гипотезы формулируются таким образом:

1. формулируется H0

2. формулируется H1, альтернативная H0 (обычно она свидетельствует о взаимодействии признаков).

3. Выбирается статистика для выбора между двумя гипотезами

4. Для каждого уровня значимости α устанавливается критическая область, где а) попадание результата в эту область свидетельствует скорее об H1, чем об H0 б) вероятность попадания результата в эту область при H0 истинной равна α.

Вероятность допустимой ошибки первого рода α=0,05, если значение критерия по нашей выборке окажется больше t 0,05 , то мы принимает гипотезу H0, отвергаем гипотезу H1.

Для одной выборки

Для независимых выборок.

Критерий знаковых рангов Вилкоксона – рассматривает не значения чисел в выборке, а лишь их знаки. Критерий учитывает абсолютные величины членов выборки. Применяется в случае, когда выборка может не быть нормальной и когда требуется решить, имеет ли выборка существенно отличное от нуля среднее значение. Для применения требуется:

1) Установить уровень значимости α и найти соответствующий нижний квантиль Вилкоксона.

2) Расположить все члены выборки в порядке возрастания абсолютной величины, подписать под ними ранги.

3) Вычислить статистику Вилкоксона, для чего подсчитать сумму рангов, приписанных отрицательным членам выборки.

4) Сравнить полученную статистику с найденным ранее квантилем. Если эта сумма рангов меньше нижнего квантиля, мы отвергаем гипотезу H0, принимает гипотезу H1. Точно так же если сумма рангов всех положительных членов выборки больше верхнего квантиля, мы принимаем H1 и отвергаем H0.

Критерий Манна-Уитни (U) – критерий для независимых выборок, аналог t-критерия Стьюдента. Его эмпирическое значение показывает, насколько совпадают два ряда значений признака. Применяется когда выборка может не быть нормальной, сохраняется лишь требование подобия распределений, но они не обязаны быть нормальными + когда требуется решить проблему, можно ли утверждать о том. Что среднее значение экспериментальной выборки существенно выше среднего значения контрольной группы.

1) Записываем члены обеих выборок в порядке возрастания, выделяя при этом члены различных выборок по-разному.

2) Для каждого числа первой (контрольной) выборки подсчитываем, сколько чисел второй (экспериментальной) выборки расположено левее него. Если число первой выборки равно числу второй, то прибавляем 0,5. Получаем последовательной результатов и складываем ее.

3) Смотрим на выбранном нами уровне значимости нижний квантиль по Манну-Уитни. Если полученная нами сумма меньше нижнего квантиля, то отвергаем гипотезу H0, принимаем гипотезу H1.

Распределение Манна-Уитни симметрично (т.е. можно подсчитывает по обратной схеме и использовать верхнюю квантиль).

Критерий Краскал-Уоллеса – является непараметрическим аналогом однофакторного дисперсионного анализа для независимых выборок. Сходен с критерием Манна-Уитни. Оценивает степень совпадения нескольких рядов значений измененного признака. Основная идея – представление всех значений сравниваемых выборок в виде общей последовательности ранжированных значений с последующим вычислением среднего ранга для каждой из выборок.

Вычисляется после ранжирования.

N – суммарная численность всех выборок.

k – количество сравниваемых выборок.

R i – сумма рангов для конкретной выборки.

n i – численность выборки i.

Чем сильнее различаются выборки, тем больше вычислительное значение H, меньше p-уровень значимости. При отклонении нулевой статистической гипотезы принимается альтернативная о статистически достоверных различиях по данному признаку без конкретизации направления различий. (для направления необходим критерий Манна-Уитни, т.к. он для двух выборок, а этот для больше двух).

Статистические шкалы

Статистическая обработка данных исследования

Статистические данные применяются при обработке материалов психологических исследований для того, чтобы извлечь из тех количественных данных, которые получены в эксперименте, возможно больше полезной информации.

Применение тех или иных статистических методов определяется тем, к какой статистической шкале относится полученный материал.

Шкала наименований. К этой шкале относятся материалы, в которых изучаемые объекты отличаются друг от друга по их качеству, а порядок не важен. Например, распределение участников конференции. При статистической обработке таких материалов нужно считаться с тем, каким числом единиц представлен каждый объект.

Шкала порядка. Порядок следования объектов находится в центре внимания. К этой шкале в статистике относятся такие исследовательские материалы, в которых рассмотрению подлежат объекты, принадлежащие к одному или нескольким классам, но отличающиеся при сравнении одного с другим: больше – меньше, выше – ниже и т.п.

Проще всего показать типические особенности шкалы порядка, если обратиться к итогам любых спортивных соревнований. В них последовательно перечисляются участники, занявшие соответственно первое, второе, третье и прочие

по порядку места, а сведения о фактических достижениях спортсменов отходят на второй план, или отсутствуют.

Шкала интервалов. К ней относятся такие материалы, в которых дана количественная оценка изучаемого объекта в фиксированных единицах. Материалы, соответствующие шкале интервалов, должны иметь единицу измерения, которая была ба при всех повторных измерениях тождественной самой себе.

Шкала отношений. К этой шкале относятся материалы, в которых учитывается не только число фиксированных единиц, как в шкале интервалов, но и отношения полученных суммарных итогов между собой. Чтобы работать с такими отношениями, нужно иметь некую абсолютную точку, от которой и ведется отсчет.

Если данные, которыми располагает исследователь, при их внимательном рассмотрении лишь в незначительной степени расходятся с кривой нормального распределения Гаусса, то это дает право исследователю применять в статистической обработке параметрические методы, исходные положения которых основываются на нормальной кривой распределения Гаусса. Нормальное распределение называют параметрическим потому, что для построения и анализа кривой Гаусса достаточно иметь всего два параметра: среднее арифметическое, значение которого должно соответствовать высоте перпендикуляра, восстановленного в центре кривой, и так называемое среднее квадратическое, или стандартное, отклонение – величины, характеризующей размах колебаний данной кривой.

При невозможности применить параметрические методы, надлежит обратиться к непараметрическим.

Основные методы математической статистики - оценка параметров распределения, проверка статистических гипотез, дисперсионный анализ - применяются в предположении, что распределение генеральной совокупности известно. В частности, t - критерий для сравнения средних двух генеральных совокупностей и однофакторный дисперсионный анализ для сравнения средних нескольких совокупностей пригодны только в случае нормального распределения последних. Однако нередко встречаются данные, для которых эти предположения не выполняются. Например, результаты социологических опросов обычно имеют форму ответов типа "да" или "нет" и представляются в виде таблиц, содержащих частоты положительных и отрицательных ответов. Традиционные методы математической статистики не могут использоваться для обработки таких данных. В этих случаях обращаются к непараметрическим методам, т.е. методам, не зависящим от распределения генеральной совокупности.

Непараметрические методы применяются для качественных данных, представленных в номинальной шкале, данных, измеряемых в порядковой шкале (т.е. представленных в виде рангов), а также количественных данных в том случае, когда распределение генеральной совокупности нельзя определить, так как выборка мала, либо когда распределение не следует

нормальному закону и параметрические методы не применимы.

В пакете STATISTICA непараметрические

Рис .4.1. Стартовая панель модуля Nonpametrics/Distrib

процедуры выполняются в модуле

Nonpametrics/Distrib. Стартовая панель модуля приведена на рис.4.1.

Опишем последовательно соответствующие методы

и приведем примеры выполнения процедур.

В модуле Nonpametrics/Distrib содержится большое количество процедур. При решении конкретной задачи необходимо выбрать определенный метод. Помощь в таком выборе может оказать следующая классификация непараметрических методов, используемых для проверки гипотезы о том, что анализируемые данные - это выборки из однородных генеральных совокупностей. Заметим, что понятие однородности генеральных совокупностей понимается достаточно широко: это могут быть генеральные совокупности, имеющие одну и ту же

4) меры статистической зависимости: ранговый коэффициент корреляции Спирмена, коэффициент корреляции τ Кендалла.

2. Исходные данные: k независимых выборок объемами

n 1 ,n 2 , …,n k .

1) однофакторный дисперсионный анализ Краскела

Уоллиса.

2) медианный критерий.

3. Исходные данные: две связанные выборки объемами n .

Проверяемая гипотеза H 0 : выборки принадлежат однородным генеральным совокупностям.

1) критерий знаков;

2) критерий Вилкоксона.

4. Исходные данные: k связанных выборок объемамиn .

Проверяемая гипотеза H 0 : выборки принадлежат однородным генеральным совокупностям.

1) однофакторный анализ Фридмана;

2) меры связи - коэффициент конкордации Кендалла.

5. Связанные выборки, измеряемые в номинальной шкале.

5а) Исходные данные: две связанные выборки объемов n переменных X иY , каждая из которых

Метод: критерий Макнимара.

5б) Исходные данные: две связанные выборки объемов n переменных X 1 ,X 2 , ...,X k , каждая из которых принимает два значения.

Проверяемая гипотеза H 0 : эффект воздействия отсутствует.

Метод : критерий Кокрена.

6. Независимые выборки, измеряемые в номинальной шкале.

6а) Исходные данные: выборки двух случайных переменных

X и Y , каждая из которых принимает два значения.

Проверяемая гипотеза H 0 :X иY независимы.Метод: анализ таблицы сопряженности2× 2

(точный критерий Фишера, критерий χ 2 ).

6б) Исходные данные: выборки k случайных переменных, каждая из которых принимаетr значений.

Проверяемая гипотеза H 0 : выборки получены из одной генеральной совокупности.

Метод: анализ таблицы сопряженностиk × r (критерийχ 2 ). Анализ таких таблиц проводится в

4.1. Таблицы сопряженности 2 × 2, статистикиχ 2 , φ, критерий Макнимара, точный критерий Фишера (2× 2 Tables

Xi/Vi/Phi, McNemar, Fisher exact)

В таблице сопряженности 2× 2 записываются частоты для двух случайных переменныхX иY , каждая из которых принимает два значения: 0 и 1, "да" и "нет" и т.д.

Пример 4.1. Чтобы определить отношение телезрителей разного пола к телевизионной передаче опросили 60 человек: 35 мужчин и 25 женщин. Оказалось, что 25 мужчин одобряют, а 10 - не одобряют передачу. В то же время 16 женщин высказывают свое отрицательное отношение к передаче, а 9 - положительное.

Выяснить, зависит ли отношение к передаче от пола телезрителей.

Решение. Данные можно записать в виде таблицы сопряженности2× 2 :

Формально задача состоит в определении независимости двух рассматриваемых признаков X (пол) иY (отношение к передаче) или в проверке нулевой гипотезыH 0 : отношение к передаче не зависит

от пола при альтернативной гипотезе Н 1 : отношение к

передаче зависит от пола.

Эквивалентная формулировка такова. Рассмотрим две выборки: 35 мужчин и 25 женщин. Проверяется нулевая гипотеза H 0 : доля мужчин, одобряющих передачу (р 1 ), равна доле женщин, одобряющих

передачу (р 2 ), при альтернативной гипотезеН 1 : доли

мужчин и женщин, одобряющих передачу не равны. Нулевая гипотеза есть гипотеза о равенстве параметров р 1 ир 2 двух генеральных совокупностей, имеющих

биноминальное распределение.

Для проверки гипотезы H 0 применяется критерий Фишера , позволяющий рассчитать точные значения вероятностей наблюдаемых результатов и результатов с более крайними распределениями (см. , с. 345). Односторонние (one-tailed ) и двусторонние (twotailed ) уровни значимости p для критерия Фишера ( Fisher exact p ) вычисляются и приводятся в таблице результатов выполнения процедуры для таблицы сопряженности 2× 2.

При объеме выборки n ³ 30 менее трудоемкой процедурой являетсякритерий χ 2 . Чтобы пояснить

необходимые расчеты, запишем таблицу сопряженности 2× 2 в следующем виде:

В рассматриваемом примере эта таблица имеет вид:

наблюдаемыми частотами a ,b ,c ,d и ожидаемыми частотамиa 0 , b 0 , c 0 , d 0 , вычисляемыми при условии, что гипотезаH 0 верна:

a 0 =(a + b ) (a + c ) =35 × 34 »19,83; n 60

b 0 = (a+ b) n (b+ d) = 35 60 × 26 » 15,17;

c 0 = (c + d ) (a + c ) = 25 × 34 » 14,17; n60

d 0 = (c+ d) n (b+ d) = 25 60 × 26 » 10,83.

Выборочное значение статистики c в 2 вычисляется по формуле:

При n → ∞ статистикаc в 2 имеет распределениеc 2 с одной степенью свободы. Если ожидаемые частоты≤ 5 , то выборочное значение статистикиc в 2 вычисляют с поправкой Йетса на непрерывность:

отношение к передаче зависит от пола.

Эти же результаты получим, введя данные в соответствующую процедуру пакета STATISTICA. Таблица результатов приведена на рис.4.2.

Рис .4.2. Результаты процедуры2× 2 Tables…

Р -значения для статистикиχ 2 , статистикиχ 2 ,

скорректированной по Йетсу, и точного критерия Фишера для двусторонней проверки соответственно равны 0,0063; 0,0137 и 0,0087. Таким образом, на уровне значимости α = 0,05 гипотеза H 0 отклоняется. В таблице результатов приводится мера связи между переменными

X и Y - коэффициент фи- квадрат (средний коэффициент сопряженности):

ϕ2 =χ в 2 = 0,124. n

Значение ϕ 2 изменяется от 0 (между переменными

нет зависимости) до 1 (между переменными имеется абсолютная зависимость, т.е. все частоты расположены на диагонали таблицы 2× 2 ).

Критерий значимости изменений Макнимара

применяется, если исходные данные - две связанные выборки. Над одним и тем же объектом или индивидуумом проводятся два наблюдения: одно до, другое после некоторого воздействия (приема лекарства, обучения, рекламной компании и т.д.).

2.1. Основные понятия

Параметрические методы обработки экспериментальных данных опираются на основополагающий факт, в соответствии с которым свойства результатов экспериментальных исследований, рассматриваемых как случайные объекты, описываются некоторым законом распределения. При этом предполагается, что анализ экспериментальных данных позволяет с достаточной степенью точности определить вид и конкретную форму закона распределения или значения его параметров, если нет необходимости в использовании самого закона. Такая информация даёт возможность в полном объёме использовать методы теории вероятностей для решения задач обработки.

Так как действительный закон распределения и значения его параметров неизвестны, то параметрические методы оперируют с их приближениями – статистическими законами распределения и оценками параметров распределения.

Статистическим законом распределения случайной величины называется закон распределения данной величины, установленный с помощью статистических методов обработки данных.

Статистический закон распределения может быть определён в виде статистической функции распределения , статистической плотности распределения или статистического ряда распределения P * (x i ), .

Статистическими оценками параметров закона распределения случайной величины называются приближённые значения данных параметров (статистики), полученные с помощью статистических методов обработки данных.

В дальнейшем статистические оценки для краткости называются просто оценками.

Если некоторый закон распределения характеризуется параметрами a 1 , a 2 ,…, a m , то их оценки будем обозначать в виде , ,…,. Наиболее распространёнными видами параметров законов распределения при обработке экспериментальных данных являются математическое ожидание , дисперсия или среднее квадратическое отклонение , а для системы случайных величин – корреляционный момент или коэффициент корреляции . Иногда используются центральные моменты третьего и четвёртого порядков. Соответственно при обработке данных используются их статистические аналоги – оценки математического ожидания, корреляционного момента и т.д.

Таким образом, если имеется совокупность экспериментальных данных x 1 , x 2 ,…, x n , то и статистический закон распределения, например функция , и оценки его параметров представляют собой некоторые функции этих данных:

, . (2.1.2)

Вид статистик y и f j определяет качество оценок и . В связи с этим возникает ряд проблем, основной из которых является проблема определения условий, при которых оценки (2.1.1) и (2.1.2) могут с требуемой достоверностью представлять теоретические законы распределения и их параметры. Эти условия формируются предельными теоремами теории вероятностей. Именно они служат тем фундаментом параметрических методов обработки экспериментальных данных, на основе которого могут быть получены подходящие оценки законов и параметров распределения наблюдаемых характеристик.

Вторая проблема состоит в выборе достаточной статистики , т.е. такой статистики, которая позволяет в конкретных условиях получать оценки заданного качества. Так как на основе результатов наблюдений x 1 , x 2 ,…, x n может быть образован большой спектр статистик (2.1.1) и (2.1.2), данная проблема сводится к выбору из них оптимальной в определённом смысле статистики. Решение проблемы осуществляется методами теории статистических решений.

Как видно из рис.1.1, к проблеме принятия решений при обработке экспериментальных данных сводится не только задача выбора достаточной статистики. Большинство задач обработки данных в разной степени может быть отнесено к задачам принятия решений. В связи с этим фундаментом параметрических методов обработки служат также принципы принятия статистических решений, на основе которых сформированы критерии принятия оптимальных в определённом смысле решений. Особую роль среди данных принципов играет принцип максимального правдоподобия и вытекающий из него для случая нормального закона распределения метод наименьших квадратов.

В настоящей брошюре рассматриваются вопросы параметрической обработки экспериментальных данных.

2.2. Предельные теоремы теории вероятностей

Использование параметрических методов обработки данных предполагает выявление условий, определяющих справедливость априорных предположений о виде закона распределения исследуемой случайной величины и свойствах его параметров. Эти условия формулируются в виде предельных теорем теории вероятностей. Ниже излагаются содержание и сущность теорем без доказательства, а также некоторые рекомендации по их практическому применению.