Условный экстремум метод неопределенных множителей лагранжа. Метод множителей Лагранжа
Мультиколлинеарность
Одним из условий классической линейной регрессионной модели является предположение о линейной независимости объясняющих переменных, что означает линейную независимость столбцов матрицы или (эквивалентно), что матрица не вырождена. При нарушении этого условия, т.е. когда один из столбцов матрицы есть линейная комбинация остальных столбцов, говорят, что имеет место полная коллинеарность. В этой ситуации нельзя построить МНК-оценку вектора параметров , поскольку 
.
На практике полная коллинеарность встречается исключительно редко. Гораздо чаще приходится сталкиваться с ситуацией, когда матрица имеет полный ранг, но между регрессорами имеется высокая степень корреляции, что приводит к тому, что матрица близка к вырожденной. Тогда говорят о наличии мультиколлинеарности. В этом случае МНК-оценка существует, но обладает «плохими» свойствами.
Мультиколлинеарность может возникнуть в силу разных причин. Например, несколько независимых переменных могут иметь общий временной тренд, относительно которого они совершают малые колебания.
Признаки мультиколлинеарности:
1) Небольшое изменение исходных данных (например, добавление новых наблюдений) приводит к существенному изменению оценок коэффициентов регрессии.
2) Оценки имеют большие стандартные ошибки (и, следовательно, большие доверительные интервалы), малую значимость (т.е. малые t
-статистики 
) в то время как модель в целом является значимой (т.е. высокое значение коэффициента детерминации и соответствующей F
-статистики 
)
3) Оценки коэффициентов имеют неоправданные с точки зрения теории знаки или неоправданно большие значения.
4) Парная корреляция между малозначимыми объясняющими переменными достаточно высока.
5) Высокие частные коэффициенты корреляции.
Напомним, что выборочный коэффициент (парной) корреляции между переменными и находится по формуле:
(1)
Выборочный частный коэффициент корреляции находится следующим образом.
Пусть даны переменные , .
Обозначим .
Пусть , .
Построим регрессии и на :
(2)
(3)
Найдем остатки для этих регрессий:
Частный коэффициент корреляции между и без учета влияния переменных – это коэффициент парной корреляции между остатками и :
Таким образом, коэффициент частной корреляции позволяет исключить влияние других факторов на взаимосвязь между рассматриваемыми переменными.
Например, 
равен коэффициенту парной корреляции между остатками и следующих регрессий:
(6)
(7)
Последствия мультиколлинеарности
1) Большие стандартные ошибки затрудняют нахождение истинных значений определяемых величин и расширяют их интервальные оценки, ухудшая их точность.
2) Ухудшается качество прогноза.
3) Малые t -статистики коэффициентов могут привести к неоправданному выводу о их малой значимости, т.е. о слабом влиянии соответствующей объясняющей переменной на зависимую переменную.
4) Оценки коэффициентов и их стандартные ошибки становятся очень чувствительными к малейшим изменениям данных, т.е. они становятся неустойчивыми.
Методы устранения мультиколлинеарности
1) Исключение переменных из модели. Исключается из модели одна или несколько коррелированных объясняющих переменных. Например, можно последовательно исключать из модели объясняющие переменные с наименьшими незначащими t -статистиками коэффициентов регрессии (причем после каждого исключения из модели объясняющей переменной следует производить пересчет t -статистик для оставшихся объясняющих переменных).
2) Можно использовать описанный в предыдущей теме алгоритм оптимального отбора объясняющих переменных, основанный на использовании скорректированного коэффициента детерминации .
3) Получение дополнительных данных или новой выборки
4) Изменение спецификации модели
5) Преобразование переменных.
Например, вместо переменной можно включить в модель переменную .
Гетероскедастичность и автокорреляция остатков
Гетероскедастичность означает, что дисперсии случайных отклонений зависят от , т.е. нарушается гипотеза классической модели о постоянстве этих дисперсий.
Автокорреляция остатков означает, что ковариации не равны нулю при разных значениях и .
Суть и причины гетероскедастичности
Гетероскедастичность означает, что зависит от номера наблюдения . Обычно эта зависимость возникает вследствие зависимости от . Например, если – уровень дохода семьи, а – ее потребление, естественно ожидать что для семей с высоким доходом разброс в их потреблении больше, чем для семей с низким доходом.
Проблема гетероскедастичности характерна для перекрестных данных и довольно редко встречается при рассмотрении временных рядов.
Последствия гетероскедастичности
1) Оценки коэффициентов регрессии, оставаясь линейными и несмещенными, перестают быть эффективными, что (в частности) ухудшает прогноз.
2) Дисперсии и ковариации оценок являются смещенными. Это приводит к искажению значений статистик Стъюдента и Фишера, что негативным образом сказывается на результаты проверки гипотез и построении интервальных оценок.
Обнаружение гетероскедастичности
Графический анализ остатков.
По оси абсцисс откладываются либо номера наблюдений , либо значения объясняющей переменной , либо линейная комбинация объясняющих переменных, либо прогнозные значения объясняемой переменной. По оси ординат – либо отклонения , либо их квадраты . При наличии гетероскедастичности можно визуально заметить зависимость значений от .
Тест Уайта (White)
Сначала к исходной модели применяется обычный метод наименьших квадратов и находятся остатки регрессии , . Затем осуществляется регрессия квадратов этих остатков на все регрессоры исходной модели, их квадраты , попарные произведения и константу (если ее не было в составе исходных регрессоров). Для этой регрессии находится коэффициент детерминации . Тогда при выполнении нулевой гипотезы о постоянстве дисперсий случайных отклонений величина:
асимптотически (т.е. при большом количестве наблюдений ) имеет распределение , где – число регрессоров второй регрессии.
Напомним, что распределение «хи квадрат» с степенями свободы – это распределение следующей случайной величины:
где – независимые стандартные нормальные случайные величины.
Следовательно, при выполнении нулевой гипотезы имеет место равенство:
где – -квантиль распределения «хи квадрат» с степенями свободы.
В случае, если 
нулевая гипотеза отвергается (и, следовательно, можно сделать вывод о наличии гетероскедастичности); если 
, нет оснований отвергать нулевую гипотезу (и, она принимается).
Тест ранговой корреляции Спирмана
Этот тест применяется, когда есть предположение о прямой зависимости дисперсии ошибки от величины некоторой независимой переменной. Значения такой независимой переменной и абсолютные величины отклонений ранжируются (упорядочиваются по величинам). Затем определяется коэффициент ранговой корреляции:
, (11)
где – разность между рангами и . (Например, если при значение является 25-м по величине среди всех наблюдений , а является 32-м, то 
.)
Доказано, что если коэффициент корреляции равен нулю, то статистика:
(12)
имеет распределение Стъюдента с числом степеней свободы . Следовательно, если
(13)
(где двусторонняя квантиль распределения Стъюдента с степенями свободы при уровне значимости ), то нулевая гипотеза о равенстве нулю коэффициента корреляции отклоняется, и, следовательно, можно сделать вывод о присутствии гетероскедастичности.
Тест Голфельда-Куандта (Goldfeld-Quandt)
Этот тест также применяется, когда есть предположение о прямой зависимости дисперсии ошибки от величины некоторой независимой переменной.
1) упорядочить данные по убыванию той независимой переменной, относительно которой есть подозрение на гетероскедастичность;
2) исключить средних (в этом упорядочении) наблюдений ( должно быть примерно равно четверти общего количества наблюдений);
3) провести две независимые регрессии первых наблюдений и последних наблюдений и построить соответствующие остатки и ;
4) составить статистику 
.
Если верна нулевая гипотеза (8) о постоянстве дисперсий случайных отклонений, то построенная статистика имеет распределение Фишера с 
степенями свободы.
В случае, если 
нулевая гипотеза отвергается и, следовательно, можно сделать вывод о присутствии гетероскедастичности; если 
, нет оснований отвергать нулевую гипотезу.
Суть и причины автокорреляции
Автокорреляция остатков (отклонений) в подавляющем большинстве случаев встречается в регрессионном анализе при использовании данных временных рядов. В экономических задачах значительно чаще встречается положительная автокорреляция (т.е. когда 
), нежели отрицательная.
Автокорреляция в остатках обычно встречается при регрессионном анализе временных рядов, и почти не встречается при анализе пространственных выборок. Чаще встречается положительная автокорреляция. Она в большинстве случаев вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов. При положительной автокорреляции остатки изменяются монотонно с течением времени наблюдения, а при отрицательной - следует частое изменение знака остатка.
Среди основных причин автокорреляции можно выделить следующие:
а) ошибки спецификации - неучет в модели какой-то важной объясняющей переменной или неверный выбор вида функции, что ведет к систематическим отклонениям точек наблюдения от линии регрессии,
б) инерция - запаздывание реакции экономической системы на изменение факторов,
в) сглаживание данных.
Последствия автокорреляции в остатках такие же, как и в случае гетероскедастичности (потеря эффективности, смещение дисперсий оценок параметров, занижение стандартных ошибок и завышение t -статистик параметров), а это может повлечь признание незначимых факторов значимыми. Вследствие перечисленных обстоятельств, прогнозные качества модели ухудшаются.
При анализе временных рядов вместо индекса i часто будем использовать время t , а вместо числа наблюдений n будем писать - продолжительность интервала наблюдения временного ряда.
Мы будем рассматривать автокорреляцию первого порядка, так как в большинстве практических случаев автокорреляционная функция быстро убывает.
Коэффициент автокорреляции 1-го порядка в остатках:
Если этот коэффициент корреляции существенно отличен от 0, то можно говорить о наличии автокорреляции.
Обнаружение автокорреляции в остатках
1. Графический метод - при использовании этого метода строится график: ε t есть функция от ε t - 1 . Если в графике прослеживается отчетливая положительная или отрицательная тенденция, то, скорее всего, имеет место соответствующая автокорреляция в остатках.
2. Метод рядов
В моменты времени 
определяются знаки отклонений, например:
- для 20-ти наблюдений.
Рядом называют непрерывную последовательность одинаковых знаков (ряд ограничен скобками, в примере приведено 5 рядов). Количество знаков называют длиной ряда. Если рядов мало по сравнению с числом наблюдений, то вполне вероятна положительная автокорреляция, если рядов много, - то отрицательная.
Для более детального анализа используется следующая процедура:
Пусть - число знаков «+»,
Число знаков «-»,
Количество рядов.
При достаточном количестве наблюдений и при отсутствии автокорреляции в остатках случайная величина имеет асимптотически нормальное распределение со следующими параметрами:
Тогда, если k лежит внутри интервала
то гипотеза об отсутствии автокорреляции не отклоняется; если лежит левее данного интервала, то есть положительная автокорреляция, а если правее - то отрицательная автокорреляция. Здесь γ - уровень значимости гипотезы об отсутствии автокорреляции. Для небольших и существует таблица Сведа-Эйзенхарта, в которой по значениям и находятся и .
Если k 1 < k < k 2 , то автокорреляция отсутствует, если k < k 1 - есть положительная автокорреляция, если k > k 2 - есть отрицательная автокорреляция.
учитывая, что и 
, получим:
Процедура обнаружения автокорреляции по критерию DW такова:
1. Вычисляется критерий DW , для чего должна быть выполнена регрессия y на x и определены остатки. Затем выдвигается гипотеза об отсутствии автокорреляции в остатках.
2. По таблице критических значений теста Дарбина-Уотсона для назначенного уровня значимости γ
, числа наблюдений n
и числа факторов p
определяются верхняя du
и нижняя dl
критические точки 
3. Строятся области: I-от 0 до dl ; II-от dl до du; III-от du до 4-du ; IV- от 4-ul до 4-dl и V-от 4-dl до 4.
Это поясняется табл. 9.1.
таблица 9.1
При использовании критерия следует учитывать следующие ограничения:
а) он применим лишь для модели с ненулевым свободным членом,
в) временной ряд должен иметь одинаковую периодичность, то есть не должно быть пропусков наблюдений,
Поясним это:
где - коэффициент авторегрессии, - количество наблюдений, - дисперсия коэффициента c
1 в уравнении авторегрессии y t = a + bx t + c
1 y
t -
1 +…+ ε t
, c
1 - коэффициент при в упомянутом уравнении.
Как использовать h- статистику?
Для назначенного уровня значимости γ выдвигают гипотезу об отсутствии автокорреляции в остатках, т.е. полагают, что в модели AR(1) остатков и статистика h имеет стандартное нормальное распределение: .
По таблице функции Лапласа 
определяют критическую точку такую, что 
. Если , то отклоняется. В противном случае не отклоняется и автокорреляция не признается.
Методы устранения автокорреляции
1. Обобщенный МНК (ОМНК)
Рассмотрим исходную модель в моменты времени t
и t
-1: 
Есть случайная величина, так как и - случайные величины,
Так как и .
Остаток не коррелирует ни с одним регрессором, следовательно, можно применить классический МНК. Оценка параметра b вычисляется непосредственно, а оценка параметра a вычисляется так: .
ОМНК может применяться для данных, начиная с момента , т.е. первое наблюдение теряется; его можно восстановить для и , используя поправку Прайса-Уинстена:
Если наше предположение о том, что остатки описанные - моделью первого порядка соответствуют действительности, то можно показать, что .
Автокорреляция остатков
Важной предпосылкой построения качественной регрессионной модели по МНК является независимость значений случайных отклонений от значений отклонений во всех других наблюдениях. Отсутствие зависимости гарантирует отсутствие коррелированности между любыми отклонениями, т.е. 
и, в частности, между соседними отклонениями 
.
Автокорреляция
(последовательная корреляция
) остатков
определяется как корреляция между соседними значениями случайных отклонений во времени (временные ряды) или в пространстве (перекрестные данные). Она обычно встречается во временных рядах и очень редко – в пространственных данных. В экономических задачах значительно чаще встречается положительная автокорреляция 
, чем отрицательная автокорреляция 
.
Чаще всего положительная автокорреляция вызывается направленным постоянным воздействием некоторых не учтенных в регрессии факторов. Например, при исследовании спроса у на прохладительные напитки в зависимости от дохода х на трендовую зависимость накладываются изменения спроса в летние и зимние периоды. Аналогичная картина может иметь место в макроэкономическом анализе с учетом циклов деловой активности.
Применение МНК к данным, имеющим автокорреляцию в остатках, приводит к таким последствиям:
1. Оценки параметров, оставаясь линейными и несмещенными, перестают быть эффективными. Они перестают быть наилучшими линейными несмещенными оценками.
2. Дисперсии оценок являются смещенными. Часто дисперсии, вычисляемые по стандартным формулам, являются заниженными, что влечет за собой увеличение t – статистик. Это может привести к признанию статистически значимыми факторов, которые в действительности таковыми не являются.
3. Оценка дисперсии регрессии является смещенной оценкой истинного значения σ 2 , во многих случаях занижая его.
4. Выводы по t – и F – статистикам, возможно, будут неверными, что ухудшает прогнозные качества модели.
Для обнаружения автокорреляции используют либо графический метод, либо статистические тесты. Рассмотрим два наиболее популярных теста.
Метод рядов . По этому методу последовательно определяются знаки отклонений от регрессионной зависимости. Например, имеем при 20 наблюдениях
(-----)(+++++++)(---)(++++)(-)
Ряд определяется как непрерывная последовательность одинаковых знаков. Количество знаков в ряду называется длиной ряда . Если рядов слишком мало по сравнению с количеством наблюдений n , то вполне вероятна положительная автокорреляция. Если же рядов слишком много, то вероятна отрицательная автокорреляция.
Пусть n – объём выборки, n 1 – общее количество положительных отклонений; n 2 – общее количество отрицательных отклонений; k – количество рядов. В приведенном примере n =20, n 1 =11, n 2 =5.
При достаточно большом количестве наблюдений (n 1 >10, n 2 >10) и отсутствии автокорреляции СВ k имеет асимптотически нормальное распределение, в котором
Тогда, если
то гипотеза об отсутствии автокорреляции не отклоняется. Если , то констатируется положительная автокорреляция; в случае признается наличие отрицательной автокорреляции.
Для небольшого числа наблюдений (n 1
<20, n 2
<20) были разработаны таблицы критических значений количества рядов при n
наблюдениях. В одной таблице в зависимости от n 1
и n 2
определяется нижняя граница k 1
количества рядов, в другой – верхняя граница k 2
. Если k 1
Критерий Дарбина-Уотсона . Это наиболее известный критерий обнаружения автокорреляции первого порядка. Статистика DW Дарбина-Уотсона приводится во всех специальных компьютерных программах как одна из важнейших характеристик качества регрессионной модели.
Сначала по построенному эмпирическому уравнению регрессии определяются значения отклонений 
. Рассчитывается статистика
- положительная автокорреляция;
- зона неопределенности;
- автокорреляция отсутствует;
Зона неопределенности;
- отрицательная автокорреляция.
Можно показать, что статистика DW тесно связана с коэффициентом автокорреляции первого порядка:
Связь выражается формулой:
Отсюда вытекает смысл статистического анализа автокорреляции. Поскольку значения r изменяются от –1 до +1, DW изменяется от 0 до 4. Когда автокорреляция отсутствует, коэффициент автокорреляции равен нулю, и статистика DW равна 2. DW =0 соответствует положительной автокорреляции, когда выражение в скобках равно нулю (r =1). При отрицательной автокорреляции (r =-1) DW =4, и выражение в скобках равна двум.
Ограничения критерия Дарбина – Уотсона:
1. Критерий DW применяется лишь для тех моделей, которые содержат свободный член.
2. Предполагается, что случайные отклонения определяются по итерационной схеме
(1)
3. Статистические данные должны иметь одинаковую периодичность (не должно быть пропусков в наблюдениях).
4. Критерий Дарбина – Уотсона не применим к авторегрессионным моделям вида:
,
где - оценка коэффициента автокорреляции первого порядка (66), D(c) – выборочная дисперсия коэффициента при лаговой переменной y t -1 , n – число наблюдений.
При большом n и справедливости нуль – гипотезы H 0: ρ=0 h~N(0,1) . Поэтому при заданном уровне значимости определяется критическая точка из условия
,
и h- статистика сравнивается с u α /2 . Если |h |>u α /2 , то нуль – гипотеза об отсутствии автокорреляции должна быть отклонена. В противном случае она не отклоняется.
Обычно значение рассчитывается по формуле 
, а D(c)
равна квадрату стандартной ошибки m c
оценки коэффициента с
. Cледует отметить, что вычисление h
– статистики невозможно при nD(c)>
1.
Автокорреляция чаще всего вызывается неправильной спецификацией модели. Поэтому следует попытаться скорректировать саму модель, в частности, ввести какой – нибудь неучтенный фактор или изменить форму модели (например, с линейной на полулогарифмическую или гиперболическую). Если все эти способы не помогают и автокорреляция вызвана какими – то внутренними свойствами ряда {e t }, можно воспользоваться преобразованием, которое называется авторегрессионной схемой первого порядка AR(1 ).
Рассмотрим AR(1) на примере парной регрессии.
3 Проверка автокорреляции остатков
При наличии автокорреляции в остатках et оценки коэффициентов регрессии модели, полученные МНК, не будут иметь оптимальные статистические свойства (стандартная ошибка уравнения регрессии и построенные на ее основе доверительные интервалы ненадежны). Автокорреляция в остатках свидетельствует о неудачном подборе модели, о ее несовершенстве. Классические методы математической статистики лишь тогда применимы, когда отдельные члены статистического ряда независимы (некоррелированы). Но и при предпосылке нормального распределения и отсутствия автокорреляции в генеральной совокупности, из которой временной ряд взят, нельзя, к сожалению, разработать точной проверки автокорреляции при малых выборках. Ниже рассмотрены три приема проверки автокорреляции.
1. Один из возможных путей приближенной оценки автокорреляции основывается на использовании первого эмпирического нециклического коэффициента автокорреляции . К сожалению, распределение этого коэффициента для выборок из нормально распределенной, не автокоррелированной генеральной совокупности неизвестно. Поэтому мы пользуемся введенным Р.Л. Андерсоном циклическим коэффициентом автокорреляции, который определяется следующим образом:
(4.14)
Циклическим коэффициентом автокорреляции для сдвига является коэффициент автокорреляции между рядами и . При этом мы предполагаем, что временной ряд повторяется, т.е. что за последним членом xn
снова следуют члены x1,x2,...
Для циклический коэффициент автокорреляции первого порядка будет коэффициентом корреляции между рядами 
и x2
,x3
,...,xn
, x1
. Для больших выборок циклический коэффициент автокорреляции и нециклический коэффициент автокорреляции практически совпадают, для малых выборок их равенство приблизительно. Расчетное значение сравнивается при данной численности наблюдений n
с граничными значениями (табл. П.5 Приложения). При положительной автокорреляции оно признается существенным для , если выполняется неравенство > , в противном случае, если , она отсутствует. При отрицательной автокорреляции оно признается существенным, если < , а несущественной - при . Изложенный выше метод может быть использован и для проверки автокорреляции остатков . В последнем случае автокорреляционная функция принимает более простой вид:
(4.15)
2. Для проверки значимости автокорреляции чаще всего используют критерий Дарбина-Уотсона (иногда его обозначают DW). Построенный на основе гипотезы о существовании автокорреляции первого порядка: 
(4.16)
Где n
- длина временного ряда. Величина d
имеет симметрическое распределение со средней, равный 2. При отсутствии автокорреляции значение , при полной положительной - d=0
, при полной отрицательной - d=4
.
Расчетное значение d
сравнивают с граничными его значениями dL
и dU
, при этом возможны следующие случаи:
Таблица 4.3
Значение d |
Суждение |
0 £ d < dL |
имеется положительная автокорреляция |
|
неопределенность |
Значения dL и dU табулированы (табл. П.7 Приложения) для значений n в интервале 7-100. В этой таблице v означает число независимых переменных в уравнении регрессии. Для функции вида xt =x (t) , v=1 .
3. Иногда вместо статистики Дарбина-Уотсона используется средняя Неймана Q:
(4.17)
(4.18)
(4.19)
Если вычисленное по формуле (4.17) значение Q
меньше некоторого критического для данного числа наблюдений n
значения (для ), то мы говорим о положительной автокорреляции остатков, если больше значения - то об отрицательной автокорреляции. Эти значения приводятся в табл. П.8 Приложения.
Пример 20.
Проверим наличие автокорреляции остатков, полученных в результате моделирования временного ряда примера 1 (см. пример 18).
Прием 1.
(через циклический коэффициент автокорреляции).
Первый эмпирический нециклический коэффициент автокорреляции рассчитываем по следующим данным:
1 9 |
12,051 8,541 |
Определение автокорреляции Автокорреляция (последовательная корреляция) – это корреляция между наблюдаемыми показателями во времени (временные ряды) или в пространстве (перекрестные данные). Автокорреляция остатков характеризуется тем, что не выполняется предпосылка 3 0 использования МНК:
Причины чистой автокорреляции 1. Инерция. Трансформация, изменение многих экономических показателей обладает инерционностью. 2. Эффект паутины. Многие экономические показатели реагируют на изменение экономических условий с запаздыванием (временным лагом) 3. Сглаживание данных. Усреднение данных по некоторому продолжительному интервалу времени.
Пример влияния автокорреляции на случайную выборку Рассмотрим выборку из 50 независимых нормально распределенных с нулевым средним значений i. С целью ознакомления с влиянием автокорреляции будем вводить в нее положительную, а затем отрицательную автокорреляцию.
Dependent Variable: LGHOUS Method: Least Squares Sample: Included observations: 45 ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) ============================================================ АВТОКОРРЕЛЯЦИЯ ПРИМЕР Зависимость расходов на жилье от располагаемого дохода и индекса цен на жилье
Последствия автокорреляции 1. Истинная автокорреляция не приводит к смещению оценок регрессии, но оценки перестают быть эффективными. 2. Автокорреляция (особенно положительная) часто приводит к уменьшению стандартных ошибок коэффициентов, что влечет за собой увеличение t-статистик. 3. Оценка дисперсии остатков S e 2 является смещенной оценкой истинного значения e 2, во многих случаях занижая его. 4. В силу вышесказанного выводы по оценке качества коэффициентов и модели в целом, возможно, будут неверными. Это приводит к ухудшению прогнозных качеств модели.
Автокорреляционная функция AutocorrelationPartial CorrelationAC PAC Q-Stat Prob. |*******. |******* |******|. |. | |******|. |. | |***** |. |. | |***** |. |. | |**** |. |. | |**** |. |. | |*** |. |. | |*** |. |. | |*** |. |. | |** |. |. | |** |. |. | |*. |. |. | |*. |. |. | |. |. |. | |. |. |. | |. |. |. | *|. |. |. | *|. |. |. | *|. |. |. |
Dependent Variable: LGHOUS Method: Least Squares Sample: Included observations: 45 ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) ============================================================ 3 Расходы на жилье в зависимости от доходов и реальных цен
14 Противоположный эффект в 1960 to Расходы на жилье в зависимости от доходов и реальных цен
Критерий знаков Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Приписать каждому остатку знак (+/-) 3.Построить ряд знаков При истинности гипотезы ряд должен носить случайный характер распределения 4.Подсчитать общее количество серий (последовательностей постоянного знака) - (n) 5.Подсчитать длину самой длинной серии - (n) 6.Сравнить полученные значения с критическими
Критерий знаков Проверяемая гипотеза: H0: автокорреляция отсутствует Приблизительный критерий проверки гипотезы на уровне значимости 2,5% 5,0% : При истинности гипотезы должна выполняться система неравенств: подробности см. в учебнике Айвазян, Мхитарян «Прикладная статистика и основы эконометрики»
Критерий восходящих и нисходящих серий Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Вычислить разницу между соседними остатками, t =e t+1 -e t 3.Приписать каждой разнице у знак (+/-) 4.Построить ряд знаков При отсутствии автокорреляции ряд должен носить случайный характер 5.Подсчитать общее количество серий (последовательностей постоянного знака) - (n) 6.Подсчитать длину самой длинной серии - (n) 7.Сравнить полученные значения с критическими
Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Вычислить следующие статистики: 3.Сравнить полученные значения (n) с критическим – при нулевой гипотезе (n)> * При n> * При n>60 кр"> * При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):"> * При n>60 кр" title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Вычислить следующие статистики: 3.Сравнить полученные значения (n) с критическим – при нулевой гипотезе (n)> * При n>60 кр"> title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Вычислить следующие статистики: 3.Сравнить полученные значения (n) с критическим – при нулевой гипотезе (n)> * При n>60 кр">
60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):" title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует 3.Сравнить полученные значения с критическими При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):" class="link_thumb"> 56 Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует 3.Сравнить полученные значения с критическими При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона): 60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):"> 60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):"> 60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):" title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует 3.Сравнить полученные значения с критическими При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):"> title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует 3.Сравнить полученные значения с критическими При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):">
Тест Дарбина-Уотсона. Ограничения Ограничения: 1. Тест не предназначен для обнаружения других видов автокорреляции (более чем первого) и не обнаруживает ее. 2. В модели должен присутствовать свободный член. 3. Данные должны иметь одинаковую периодичность (недолжно быть пропусков в наблюдениях). 4. Тест не применим к авторегрессионным моделям, содержащих в качестве объясняющей переменной зависимую переменную с единичным лагом:
Критические точки распределения Дарбина-Уотсона Для более точного определения, какое значение DW свидетельствует об отсутствии автокорреляции, а какое – о ее наличии, построена таблица критических точек распределения Дарбина-Уотсона. По этой таблице для заданного уровня значимости, числа наблюдений n и количества объясняющих переменных m определяются два значения: d l – нижняя граница, d u – верхняя граница
Расположение критических точек распределения Дарбина-Уотсона При положительной корреляции: При отрицательной корреляции: При отсутствии корреляции: 24 0 dLdL dUdU d crit Положительная автокорреляция Отрицательная автокорреляция Отсутствие автокорреляции d crit 4-d L 4-d U
Dependent Variable: LGHOUS Method: Least Squares Sample: Included observations: 45 ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) ============================================================ Как и следовало ожидать- имеем положительную автокорреляцию остатков ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ ПРОЦЕССА AR(1) dLdL dUdU (n = 45, k = 3, 1% level)
Устранение автокорреляции первого порядка. Обобщения Рассмотренное авторегрессионное преобразование может быть обобщено на: 1) Произвольное число объясняющих переменных 2) Преобразования более высоких порядков AR(2), AR(3) и т.д.: Однако на практике значения коэффициента автокорреляции обычно неизвестны и его необходимо оценить. Существует несколько методов оценивания.
Итеративная процедура Кохрейна-Оркатта (на примере парной регрессии) 1. Определение уравнения регрессии и вектора остатков: 2. В качестве приближенного значения берется его МНК-оценка: 3. Для найденного * оцениваются коэффициенты 0 1: 4. Подставляем в (*) и вычисляем Возвращаемся к этапу 2. Критерий остановки: разность между текущей и предыдущей оценками * стала меньще заданной точности.
Итеративная процедура Хилдрета-Лу (поиск по сетке) 1. Определение уравнения регрессии и вектора остатков: 2. Оцениваем регрессию для каждого возможного значения [ 1,1] с некоторым достаточно малым шагом, например 0,001; 0,01 и т.д. 3. Величина *, обеспечивающая минимум стандартной ошибки регрессии принимается в качестве оценки автокорреляции остатков.
Итеративные процедуры оценивания коэффициента. Выводы 1. Сходимость процедур достаточно хорошая. 2. Метод Кохрейна-Оркатта может «попасть» в локальный (а не глобальный) минимум. 3. Время работы процедуры Хилдрета-Лу значительно сокращается при наличии априорной информации об области возможных значений.
Процедура Дарбина представляет собой традиционный МНК снелинейными ограничениями типа равенств: Способы решения: 1. Решать задачу нелинейного программирования. 2. Двухшаговый МНК Дарбина (полученный коэффициент автокорреляции используется в поправке Прайса-Винстена). 3. Итеративная процедура расчета. Процедура Дарбина (на примере парной регрессии)
Процедура Дарбина Ограничения на коэффициенты записываются в явном виде ============================================================ Dependent Variable: LGHOUS Method: Least Squares Sample(adjusted): LGHOUS=C(1)*(1-C(2))+C(2)*LGHOUS(-1)+C(3)*LGDPI-C(2)*C(3) *LGDPI(-1)+C(4)*LGPRHOUS-C(2)*C(4)*LGPRHOUS(-1) ============================================================ Coefficient Std. Error t-Statistic Prob. ============================================================ C(1) C(2) C(3) C(4) ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood Durbin-Watson stat ============================================================
Dependent Variable: LGHOUS Method: Least Squares Sample(adjusted): Included observations: 44 after adjusting endpoints Convergence achieved after 21 iterations ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS AR(1) ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) ============================================================ Либо в список регрессоров включается авторегриссионный член 1 порядка AR(1) Процедура Дарбина
Dependent Variable: LGHOUS LGHOUS=C(1)*(1-C(2))+C(2)*LGHOUS(-1)+C(3)*LGDPI-C(2)*C(3) *LGDPI(-1)+C(4)*LGPRHOUS-C(2)*C(4)*LGPRHOUS(-1) ============================================================ Coefficient Std. Error t-Statistic Prob. ============================================================ C(1) C(2) C(3) C(4) ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS AR(1) ============================================================ Процедура Дарбина
Итеративная процедура метода Дарбина 1. Считается регрессия и находятся остатки. 2. По остаткам находят оценку коэффициента автокорреляции остатков. 3. Оценка коэффициента автокорреляции используется для пересчета данных и цикл повторяется. Процесс останавливается, как только обеспечивается достаточная точность (результаты перестают существенно улучшаться).
Обобщенный метод наименьших квадратов. Замечания 1. Значимый коэффициент DW может указывать просто на ошибочную спецификацию. 2. Последствия автокорреляции остатков иногда бывают незначительными. 3. Качество оценок может снизиться из-за уменьшения числа степеней свободы (нужно оценивать дополнительный параметр). 4. Значительно возрастает трудоемкость расчетов. Не следует применять обобщенный МНК автоматически
Предыдущая статья: Чему равна скорость света Следующая статья: Углерод — характеристика элемента и химические свойства