В чем заключается центральная предельная теорема. Статистическая модель на MPI

Многие задачи ТВ связаны с изучением суммы независимых случайных величин, которая при определенных условиях имеет распределение, близкое к нормальному. Эти условия выражаются центральной предельной теоремой (ЦПТ).

Пусть ξ 1, ξ 2 , …, ξ n , …– последовательность независимых случайных величин. Обозначим

n η = ξ 1 + ξ 2 +…+ ξ n. Говорят, что к последовательности ξ 1, ξ 2 , …, ξ n , … применима ЦТП,

если при n → ∞ закон распределения η n стремится к нормальному:

Суть ЦПТ: при неограниченном увеличении числа случайных величин закон распределения их суммы стремится к нормальному.

Центральная предельная теорема Ляпунова

Закон больших чисел не исследует вид предельного закона распределения суммы случайных величин. Этот вопрос рассмотрен в группе теорем, называемых центральной предельной теоремой. Они утверждают, что закон распределения суммы случайных величин, каждая из которых может иметь различные распределения, приближается к нормальному при достаточ-но большом числе слагаемых. Этим объясняется важность нормального закона для практичес-ких приложений.

Характеристические функции.

Для доказательства центральной предельной теоремы используется метод характеристичес-ких функций.

Определение 14.1. Характеристической функцией случайной величины Х называется функция

g (t ) = M ( e itX ) (14.1)

Таким образом, g (t ) представляет собой математическое ожидание некоторой комплексной случайной величины U = e itX , связанной с величиной Х . В частности, если Х – дискретная случайная величина, заданная рядом распределения, то

. (14.2)

Для непрерывной случайной величины с плотностью распределения f (x )

(14.3)

Пример 1. Пусть Х – число выпадений 6 очков при одном броске игральной кости. Тогда по формуле (14.2) g (t ) =

Пример 2. Найдем характеристическую функцию для нормированной непрерывной случайной величины, распределенной по нормальному закону . По формуле (14.3) (использовалась формула и то, что i ² = -1).

Свойства характеристических функций.

1. Функцию f (x ) можно найти по известной функции g (t ) по формуле

(14.4)

(преобразование (14.3) называется преобразованием Фурье , а преобразование (14.4) – обратным преобразованием Фурье ).

2. Если случайные величины Х и Y связаны соотношением Y = aX , то их характеристические функции связаны соотношением

g y (t ) = g x (at ). (14.5)

3. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых: для

Теорема 14.1 (центральная предельная теорема для одинаково распределенных слагае-мых). Если Х 1 , Х 2 ,…, Х п ,… - независимые случайные величины с одинаковым законом распределения, математическим ожиданием т и дисперсией σ 2 , то при неограниченном увеличении п закон распределения суммы неограниченно приближается к нор-мальному.

Доказательство.

Докажем теорему для непрерывных случайных величин Х 1 , Х 2 ,…, Х п (доказательство для дискретных величин аналогично). Согласно условию теоремы, характеристические функции слагаемых одинаковы: Тогда по свойству 3 характеристическая функция суммы Y n будет Разложим функцию g x (t ) в ряд Маклорена:

, где при .

Если предположить, что т = 0 (то есть перенести начало отсчета в точку т ), то .

(так как т = 0). Подставив полученные результаты в формулу Маклорена, найдем, что

.

Рассмотрим новую случайную величину , отличающуюся от Y n тем, что ее дисперсия при любом п равна 0. Так как Y n и Z n связаны линейной зависимостью, достаточно доказать, что Z n распределена по нормальному закону, или, что то же самое, что ее характе-ристическая функция приближается к характеристической функции нормального закона (см. пример 2). По свойству характеристических функций

Прологарифмируем полученное выражение:

где

Разложим в ряд при п → ∞, ограничившись двумя членами разложения, тогда ln(1 - k ) ≈ - k .

Где последний предел равен 0, так как при . Следовательно, , то есть - характеристическая функция нормального распределения. Итак, при неограниченном увеличении числа слагаемых характеристическая функция величины Z n неограниченно приближается к характеристической функции нормального закона; следова-тельно, закон распределения Z n (и Y n ) неограниченно приближается к нормальному. Теорема доказана.

А.М.Ляпунов доказал центральную предельную теорему для условий более общего вида:

Теорема 14.2 (теорема Ляпунова). Если случайная величина Х представляет собой сумму очень большого числа взаимно независимых случайных величин, для которых выполнено условие:

где b k – третий абсолютный центральный момент величины Х к , а D k – ее дисперсия, то Х имеет распределение, близкое к нормальному (условие Ляпунова означает, что влияние каждого слагаемого на сумму ничтожно мало).

Практически можно использовать центральную предельную теорему при достаточно небольшом количестве слагаемых, так как вероятностные расчеты требуют сравнительно малой точности. Опыт показывает, что для суммы даже десяти и менее слагаемых закон их распределения можно заменить нормальным.

Чарльз Уилан Глава из книги
Издательство «Манн, Иванов и Фербер»

Наконец, настало время подвести итог сказанному. Поскольку средние значения выборок распределены по нормальному закону (благодаря центральной предельной теореме), мы можем воспользоваться богатым потенциалом кривой нормального распределения. Мы рассчитываем, что примерно 68% средних значений всех выборок будут отстоять от среднего значения совокупности на расстоянии, не превышающем одной стандартной ошибки; 95% - на расстоянии, не превышающем двух стандартных ошибок; и 99,7% - на расстоянии, не превышающем трех стандартных ошибок.

Теперь вернемся к отклонению (разбросу) в примере с пропавшим автобусом - правда, на этот раз призовем на помощь не интуицию, а числа. (Сам по себе этот пример остается абсурдным; в следующей главе мы рассмотрим множество более близких к реальности случаев.) Допустим, что организаторы исследования Americans" Changing Lives пригласили всех его участников на выходные в Бостон, чтобы весело провести время и заодно предоставить кое-какие недостающие данные. Участников распределяют произвольным образом по автобусам и отвозят в тестовый центр, где их взвесят, определят рост и т. п. К ужасу организаторов мероприятия, один из автобусов пропадает где-то по пути в тестовый центр. Об этом событии оповещают в программе новостей местного радио и телевидения. Возвращаясь примерно в то же время в своем автомобиле с Фестиваля любителей сосисок, вы замечаете на обочине дороги сломавшийся автобус. Похоже, его водитель был вынужден резко свернуть в сторону, пытаясь уклониться от столкновения с лосем, неожиданно появившимся на дороге. От столь резкого маневра все пассажиры потеряли сознание или лишились дара речи, хотя никто из них, к счастью, не получил серьезных травм. (Такое предположение понадобилось мне исключительно для чистоты приведенного здесь примера, а надежда на отсутствие у пассажиров серьезных травм объясняется моим врожденным человеколюбием.) Врачи кареты скорой помощи, оперативно прибывшие на место происшествия, сообщили вам, что средний вес 62 пассажиров автобуса составляет 194 фунта. Кроме того, оказалось (к огромному облегчению всех любителей животных), что лось, от столкновения с которым пытался увернуться водитель автобуса, практически не пострадал (если не считать легкого ушиба задней ноги), но от сильного испуга тоже потерял сознание и лежит рядом с автобусом.

К счастью, вам известен средний вес пассажиров автобуса, а также сред-неквадратическое отклонение для всей совокупности Americans" Changing Lives. Кроме того, мы имеем общее представление о центральной предельной теореме и знаем, как оказать первую помощь пострадавшему животному. Средний вес участников исследования Americans" Changing Lives составляет 162 фунта; среднеквадратическое отклонение равняется 36. На основе этой информации вы можете вычислить стандартную ошибку для выборки из 62 человек (количество пассажиров автобуса, потерявших сознание): .

Разница между средним значением этой выборки (194 фунта) и средним значением совокупности (162 фунта) равна 32 фунта, то есть значительно больше трех стандартных ошибок. Из центральной предельной теоремы вам известно, что 99,7% средних значений всех выборок будут отстоять от среднего значения совокупности на расстоянии, не превышающем трех стандартных ошибок. Таким образом, крайне маловероятно, что встретившийся вам автобус перевозит группу участников исследования Americans" Changing Lives. Будучи видным общественным активистом города, вы звоните организаторам мероприятия, чтобы сообщить, что в повстречавшемся вам автобусе, скорее всего, находится какая-то другая группа людей. Правда, в этом случае вы можете опираться на статистические результаты, а не свои «интуитивные догадки». Вы сообщаете организаторам, что отрицаете вероятность того, что найденный вами автобус именно тот, который они разыскивают, с 99,7% доверительным уровнем. А поскольку в данном случае вы разговариваете с людьми, знакомыми со статистикой, то можете не сомневаться, они понимают, что вы правы. (Всегда приятно иметь дело с умными людьми!)

Сделанные вами выводы находят дальнейшее подтверждение, когда врачи скорой помощи берут пробы крови у пассажиров автобуса и обнаруживают, что средний уровень холестерина в их крови превышает средний уровень холестерина в крови участников исследования Americans" Changing Lives на пять стандартных ошибок. Из этого следует, что впавшие в бессознательное состояние пассажиры - участники Фестиваля любителей сосисок. (Впоследствии это было неопровержимо доказано.)

[У этой истории оказался счастливый конец. Когда к пассажирам автобуса вернулось сознание, организаторы исследования Americans" Changing Lives посоветовали им проконсультироваться у специалистов-диетологов относительно опасности употребления в пищу продуктов с высоким содержанием насыщенных жиров. После таких консультаций многие из любителей сосисок решили порвать со своим позорным прошлым и вернуться к более здоровому рациону питания. Пострадавшего лося выходили в местной ветеринарной клинике и выпустили на свободу под одобрительные возгласы членов местного Общества защиты животных. Да, история почему-то умалчивает о судьбе водителя автобуса. Возможно, потому, что статистика не занимается судьбами отдельно взятых людей. Лось - совсем другое дело, замолчать его судьбу не удастся! В случае чего за него может вступиться Общество защиты животных.]

В этой главе я пытался говорить только об основах. Вы, наверное, обратили внимание, что центральная предельная теорема применима лишь в случаях, когда размер выборки достаточно велик (как правило, не менее 30). Кроме того, нам требуется относительно большая выборка, если мы намерены предположить, что ее среднеквадратическое отклонение будет примерно таким же, как и среднеквадратическое отклонение генеральной совокупности.

Существует немало статистических поправок, которые можно применять в случае несоблюдения указанных условий, но все это похоже на сахарную глазурь на торте (и, возможно, даже на шоколадные крошки, которыми присыпают эту глазурь сверху). «Общая картина» здесь проста и чрезвычайно эффективна.

1. Если вы формируете на основе какой-либо совокупности большие (по объему) случайные выборки, то их средние значения будут распределены по нормальному закону вблизи среднего значения соответствующей совокупности (какой бы вид ни имело распределение исходной совокупности).
2. Большинство средних значений выборок будет расположено достаточно близко к среднему значению совокупности (что именно следует в том или ином случае считать «достаточно близким», определяется стандартной ошибкой).
3. Центральная предельная теорема говорит нам о вероятности того, что среднее значение выборки будет находиться не дальше определенного расстояния от среднего значения совокупности. Относительно маловероятно, что среднее значение выборки будет отстоять от среднего значения совокупности дальше, чем на расстояние двух стандартных ошибок, и крайне маловероятно, что среднее значение выборки будет отстоять от среднего значения совокупности дальше, чем на расстояние трех и более стандартных ошибок.
4. Чем меньше вероятность того, что какой-то исход оказался чисто случайным, тем больше мы можем быть уверены в том, что здесь не обошлось без воздействия какого-то другого фактора.

В этом по большому счету и заключается сущность статистического вывода. Центральная предельная теорема главным образом делает все это возможным. И до тех пор, пока Леброн Джеймс не станет столько раз чемпионом НБА, сколько Майкл Джордан (шесть), центральная предельная теорема будет производить на нас гораздо большее впечатление, чем знаменитый баскетболист.

Леброн Рэймон Джеймс (LeBron Raymone James) - американский профессиональный баскетболист, играющий на позиции легкого и тяжелого форварда за команду НБА «Кливленд Кавальерс». Прим. перев.

Обратите внимание на весьма остроумное использование в данном случае ложной точности.

Когда среднеквадратическое отклонение соответствующей совокупности вычисляется на основании меньшей выборки, приведенная нами формула несколько видоизменяется: Это помогает учесть то обстоятельство, что дисперсия в малой выборке может «недооценивать» дисперсию всей совокупности. Это не имеет особого отношения к более универсальным положениям, о которых идет речь в данной главе.

Мой коллега из Чикагского университета, Джим Сэлли, сделал очень важное критическое замечание по поводу примеров с пропавшим автобусом. Он указал, что пропавший автобус - чрезвычайно большая редкость в наше время. Поэтому если нам придется искать какой-нибудь пропавший автобус, то любой встретившийся нам автобус, который окажется пропавшим или поломавшимся, наверняка будет именно тем автобусом, который нас интересует, каким бы ни был вес пассажиров в этом автобусе. Пожалуй, Джим прав. (Воспользуюсь такой аналогией: если вы потеряли в супермаркете своего ребенка и дирекция этого магазина сообщает по радио, что возле кассы номер шесть стоит чей-то потерявшийся ребенок, то вы наверняка сразу же решите, что речь идет именно о вашем ребенке.) Следовательно, нам не остается ничего другого, как дополнить наши примеры еще одним элементом абсурда, полагая, что пропажа автобуса является вполне рядовым событием.

Простейший вариант Центральной предельной теоремы (ЦПТ) теории вероятностей таков.

(для одинаково распределенных слагаемых). Пусть X 1 , X 2 ,…, X n , …– независимые одинаково распределенные случайные величины с математическими ожиданиями M (X i ) = m и дисперсиями D (X i ) = , i = 1, 2,…, n ,… Тогда для любого действительного числа х существует предел

где Ф(х) – функция стандартного нормального распределения.

Эту теорему иногда называют теоремой Линдеберга-Леви .

В ряде прикладных задач не выполнено условие одинаковой распределенности. В таких случаях центральная предельная теорема обычно остается справедливой, однако на последовательность случайных величин приходится накладывать те или иные условия. Суть этих условий состоит в том, что ни одно слагаемое не должно быть доминирующим, вклад каждого слагаемого в среднее арифметическое должен быть пренебрежимо мал по сравнению с итоговой суммой. Наиболее часто используется теорема Ляпунова.

Центральная предельная теорема (для разнораспределенных слагаемых) – теорема Ляпунова . Пусть X 1 , X 2 ,…, X n , …– независимые случайные величины с математическими ожиданиями M (X i ) = m i и дисперсиями D (X i ) = , i = 1, 2,…, n ,… Пусть при некотором δ>0 у всех рассматриваемых случайных величин существуют центральные моменты порядка 2+δ и безгранично убывает «дробь Ляпунова»:

Тогда для любого действительного числа х существует предел

где Ф(х) – функция стандартного нормального распределения.

В случае одинаково распределенных случайных слагаемых

и теорема Ляпунова переходит в теорему Линдеберга-Леви.

История получения центральных предельных теорем для случайных величин растянулась на два века – от первых работ Муавра в 30-х годах 18-го века для необходимых и достаточных условий, полученных Линдебергом и Феллером в 30-х годах 20-го века.

Теорема Линдеберга-Феллера. Пусть X 1 , X 2 ,…, X n , …, – независимые случайные величины с математическими ожиданиями M (X i ) = m i и дисперсиями D (X i ) = , i = 1, 2,…, n ,… Предельное соотношение (1), т.е. центральная предельная теорема, выполнено тогда и только тогда, когда при любом τ>0

где F k (x ) обозначает функцию распределения случайной величины X k .

Доказательства перечисленных вариантов центральной предельной теоремы для случайных величин можно найти в классическом курсе теории вероятностей .

Для прикладной статистики и, в частности, для нечисловой статистики большое значение имеет многомерная центральная предельная теорема. В ней речь идет не о сумме случайных величин, а о сумме случайных векторов.

Необходимое и достаточное условие многомерной сходимости . Пусть F n обозначает совместную функцию распределения k -мерного случайного вектора , n = 1,2,…, и F λn . Необходимое и достаточное условие для сходимости F n к некоторой k -мерной функции распределения F состоит в том, что F λn имеет предел для любого вектора λ.

Приведенная теорема ценна тем, что сходимость векторов сводит к сходимости линейных комбинаций их координат, т.е. к сходимости обычных случайных величин, рассмотренных ранее. Однако она не дает возможности непосредственно указать предельное распределение. Это можно сделать с помощью следующей теоремы.

Теорема о многомерной сходимости. Пусть F n и F λn – те же, что в предыдущей теореме. Пусть F - совместная функция распределения k -мерного случайного вектора . Если функция распределения F λn сходится при росте объема выборки к функции распределения F λ для любого вектора λ, где F λ – функция распределения линейной комбинации , то F n сходится к F .

Здесь сходимость F n к F означает, что для любого k -мерного вектора такого, что функция распределения F непрерывна в , числовая последовательность F n сходится при росте n к числу F . Другими словами, сходимость функций распределения понимается ровно также, как при обсуждении предельных теорем для случайных величин выше. Приведем многомерный аналог этих теорем.

Многомерная центральная предельная теорема . Рассмотрим независимые одинаково распределенные k -мерные случайные вектора

где штрих обозначает операцию транспонирования вектора. Предположим, что случайные вектора U n имеют моменты первого и второго порядка, т.е.

М (U n ) = μ, D (U n ) = Σ,

где μ – вектор математических ожиданий координат случайного вектора, Σ – его ковариационная матрица. Введем последовательность средних арифметических случайных векторов:

Тогда случайный вектор имеет асимптотическое k -мерное нормальное распределение , т.е. он асимптотически распределен так же, как k -мерная нормальная величина с нулевым математическим ожиданием, ковариационной Σ и плотностью

Здесь |Σ| - определитель матрицы Σ. Другими словами, распределение случайного вектора сходится к k -мерному нормальному распределению с нулевым математическим ожиданием и ковариационной матрицей Σ.

Напомним, что многомерным нормальным распределением с математическим ожиданием μ и ковариационной матрицей Σ называется распределение, имеющее плотность

Многомерная центральная предельная теорема показывает, что распределения сумм независимых одинаково распределенных случайных векторов при большом числе слагаемых хорошо приближаются с помощью нормальных распределений, имеющих такие же первые два момента (вектор математических ожиданий координат случайного вектора и его корреляционную матрицу), как и исходные вектора. От одинаковой распределенности можно отказаться, но это потребует некоторого усложнения символики. В целом из теоремы о многомерной сходимости вытекает, что многомерный случай ничем принципиально не отличается от одномерного.

Пример. Пусть X 1 , … X n ,…– независимые одинаково распределенные случайные величины. Рассмотрим k -мерные независимые одинаково распределенные случайные вектора

Их математическое ожидание – вектор теоретических начальных моментов, а ковариационная матрица составлена из соответствующих центральных моментов. Тогда - вектор выборочных центральных моментов. Многомерная центральная предельная теорема утверждает, что имеет асимптотически нормальное распределение. Как вытекает из теорем о наследовании сходимости и о линеаризации (см. ниже), из распределения можно вывести распределения различных функций от выборочных начальных моментов. А поскольку центральные моменты выражаются через начальные моменты, то аналогичное утверждение верно и для них.

Предыдущая

Центральная предельная теорема (ЦПТ) представляет собой вторую группу предельных теорем, которые устанавливают связь между законом распределения суммы случайных величин и его предельной формой –нормальным законом распределения.

До сих пор мы часто говорили об устойчивости средних характеристик большого числа испытаний, говоря точнее, об устойчивости сумм вида

Однако следует обратить внимание, что величина
случайная, а значить, она имеет некоторый закон распределения. Оказывается этот замечательный факт, составляет содержание

другой группы теорем, объединяемых под общим названием центральная предельная теорема , что при досточно общих условиях закон распределенияблизок к нормальному закону.

Поскольку величина отличается от суммы

лишь постоянным множителем
то в общих чертах содержание ЦПТ может быть сформулировано следующим образом.

Распределение суммы большого числа независимых случайных величин при весьма

общих условиях близко к нормальному закону распределению.

Известно, что нормально распределенные случайные величины широко распространены на практике (не только в теории вероятностей, но и в её многочисленных приложениях). Чем такое явление объясняется? Ответ на такой «феномен» впервые был дан выдающимся русским математиком А.М. Ляпуновым в 1901году: «Центральная предельная теорема Ляпунова». Ответ Ляпунова заключается в его условии, при которых справедливо ЦПТ (см. далее).

В целях подготовки точной формулировки ЦПТ, поставим перед собой два вопроса:

1. Какой точный смысл содержит в себе утверждение о том, что «закон распределения суммы «близка» к нормальному закону?».

2. При каких условиях справедлива эта близость?

Чтобы ответить на эти вопросы, рассмотрим бесконечную последовательность случайных величин:
Составим «частичные суммы» нашей последовательности с.в.

(23)

От каждой случайных величин перейдём к «нормированной» случайной величине

(24)

Нами было установлено (см.Т.8., п.3, равенства (19)), что
.

Ответ на первый вопрос теперь можно сформулировать в виду предельного равенства

(25)
, (
,

означающего, что закон распределения с.в. с ростомприближается к нормальному закону с
. Разумеется, из того факта, что величинаимеет приближенно нормальное распределение, следует, что и величинараспределена приближенно нормально,

(26)

Формула для определения вероятности того, что сумма нескольких с.в. окажется в заданных пределах. Часто ЦПТ используют при

По поводу условий, которые следует наложить на величины
можно высказать следующие соображения. Рассмотрим разность
Получим отклонение с.вот её математического ожидания. Общий смысл накладываемых условий, на величины
заключается в том, что отдельные отклонения
должны быть равномерно малы по сравнению с суммарным отклонением
Точную формулировку этих условий, при которых справедливо предельное соотношение дал М.А. Ляпунов в 1901 году. Она заключается в следующем.

Пусть для каждой из величин
числаконечны, (заметим, чтоесть дисперсия с.в.
- «центральный момент третьего порядка» ).

Если при

,

то будем говорить, что последовательность
удовлетворяетусловию Ляпунова.

В частности, ЦПТ для случаев, когда в сумме случайных величин каждый слагаемый имеет одинаковое распределение, т.е. все и
то условие Ляпунова выполняется

Именно, на практике такой случай ЦПТ чаще всего используется. Потому, что в математической статистике любая случайная выборка с.в. имеют одинаковые распределения, поскольку «выборки» получены из одной и той же генеральной совокупности.

Сформулируем этот случай как отдельное утверждение ЦПТ.

Теорема 10.7 (ЦПТ). Пусть случайные величины
независимы, одинаково распределены, имеют конечные математическое ожидание
и дисперсию

Тогда функция распределения центрированной и нормированной суммы этих с.в. при
стремится к функции распределения стандартной нормальной случайной величины:

(27)

На этом частном случае хорошо осмыслить, в чем находит своё проявление равномерная «малость» слагаемых,
где величинаимеет порядок, а величина
порядок
, тем самым отношение первой величины ко второй стремится, к 0.

Теперь мы в состоянии сформулировать центральную предельную теорему в форме А.М. Ляпунова.

Теорема 10.8. (Ляпунова). Если последовательность
независимых случайных величин удовлетворяет условию Ляпунова, то справедливо предельное соотношение

(28)
,

для любых
и, при этом (
.

Иными словами, в этом случае закон распределения нормированной суммы сходится к нормальному закону с параметрами

Следует отметить, что для доказательства ЦПТ А.М. Ляпунов разработал специальный метод, основанный на теорию так называемых характеристических функций. Этот метод оказался весьма полезным и в других разделах математики (см. доказательство ЦПТ например в кн. Бородин […]). В этой книге мы, о производящих функциях будем давать краткую информацию и некоторые применения к подсчёту числовых характеристик случайных величин.

Краткие сведения об ошибке измерений. Известно, что при повторении измерений одного и того же объекта, выполненными одним и тем же измерительным прибором с одинаковой тщательностью (при одинаковых условиях) не всегда достигаются одинаковые результаты. Разброс результатов измерения вызван тем, что на процесс измерения влияют многочисленные факторы, которые не возможно и не целесообразно учитывать. В этой ситуации ошибку, возникающую при измерении интересующей нас величины часто можно рассматривать как сумму большого числа независимых между собой слагаемых, каждое из которых даёт лишь незначительный вклад в образование всей суммы. Но такие случаи приводят нас как раз к условиям применимости теоремы Ляпунова и можно ожидать, что распределение ошибки измеряемой величины мало отличается от нормального распределения.

В более общем случае, ошибка является функцией большого числа случайных аргументов, каждый из которых лишь немного отличается от своего математического ожидания. Линеаризуя эту функцию, то есть, заменяя её линейной, опять приходят к предыдущему случаю. Накопленный опыт по статистической обработке результатов измерений действительно подтверждает этот факт в большинстве практических случаев.

Аналогичные рассуждения объясняют появление нормального распределения в отклонениях параметров, определяющих выпущенную готовую продукцию (изделия), от нормативных значений при массовом производстве.

Рассмотрим следующий пример.

Пример 5. Независимые случайные величиныраспределены равномерно на отрезке . Найти закон распределения с.в.
, а также вероятность того, что

Решение. Условия ЦПТ соблюдается, поэтому с.в.имеет приближенно плотность распределения

По известным формулам для м.о. и дисперсии в случае равномерного распределения находим: Тогда

На основании формулы (26), находим (с учётом табличных значений функции Лапласа)

Одно из важнейших положений теории вероятностей - так называемая центральная предельная теорема. Как и закон больших чисел, она имеет ряд форм. Во всех формах закона больших чисел устанавливается факт сходимости по вероятности каких-то случайных величин к постоянным, неслучайным при увеличении числа опытов п или числа наблюдаемых случайных величин.

В данном пункте мы рассмотрим другую группу предельных теорем, а именно теорем, определяющих условия возникновения нормального распределения (закона Гаусса). Такие условия часто встречаются на практике, что и объясняет широкую распространенность нормального закона в случайных явлениях природы.

Кое-что об этих условиях (на чисто описательном уровне) мы уже говорили раньше (глава 6), там, где впервые встретились с нормальным распределением. А именно, нормальное распределение возникает тогда, когда суммируется много независимых (или слабо зависимых) случайных величин, сравнимых по порядку своего влияния на рассеивание суммы.

В практической деятельности инженера такая обстановка встречается нередко.

Пусть, например, рассматривается отклонение Y n выходного параметра большой интегральной схемы (БИС) от номинала. Это отклонение (при известных допущениях) может быть представлено как сумма п элементарных отклонений, связанных с отдельными причинами:

где, например,

Х х - отклонение, вызванное влиянием температуры;

Х 2 - отклонение, вызванное влиянием влажности воздуха;

Хз - отклонение, вызванное ошибкой ввода какого-либо параметра; Х 4 - отклонение, вызванное недостаточной чистотой материала изделия;

Число п этих элементарных отклонений весьма велико, как и число п причин, вызывающих суммарное отклонение Г„; обычно слагаемые Х х, Х 2 , ..., Х п сравнимы по порядку своего влияния на рассеивание суммы. Действительно, если бы какая-то из случайных величин Х х, Х 2 , ..., ^„оказывала существенно большее влияние на рассеивание суммы, чем все остальные, было бы естественно принять специальные меры для того, чтобы устранить главную причину рассеивания; поскольку такие меры не предпринимаются, можно предположить, что оставшиеся случайные слагаемые сравнимы по порядку своего (равномерно малого) влияния на рассеивание суммы.

Нормальный закон широко распространен в технике; в большинстве случаев ошибки измерения параметров, ошибки выполнения команд, ошибки ввода различных величин в техническое устройство распределены по нормальному (или близкому к нормальному) закону; такая ошибка обычно может быть представлена в виде суммы многих «элементарных ошибок» Х ь каждая из которых связана с отдельной, практически независимой от других, причиной.

Именно в применении к теории ошибок был впервые обоснован Лапласом и Гауссом нормальный закон.

Нормальный закон широко распространен в биологии: масса, размер и другие параметры представителей растительного и животного мира во многих случаях имеют нормальное распределение, так как их разброс вызван суммарным воздействием многих факторов, среди которых нет доминирующих по своему влиянию.

Центральная предельная теорема в различных ее формах устанавливает условия, при которых возникает нормальное распределение и нарушение которых ведет к распределению, отличному от нормального.

Различные формы центральной предельной теоремы различаются между собой условиями, накладываемыми на распределения образующих сумму случайных слагаемых Х х, Х 2 , ...,Х п. Чем жестче эти условия, тем легче доказывается теорема; чем они шире, тем труднее доказательство. Здесь мы докажем одну из самых простых форм этой теоремы, а именно центральную предельную теорему для одинаково распределенных слагаемых.

Теорема. Если Х х, Х 2 , Х п,... - независимые случайные величины , имеющие одно и то же распределение с математическим ожиданием т и дисперсией а 2 , то при увеличении п закон распределения суммы

Доказательство. Проведем доказательство для случая непрерывных случайных величин (для дискретных оно будет аналогичным). Применим для этого аппарат характеристических функций . Согласно свойствам, доказанным в подразделе 8.9, характеристическая функция суммы (10.2.2) равна произведению характеристических функций слагаемых. Случайные величины X v Х 2 , ..., X п имеют одну и туже плотность f (х), а значит, и ту же характеристическую функцию 0* (t ). Не нарушая общности, можно перенести начало отсчета всех случайных величин X v Х 2 , ...,Х п в их общее математическое ожидание т это равносильно их центрированию и, значит, тому, что м. о. каждой из них будет равно нулю.

Напомним, что характеристическая функция каждой из с. в. Х к (к= 1,2,..., п) по определению равна (см. (8.9.4))

где / =4=~ - мнимая единица. Характеристическая функция случайной величины Y n равна произведению п характеристических функций слагаемых (см. 8.9.9):

Разложим функцию (t ) в окрестности точки t = 0 в ряд Маклоре- на с тремя членами:

где производные берутся по t a (t) -> 0 при t -» 0.

Найдем значения &Д0); 9^(0); $"(0).

Полагая в формуле (10.2.3) /= 0, имеем:

по свойству плотности распределения/(х).

Продифференцируем (10.2.3) по t.

Полагая в (10.2.6) /= 0, получим:

где М [Х - математическое ожидание с. в. Хс плотностью/(х). В нашем случае все случайные величины Х х, Х 2 , ..., X п имеют плотность /(х), а их общее м. о. равно нулю, поэтому

Продифференцируем (10.2.6) еще раз:

Полагая / = 0, получим:

а это есть не что иное, как дисперсия центрированной с. в. Хс плотностью /(х) (со знаком «минус»).

Следовательно,

Подставляя в (10.2.5) Э х (0) = 1; 0" х (0) = 0и в”(0) = -сг 2 , получим

Обратимся к случайной величине Y n . Мы хотим доказать, что при увеличении п ее закон распределения приближается к нормальному. Для этого перейдем от нее к линейно связанной с Y n «нормированной» случайной величине

Эта величина удобна тем, что ее дисперсия не зависит от п и равна единице при любом п. В этом нетрудно убедиться, рассматривая Z n как линейную функцию независимых случайных величин Х х, Х 2 , ..., X п, каждая из которых имеет дисперсию а 2 .

Если мы докажем, что с. в. Z n имеет нормальное распределение, это будет означать, что и с. в. У„, линейно связанная с Z„, распределена нормально.

Вместо того чтобы доказывать, что закон распределения с. в. Z„ при увеличении п приближается к нормальному, докажем, что ее характеристическая функция, однозначно определяющая плотность, приближается к характеристической функции нормального закона с теми же, что у Z„, параметрами: m z = 0; o z =1 (8.9.16).

Найдем характеристическую функцию с. в. Z. Из свойства (8.9.7) характеристической функции (подраздел 8.9) имеем:

где - характеристическая функция с. в. Y n . Из (10.2.4) и (10.2.8) имеем:

Или, пользуясь формулой (*),

Прологарифмируем это выражение:

Введем обозначение

Будем неограниченно увеличивать п при этом величина к согласно (10.2.10) будет стремиться к нулю. Разложим In (1 - к) в ряд по степеням к и ограничимся одним членом разложения (остальные при я -> оо станут пренебрежимо малыми):

Но функция а(0 стремится к нулю при t -> 0; следовательно, lima (t/(oJn)) = 0и liming (t) = -t 2 / 2, откуда liming (t) = e~‘‘ 2 ,

tl -Л->0c n n-> OO "

а это есть не что иное, как характеристическая функция случайной величины, распределенной по нормальному закону с параметрами т = О, ст= 1 (см. (8.9.16)).

Таким образом, мы доказали центральную предельную теорему для частного случая одинаково распределенных слагаемых. Другие, более общие (и более сложные) формы центральной предельной теоремы мы приведем без доказательства.

Теорема Ляпунова. Пусть Х х, Х 2 , ..., Х п - независимые случайные величины с математическими ожиданиями m Xi , т Х2 ,..., т Хп и дисперсиями Z) , D r ,..., Z> , причем при п -» оо.

х х 2 х п

где Х к =Х к -т к.

А. М. Ляпунов доказал, что при п -> оо закон распределения случайной величины

неограниченно приближается к нормальному.

Смысл условий (10.2.12) состоит в том, чтобы в сумме (10.2.13) не было слагаемых, влияние которых на рассеивание суммы подавляюще велико по сравнению с влиянием всех остальных, а также не должно быть большого числа случайных слагаемых, влияние которых на рассеивание суммы исчезающе мало по сравнению с суммарным влиянием остальных.

Наиболее общим (необходимым и достаточным) условием справедливости центральной предельной теоремы является условие Линдебер- га: для любого т > 0

где f (х) - плотность распределения с. в. X h т-, = М [Х‘] (/" = 1, 2,п).

Однако пользование условием Линдеберга на практике затруднительно, так как нам редко бывают в точности известны законы распределения случайных величин X t (/ = 1, 2,п).

Исторически первой доказанной формой центральной предельной теоремы явилась теорема Лапласа , состоящая в следующем. Если производится п независимых опытов, в каждом из которых событие А появляется с вероятностью р, то при больших п справедливо приближенное равенство:

где Y n - число появлений события А в п опытах; q = 1 - р Ф (х) - функция Лапласа.

Выведем формулу (10.2.15) как следствие центральной предельной теоремы для одинаково распределенных слагаемых. «Нормированная» случайная величина

связанная с Нелинейной зависимостью, строго говоря, дискретна, также дискретна с. в. Y n , распределенная по биномиальному закону, но при большом п ее значения расположены на оси абсцисс так тесно, что можно ее рассматривать как непрерывную, с плотностью распределения /(г). Случайная величина Y n имеет биномиальное распределение с параметрами п, р ее математическое ожидание М [ Y n ] = пр ее дисперсия равна D [ Y n ] = npq. Найдем числовые характеристики случайной величины (10.2.16): м. о. и дисперсию линейной функции от с. в. Y n . Имеем:

Таким образом, случайная величина Z n (10.2.16) имеет не зависящие от п числовые характеристики т = 0, а = 1 (потому мы и перешли к с. в. Z n от Y n).

Учитывая, что Т„ = ^где Х (- индикатор события А в /-м опы- 1=1

те, убеждаемся, что с. в. Z n (10.2.16) есть сумма п независимых одинаково распределенных случайных величин. Применяя центральную предельную теорему для одинаково распределенных слагаемых, убеждаемся, что при большом числе опытов п с. в. Z n имеет распределение, близкое к нормальному, с параметрами т = 0; а = 1, откуда и следует справедливость формулы (10.2.15).

Теорема Лапласа дает возможность приближенно находить вероятности значений случайных величин, распределенных по биномиальному закону при больших значениях параметра п при этом вероятность р не должна быть ни слишком большой, ни слишком малой.

Практически можно судить о возможности замены биномиального распределения нормальным по тому, выполнены ли при данных п и р условия:

Если эти условия соблюдены, то можно вычислять вероятности Р к = Р {Y n = к) как приращение нормальной функции распределения на участке от к до к + 1:

где F(x) - функция распределения нормального закона:

Подставляя в (10.2.19) т - при а = yfnpq, получим:

Вычисляя приращение этой функции на участке от к до к + 1, получим:

Теорему Лапласа (10.2.15) можно записать в несколько ином виде, если перейти обратно от нормированной с. в. Z n (10.2.16) к с. в. Y n -

числу появлений события в п опытах - связанной с Z n линейной зависимостью:

Функция распределения случайной величины Y n при большом п будет сколь угодно близка к нормальной функции распределения с параметрами т у - пр; о „ = Jnpq:

а вероятность попадания случайной величины Y n на любой участок от а до р приближенно равна

откуда - другая форма записи теоремы Лапласа:

Рассмотрим ряд примеров, в каждом из которых для решения задачи следует применить ту или другую форму центральной предельной теоремы.

Пример 1. Имеется п идентичных технических устройств (ТУ), время безотказной работы каждого /-го из которых - случайная величина 7), распределенная по показательному закону с параметром X, одинаковым для всех ТУ. Число п собранных в такую систему ТУ достаточно велико. Случайные величины 7j, Т 2 , ..., T t , ..., ^независимы между собой. В случае отказа /-го ТУ происходит мгновенное и безотказное переключение на следующие по порядку (/ + )-е ТУ (/" + 1 п). Общее время Гбезотказной работы системы ТУ равно сумме времен Т;.

Найти приближенно вероятность того, что система ТУ проработает безотказно время, не меньшее лялянного т:

(поскольку с. в. Т непрерывна, знак равенства можно оторосить;.

Решение. Согласно центральной предельной теореме для одинаково распределенных слагаемых с. в. Т (10.2.23) будет распределяться приближенно по нормальному закону с параметрами:

Находим приближенно вероятность (10.2.24): где F(т) - функция нормального распределения с параметрами:

Для нормального закона функция распределения равна:

где Ф (х) - функция Лапласа.

Пример 2. Станок с числовым программным управлением выдает за смену п = 1000 изделий, из которых в среднем 2% дефектных. Найти приближенно вероятность того, что за смену будет изготовлено не менее 970 доброкачественных (недефектных) изделий, если изделия оказываются доброкачественными независимо друг от друга.

Решение. Вероятность р изготовления доброкачественного изделия: р = 0,98, Y- число доброкачественных изделий; число независимых опытов п = 1000. Проверяем, выполнены ли условия (10.2.17); находим:

Следовательно, пользоваться нормальным законом можно; применяя теорему Лапласа в форме (10.2.22), находим:

Итак, искомая вероятность достаточно велика (равна 0,988), но все же с вероятностью 0,012 можно ожидать, что число доброкачественных изделий за смену будет меньше, чем 970. ?

Пример 3. Для условий предыдущего примера определить, на сколько доброкачественных изделий у должен быть рассчитан заготовленный для них бункер, такой, чтобы вероятность его переполнения за смену не превысила 0,01.

Решение. Найдем у из условия

Ищем такое значение у = у, при котором функция распределения случайной величины Y n

т. е.

По таблице функции Лапласа (см. приложение 2) находим аргумент, при котором функция Лапласа равна 0,49; он приближенно равен 2,33, отсюда

Пример 4. Железнодорожный состав состоит из п вагонов; масса каждого вагона в тоннах - случайная величина Хс м. о. т х и с. к. о. о х. Число вагонов п - большое (несколько десятков). Локомотив может везти массу не больше q (т); если масса состава больше q (т), приходится прицеплять второй локомотив. Найти вероятность того, что одного локомотива не хватит для перевозки состава.

Решение. Обозначим Q = ^ J X j массу состава. На основании

центральной предельной теоремы при достаточно большом п с. в. Q распределена приближенно по нормальному закону с параметрами

m q - пт х, o q =^ = y = яД; D = n/X 2 . Следовательно, с. в. Хс нужным нам нормальным распределением определяется через Т {п) формулой

а величина X определится из условия откуда

Пример 9. Провести аппроксимацию нормального закона с параметрами ш х и D x с помощью суммы я независимых с. в. Х и ..., Х п, распределенных равномерно в интервале (0, 1).

Решение. На основании центральной предельной теоремы при большом п случайная величина

распределена приближенно по нормальному закону с параметрами:

Нужную нам случайную величину X представим как линейную функцию случайной величины Y n:

Откуда находим коэффициенты а и b в формуле (10.2.29)

Итак, чтобы получить случайную величину X, распределенную приближенно по нормальному закону, надо сложить достаточно большое число п независимых случайных величин, распределенных равномерно в интервале (0, 1) и подвергнуть их сумму линейному преобразованию (10.2.29).

В практике работы с ЭВМ при моделировании случайных явлений получают нормально распределенные случайные величины именно таким способом. Опыт показывает, что вполне удовлетворительную точность можно получить уже при п = 6; числа п = Юн- 12 вполне достаточно. ?

Пример 10. В кассе учреждения имеется сумма d = 3500 (руб.). В очереди стоит п = 20 лиц. Сумма X, которую надо выплатить отдельному лицу - случайная величина с математическим ожиданием т х = 150 (руб.) и средним квадратическим отклонением о* = 60 (руб.). Найти вероятность того, что суммы due хватит для выплаты денег всем людям, стоящим в очереди.

Решение. На основании центральной предельной теоремы для одинаково распределенных слагаемых при большом п (а п = 20 практически можно считать «большим») случайная величина или

где Xj - сумма, которую надо выплатить /-му лицу, имеет приближенно нормальное распределение с параметрами:

Итак, с вероятностью около 3% имеющейся в кассе суммы не хватит для выплаты всем, стоящим в очереди.

Пример 11. В условиях предыдущего примера: какую сумму а нужно иметь в кассе, чтобы вероятность того, что ее не хватит для выплаты всем стоящим, стала равна 0,005?

Решение. Имеем условие Р {Y n > а} = 0,5 - Ф ((а - 3000)/268) = = 0,005, т. е. Ф ((а - 3000)/268) = 0,495. По таблице Ф (х) приложения находим аргумент функции Лапласа, при котором она равна 0,495:

откуда а - 3691.

Итак, сравнительно небольшого увеличения суммы а (от 3500 до 3691) достаточно для того, чтобы гарантировать выплату всем с очень высокой вероятностью 0,995. ?

Пример 12. Монета подбрасывается п = 1000 раз. Рассматривается с. в. X- число выпавших гербов. Определить интервал возможных значений с. в. X, симметричный относительно м. о. этой с. в., в который она попадает с вероятностью 9 > = 0,997.

Решение. X = ^Х { , где Х { - число выпавших гербов при /-м бросании: »"=i

На основании центральной предельной теоремы с. в. Храспределе- на нормально, следовательно,

По таблицам Ф (х) - функции Лапласа находим:

Искомый интервал будет:

Итак, с очень большой вероятностью $Р= 0,997 можно утверждать, что число выпавших гербов будет заключено в пределах от 453 до 577 (об этом уже говорилось в подразделе 1Л). ?

• Заметим, что этот аппарат был создан А.М. Ляпуновым специально для доказательствацентральной предельной теоремы.

Предыдущая статья: Чему равна скорость света Следующая статья: Углерод — характеристика элемента и химические свойства