Дисперсия и стандартное отклонение: пример расчёта по шагам

Две группы решают головоломку в среднем за четыре минуты. В первой все укладываются ровно в четыре минуты. Во второй половина заканчивает за две минуты, а другая половина за шесть. Средние совпадают, но время во второй группе разбросано сильнее. Дисперсия и стандартное отклонение выражают этот разрыв числами.

Обе меры описывают одно свойство, разброс вокруг среднего, но в разных масштабах. Дисперсия измеряется в квадратах исходных единиц. Стандартное отклонение получается извлечением корня и возвращается к исходным единицам. Если данные заданы в минутах, дисперсия выражается в минутах в квадрате, а стандартное отклонение в минутах. Вычисление зависит и от того, охватывают ли ваши данные всю генеральную совокупность или только выборку.

В этой статье мы пройдём один набор данных от начала до конца. Если сначала нужна общая картина средних, медиан и распределений, прочитайте наше введение в статистику.

Начните с отклонений от среднего

Пусть восемь попыток решить головоломку заняли столько минут:

$$2,\ 4,\ 4,\ 4,\ 5,\ 5,\ 7,\ 9$$

Их сумма равна $40$ минутам, поэтому среднее составляет $40/8=5$ минут. Затем вычтите пять из каждого времени. Получатся отклонения:

$$-3,\ -1,\ -1,\ -1,\ 0,\ 0,\ 2,\ 4$$

Отрицательное значение значит быстрее среднего, положительное медленнее. Сумма этих отклонений равна нулю, как всегда при отклонениях от среднего арифметического. Если просто усреднить их, разброс выйдет нулевым даже для набора с очень разными значениями. Это не поможет. Возведение каждого отклонения в квадрат делает его неотрицательным и придаёт больший вес далёким значениям, что объясняет справочник NIST по мерам разброса.

Вот восемь квадратов отклонений:

Время, минуты	Отклонение от 5, минуты	Квадрат отклонения, минуты²
2	-3	9
4	-1	1
4	-1	1
4	-1	1
5	0	0
5	0	0
7	2	4
9	4	16

Сумма последнего столбца равна $32$ минутам в квадрате. Эта сумма лежит в основе обеих мер. Сами наблюдаемые времена дальше не меняются. Знаменатель зависит от того, что представляют собой эти восемь времён.

Если это вся генеральная совокупность

Представьте, что восемь попыток это все попытки маленького соревнования, которое вас интересует. Вы описываете всю группу, а не оцениваете более обширную невидимую совокупность. Разделите сумму квадратов отклонений на число значений, $N=8$:

$$\sigma^2=\frac{\sum_{i=1}^{N}(x_i-\mu)^2}{N}=\frac{32}{8}=4\ \text{минуты}^2$$

Это дисперсия генеральной совокупности, её обозначают $\sigma^2$. Теперь извлеките квадратный корень:

$$\sigma=\sqrt{\sigma^2}=\sqrt{4}=2\ \text{минуты}$$

Это стандартное отклонение генеральной совокупности. Квадратный корень не отменяет расчёт и не превращает результат в среднее абсолютное расстояние. Он возвращает единицы и масштаб после того, как отклонения были возведены в квадрат и объединены. Раздел OpenStax о разбросе использует те же обозначения и знаменатель для совокупности.

Что здесь означают две минуты? Это мера разброса времён вокруг среднего в пять минут, выраженная в минутах. Она не говорит, что каждый результат не дальше двух минут от пяти: в списке есть два и девять. И она не требует, чтобы определённая доля значений попадала в этот интервал. Для таких процентных правил нужны допущения о распределении, а не только вычисленное стандартное отклонение.

Если это выборка

Теперь представьте, что те же восемь времён выбраны из гораздо большего числа попыток и вы хотите оценить разброс этой более обширной совокупности. Наблюдаемое среднее пять тоже рассчитано по выборке. В обычной выборочной дисперсии в знаменателе стоит $n-1$:

$$s^2=\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{n-1}=\frac{32}{7}\approx4.5714\ \text{минуты}^2$$

Выборочное стандартное отклонение равно:

$$s=\sqrt{s^2}=\sqrt{\frac{32}{7}}\approx2.1381\ \text{минуты}$$

Результат немного больше, чем для совокупности: та же сумма $32$ делится на семь вместо восьми. Это не выбор между щедрой и строгой формулой. Формулы отвечают на два разных вопроса: описать все восемь значений как полную группу или по восьми наблюдениям оценить разброс более крупной группы. Учебник OpenStax по науке о данных приводит обе формулы и разницу единиц.

Почему семь? Выборочное среднее подогнано к этим же наблюдениям, поэтому отклонения от него обычно выглядят меньше, чем отклонения от неизвестного среднего совокупности. При стандартных условиях выборки использование $n-1$ исправляет склонность занижать дисперсию. Можно запомнить так: после фиксации выборочного среднего семь отклонений могут меняться свободно; восьмое должно довести их сумму до нуля. Более глубокая статистическая причина связана с поведением выборочной дисперсии при повторных выборках. Для этой статьи достаточно практического правила: установите, совокупность перед вами или выборка, до деления.

Какое число сообщать?

Используйте дисперсию, когда расчёт требует разброса в квадрате или дальнейшая статистическая формула определена через дисперсию. Стандартное отклонение удобнее, когда читателю нужно сравнить разброс с исходными измерениями. «Стандартное отклонение около 2.14 минуты» сразу соотносится со средним в пять минут; «дисперсия около 4.57 минуты в квадрате» математически точно, но менее наглядно.

Всегда указывайте способ расчёта. «SD = 2» и «SD = 2.14» получены из одних и тех же восьми времён; без пометки «совокупность» или «выборка» читатель не поймёт разницы. Если калькулятор предлагает $\sigma$ и $s$, это не взаимозаменяемые кнопки. Выбирайте $\sigma$ для описания полной совокупности, а $s$ для выборочного расчёта.

Единица измерения тоже важна. Если значения заданы в сантиметрах, дисперсия выражается в $\mathrm{cm}^2$, а стандартное отклонение в сантиметрах. Если баллы не имеют единицы, оба результата безразмерны. Называя оба числа «баллами» или оба «квадратными баллами», вы скрываете эффект извлечения корня.

Почему не взять только размах?

Размах наших времён равен $9-2=7$ минутам. Он показывает расстояние между крайними значениями и ничего не говорит о шести значениях между ними. Измените одно значение в середине, оставив два и девять прежними: размах останется равным семи, хотя общая картина изменится. Дисперсия и стандартное отклонение учитывают каждое наблюдение, поэтому изменения в середине влияют на итог.

У этого преимущества есть ограничение: возведение в квадрат придаёт далёким значениям большой вес. В нашем наборе одна девятиминутная попытка даёт $16$ из общих $32$ минут в квадрате. Это полезно, когда большой отход от среднего важен, но требует взглянуть на данные, прежде чем толковать одну меру разброса. NIST отмечает усиленное влияние больших отклонений при сравнении мер разброса. Стандартное отклонение не заменяет внимание к необычному значению или асимметричному распределению.

Для интуиции сравните два набора из четырёх значений, у обоих среднее четыре: $[4,4,4,4]$ и $[2,2,6,6]$. У первого все квадраты отклонений и стандартное отклонение равны нулю. Во втором каждое значение отстоит от четырёх на две единицы, поэтому квадрат каждого отклонения равен четырём. Если считать каждый набор полной совокупностью, его дисперсия четыре, а стандартное отклонение два. Одинаковое среднее скрыло весь этот контраст.

Частые ошибки в расчёте

Делить, не определив, что представляют данные. Напишите «совокупность» или «выборка» над расчётом. Для совокупности используйте $N$; для выборочной дисперсии при оценке совокупности $n-1$. Их путаница чаще всего объясняет две разные, но внешне правильные ответы.

Забыть квадратный корень. Сумма, делённая на знаменатель, даёт дисперсию. Стандартное отклонение равно корню из неё. Если задача требует обе меры, сообщите обе.

Потерять единицы. Сумма квадратов отклонений и дисперсия измеряются в квадратных единицах; стандартное отклонение в исходных. Это быстрый способ проверить себя.

Назвать меру средним абсолютным расстоянием. Это другая величина, среднее абсолютное отклонение. При вычислении стандартного отклонения сначала возводят в квадрат, затем усредняют по правилу для совокупности или выборки и в конце извлекают корень. Обычно получается другое число.

Округлять каждую строку. Как можно дольше сохраняйте точные квадраты отклонений и точную дробь. Здесь $32/7$ даст более точное выборочное стандартное отклонение, чем корень из уже округлённой дисперсии.

Потренируйтесь без копирования таблицы

Возьмите $[1,3,3,5]$ и считайте эти четыре значения полной совокупностью. Среднее равно $3$. Отклонения $[-2,0,0,2]$, поэтому сумма их квадратов $8$. Дисперсия совокупности $8/4=2$ квадратные единицы, стандартное отклонение $\sqrt{2}\approx1.4142$ единицы. Если те же четыре значения составляют выборку, делите на три: выборочная дисперсия $8/3\approx2.6667$ и выборочное стандартное отклонение $\sqrt{8/3}\approx1.6330$.

Замените только последнее значение, пять, на девять. Прежде чем считать, предположите, увеличится ли разброс. Да, но сделайте расчёт заново: среднее тоже изменилось, поэтому обновить лишь одну строку старой таблицы отклонений нельзя. Это упражнение показывает, почему среднее и разброс нужно вычислять вместе.

Статистические упражнения Math Zen пригодятся после того, как вы вручную заполните одну таблицу. Тренируйтесь находить среднее, выбирать верный знаменатель и проверять единицы ответа. Если различие между выборкой и совокупностью пока остаётся абстрактным, наш гид по вероятности объясняет, зачем выборка нужна для рассуждений о более широком наборе исходов.

Частые вопросы

Дисперсия всегда больше стандартного отклонения?

Нет. У них разные единицы, поэтому прямое сравнение «больше или меньше» обычно бессмысленно. Численно, если дисперсия меньше единицы в выбранных единицах, её квадратный корень больше самой дисперсии; если больше единицы, корень меньше. Смена единицы может изменить такое сравнение чисел без изменения данных.

Стандартное отклонение может быть отрицательным?

Нет. Квадраты отклонений неотрицательны, их сумма неотрицательна, и квадратный корень, которым определяется стандартное отклонение, тоже неотрицателен. Ноль получается только тогда, когда все наблюдаемые значения одинаковы.

Когда использовать n минус 1?

Используйте $n-1$ для обычных выборочной дисперсии и выборочного стандартного отклонения, если выборочное среднее рассчитано по тем же данным. Используйте $N$, когда данные представляют всю совокупность, которую вы собираетесь описать. Прочтите условие до работы с калькулятором.

Как проще всего запомнить разницу?

Дисперсия измеряет разброс через квадраты отклонений. Стандартное отклонение это корень из дисперсии, снова в исходных единицах данных. В нашем примере сначала $32$ минуты в квадрате в сумме, затем $4$ минуты в квадрате дисперсии совокупности и $2$ минуты стандартного отклонения совокупности.