Основные идеи

Цель дисперсионного анализа. Основной целью дисперсионного анализа является исследование значимости различия между средними. Если вы просто сравниваете средние в двух выборках, дисперсионный анализ даст тот же результат , что и обычный t-критерий для независимых выборок (если сравниваются две независимые группы объектов или наблюдений) или t-критерий для зависимых выборок (если сравниваются две переменные на одном и том же множестве объектов или наблюдений).

Откуда произошло название Дисперсионный анализ? Может показаться странным, что процедура сравнения средних называется дисперсионным анализом. В действительности, это связано с тем, что при исследовании статистической значимости различия между средними двух (или нескольких) групп, мы на самом деле сравниваем (т.е. анализируем) выборочные дисперсии.

Разбиение суммы квадратов

В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты. Для выборки объема N выборочная дисперсия вычисляется как сумма квадратов отклонений от выборочного среднего, деленная на N-1 (объем выборки минус единица). Таким образом, при фиксированном объеме выборки N, дисперсия есть функция суммы квадратов (отклонений) обозначаемая, для краткости SS (от английского Sums of Squares - Сумма Квадратов). Рассмотрим следующий набор:

Средние двух групп существенно различны (2 и 6, соответственно). Сумма квадратов отклонений внутри каждой группы равна 2. Складывая их, получаем 4. Если теперь повторить эти вычисления без учета групповой принадлежности , то есть, если вычислить SS исходя из общего среднего этих двух выборок, то получим величину 28. Иными словами, дисперсия (сумма квадратов), основанная на внутригрупповой изменчивости, приводит к гораздо меньшим значениям, чем при вычислении на основе общей изменчивости (относительно общего среднего). Причина этого, очевидна, заключается в существенной разнице между суммами квадратов. В самом деле, если использовать для анализа этих данных модуль Дисперсионный анализ, то будет получена следующая таблица, называемая таблицей дисперсионного анализа:

Как видно из таблицы, общая сумма квадратов SS = 28 разбита на компоненты: сумму квадратов, обусловленную внутригрупповой изменчивостью (2+2=4; смотри вторую строку) и сумму квадратов, обусловленную различием средних значений между группами (28-(2+2)=24; смотри первую строку).

SS ошибок и SS эффекта. Внутригрупповая изменчивость (SS) обычно называется остаточной компонентой или дисперсией ошибки. Это значит, что обычно при проведении эксперимента она может быть предсказана или объяснена. С другой стороны, SS эффекта можно объяснить различиями между средними значениями в группах. Иными словами, принадлежность к некоторой группе объясняет межгрупповую изменчивость, т.к. нам известно, что эти группы обладают разными средними значениями.

Проверка значимости. Проверка значимости в дисперсионном анализе основана на сравнении компоненты дисперсии, обусловленной межгрупповым разбросом (называемый Средним квадратом эффекта или MSэффект) и компоненты дисперсии, обусловленной внутригрупповым разбросом (называемый средним квадратом ошибки или MSошибка; эти термины были впервые использованы в работе Edgeworth, 1885). Если верна нулевая гипотеза (равенство средних в двух популяциях), то можно ожидать сравнительно небольшое различие выборочных средних из-за чисто случайной изменчивости. Поэтому, при нулевой гипотезе, внутригрупповая дисперсия будет практически совпадать с общей дисперсией, подсчитанной без учета групповой принадлежности. Полученные внутригрупповые дисперсии можно сравнить с помощью F-критерия, проверяющего, действительно ли отношение дисперсией значимо больше 1. В рассмотренном примере, критерий показывает, что различие между средними статистически значимо.

Основная логика дисперсионного анализа. Подводя итоги, можно сказать, что целью дисперсионного анализа является проверка статистической значимости между средними (для групп или переменных). Эта проверка проводится с помощью разбиения суммы квадратов на компоненты, т.е. с помощью разбиения общей дисперсии (вариации) на части, одна из которых обусловлена случайной ошибкой (то есть внутригрупповой изменчивостью), а вторая связана с различием средних значений. Последняя компонента дисперсии затем используется для анализа статистической значимости различия между средними значениями. Если это различие значимо, нулевая гипотеза отвергается и принимается альтернативная гипотеза о существенном различии между средними.

Итак, формально в дисперсионном анализе (ДА) рассматривается следующая общая линейная модель: , где и - это соответственно ()-вектор-столбец и ()-матрица наблюдений исследуемых переменных и , . - это ()-вектор-столбец неизвестных параметров и есть ()-вектор-столбец случайных "ошибок" с математическим ожиданием и с матрицей рассеяния .

При исследовании свойств НК-оценки (оценки, полученной по методу наименьших квадратов) в линейной модели как линейной несмещенной МД-оценки (оценки, имеющей минимальную дисперсию) было отмечено, что сумма квадратов (SS) наблюдений может быть преобразована к сумме двух неотрицательных компонент

,       (1)

где первое слагаемое представляет собой SS остатков (остаточную SS) от модели, подогнанной по методу НК. Второе слагаемое в правой части (1) представляет собой величину уменьшения SS, обусловленного подгонкой модели. Чем больше эта величина (т.е. чем меньше остаточная SS), тем лучше подогнанная модель отражает наблюдаемое соотношение между и .

Если сумма квадратов может быть представлена в виде суммы неотрицательных компонент, каждая из которых соответствует некоторому подмножеству параметров линейной модели, то будем говорить о дисперсионном анализе (ДА) по . ДА интерпретируется как метод разделения влияния на наблюдаемые значения различных подмножеств множества параметров. Важность такого разделения во многих областях исследования делает ДА одним из важнейших методов прикладной статистики.

ДА используется для разделения влияний на отдельных параметров. В экспериментальных исследованиях в качестве параметров часто выступают воздействия некоторых "обработок" над переменной . Так, например, при проведении сельскохозяйственных экспериментов, откуда и возникла соответствующая терминология, может быть, например, урожаем пшеницы с участка определенного размера, а изучаемая "обработка" состоит в применении на участке некоторого удобрения в течение сельскохозяйственного сезона. Естественно, что в эксперимент должны включаться как обработанные, так и необработанные удобрением участки. Главным при этом является то, что такого рода эксперимент описывается в терминах общей линейной модели посредством введения индикаторной переменной , которая равна единице, если воздействие присутствует, и нулю в противном случае.

Легко понять, что любой набор "обработок" можно описать указанным способом. Нужно только определить индикаторную переменную для каждой участвующей в эксперименте "обработки". Так, если в примере предыдущего абзаца имеется два удобрения, то нужно определить как индикаторную переменную для первого и как индикаторную переменную для второго удобрения. При этом для участков, на которых вносятся оба удобрения, следует положить = 1, = 1; для участков, получающих только первое удобрение, положить = 1, = 0; для получающих только второе удобрение, положить = 0, = 1; а для участков, на которые удобрения не вносятся, положить = = 0. Для этого случая без труда можно провести анализ линейной модели, ибо по определению линейной модели элементами матрицы могут быть любые заданные константы.

Простейшим является случай, называемый обычно однофакторным анализом (классификация по одному признаку), когда наблюдения разбиты на группы в соответствии с возможным различием средних математических ожиданий.

Зависимые и независимые переменные. Переменные, значения которых определяется с помощью измерений в ходе эксперимента (например, балл, набранный при тестировании) называется зависимыми переменными. Переменные, которыми можно управлять при проведении эксперимента (например, методы обучения или другие критерии, позволяющие разделить наблюдения на группы или классифицировать) называются факторами или независимыми переменными.

Многофакторный дисперсионный анализ

Множество факторы. Мир по своей природе сложен и многомерен. Ситуации, когда некоторые явление полностью описывается одной переменной, чрезвычайно редки. Например, если мы пытаемся научиться выращивать большие помидоры, следует рассматривать факторы, связанные с генетической структурой растений, типом почвы, освещенностью, температурой и т.д. Таким образом, при проведении типичного эксперимента приходится иметь дело с большим количеством факторов. Основная причина, по которой использование дисперсионного анализа предпочтительнее повторного сравнения двух выборок при разных уровнях факторов с помощью t-критерия, заключается в том, что дисперсионный анализ существенно более эффективен и, для малых выборок, более информативен.

Управление факторами. Предположим, что в рассмотренном выше примере анализа двух выборок мы добавим еще один фактор, например, Пол-Gender. Пусть каждая группа теперь состоит из 3 мужчин и 3 женщин. План этого эксперимента можно представить в виде таблицы 2 на 2:

До проведения вычислений можно заметить, что в этом примере общая дисперсия имеет, по крайней мере, три источника: (1) случайная ошибка (внутригрупповая дисперсия), (2) изменчивость, связанная с принадлежностью к экспериментальной группе, и (3) изменчивость, обусловленная полом объектов наблюдения. (Отметим, что существует еще один возможный источник изменчивости - взаимодействие факторов, которое мы обсудим позднее.)

Что произойдет, если мы не будем включать Пол-Gender как фактор при проведении анализа и вычислим обычный t-критерий? Если мы будем сумму квадратов, игнорируя Пол-Gender (т.е. объединяя объекты разного пола в одну группу при вычислении внутригрупповой дисперсии и получив при этом сумму квадратов для каждой группы равную SS=10 и общую сумму квадратов SS=10+10=20), то получим большее значение внутригрупповой дисперсии, чем при более точном анализе с дополнительным разбиением на подгруппы по Полу-Gender (при этом внутригрупповые средние будут равны 2, а вообще внутригрупповая сумма квадратов равна SS=2+2+2+2=8). Итак, при введении дополнительного фактора, остаточная дисперсия уменьшилась. Это связано с тем, что среднее значение для Мужчин-Males меньше, чем среднее значение для Женщин-Females, и это различие в средних увеличивает суммарную внутригрупповую изменчивость, если фактор пола не учитывается. Управление дисперсией ошибки увеличивает чувствительность (мощность) критерия.

На этом примере видно еще одно преимущество дисперсионного анализа по сравнению с обычным t критерием для двух выборок. Дисперсионный анализ позволяет изучать каждый фактор, управляя значениями других факторов. Это, в действительности, и является основной причиной его большой статистической мощности (для получения значимых результатов требуется меньше объемы выборок). По этой причине Дисперсионный анализ даже на небольших выборках дает статистически более значимые результаты, чем простой t критерий.

Эффекты взаимодействия

Главные эффекты, попарные (двухфакторные) взаимодействия. Предположим, что имеется две группы студентов, причем психологически студенты первой группы настроены на выполнение поставленных задач и более целеустремленны, чем студенты второй группы, состоящей из более ленивых студентов. Разобьем каждую группу случайным образом пополам и предложим одной половине в каждой группе сложное задание, а другой - легкое. После этого измерим, насколько напряженно студенты работают над этими заданиями. Средние значения для этого (вымышленного) исследования показаны в таблице:

Какой вывод можно сделать из этих результатов? Можно ли заключить, что: (1) над сложным заданием студенты трудятся более напряженно; (2) целеустремленные студенты работают упорнее, чем ленивые? Ни одно из этих утверждений не отражает сущность систематического характера средних, приведенных в таблице. Анализируя результаты, правильнее было бы сказать, что над сложными заданиями работают упорнее только целеустремленные студенты, в то время как над легкими заданиями только ленивые работают упорнее. Другими словами характер студентов и сложность задания взаимодействуя между собой влияют на затрачиваемое усилие. Это пример парного взаимодействия между характером студентов и сложностью задания. Отметим, что утверждения 1 и 2 описывают главные эффекты.

Взаимодействия высших порядков. В то время как объяснить попарные взаимодействия еще сравнительно легко, взаимодействия высших порядков объяснить значительно сложнее. Представим себе, что в рассматриваемый выше пример, введен еще один фактор Пол-Gender и мы получили следующую таблицу средних значений:

Какие теперь выводы можно сделать из полученных результатов? Графики средних позволяют легко интерпретировать сложные эффекты. Модуль дисперсионного анализа позволяет строить эти графики практически одним щелчком мышки. Изображение на графиках внизу представляет собой изучаемое трехфакторное взаимодействие.

Рисунок 1. Графики средних.

Глядя на графики, можно сказать, что у женщин существует взаимодействие между характером и сложностью теста: целеустремленные женщины работают над трудным заданием более напряженно, чем над легким. У мужчин это же взаимодействие носит обратный характер. Видно, что описание взаимодействия между факторами становится более запутанным.

Общий способ описания взаимодействий. В общем случае взаимодействие между факторами описывается в виде изменения одного эффекта под воздействием другого. В рассмотренном выше примере двухфакторное взаимодействие можно описать как изменение главного эффекта фактора, характеризующего сложность задачи, под воздействием фактора, описывающего характер студента. Для взаимодействия трех факторов из предыдущего параграфа можно сказать, что взаимодействие двух факторов (сложности задачи и характера студента) изменяется под воздействием Пол-Gender. Если изучается взаимодействие четырех факторов, можно сказать, что взаимодействие трех факторов, изменяется под воздействием четвертого фактора, т.е. существуют различные типы взаимодействий на разных уровнях четвертого фактора. Оказалось, что во многих областях взаимодействие пяти или даже большего количества факторов не является чем-то необычным.

(c) Copyright StatSoft, Inc., 1984-2003
STATISTICA является торговой маркой StatSoft, Inc.