Главная > Эстрогены > Подсчет критерия U Манна-Уитни. Непараметрические методы сравнения двух выборок и их применение в R


Подсчет критерия U Манна-Уитни. Непараметрические методы сравнения двух выборок и их применение в R




​ U-критерий Манна-Уитни – непараметрический статистический критерий, используемый для сравнения двух независимых выборок по уровню какого-либо признака, измеренного количественно. Метод основан на определении того, достаточно ли мала зона перекрещивающихся значений между двумя вариационными рядами (ранжированным рядом значений параметра в первой выборке и таким же во второй выборке). Чем меньше значение критерия, тем вероятнее, что различия между значениями параметра в выборках достоверны.

1. История разработки U-критерия

Данный метод выявления различий между выборками был предложен в 1945 году американским химиком и статистиком Фрэнком Уилкоксоном .
В 1947 году он был существенно переработан и расширен математиками Х.Б. Манном (H.B. Mann) и Д.Р. Уитни (D.R. Whitney), по именам которых сегодня обычно и называется.

2. Для чего используется U-критерий Манна-Уитни?

U-критерий Манна-Уитни используется для оценки различий между двумя независимыми выборками по уровню какого-либо количественного признака.

3. В каких случаях можно использовать U-критерий Манна-Уитни?

U-критерий Манна-Уитни является непараметрическим критерием, поэтому, в отличие от t-критерия Стьюдента , не требует наличия нормального распределения сравниваемых совокупностей.

U-критерий подходит для сравнения малых выборок: в каждой из выборок должно быть не менее 3 значений признака. Допускается, чтобы в одной выборке было 2 значения, но во второй тогда должно быть не менее пяти.

Условием для применения U-критерия Манна-Уитни является отсутствие в сравниваемых группах совпадающих значений признака (все числа – разные) или очень малое число таких совпадений.

Аналогом U-критерия Манна-Уитни для сравнения более двух групп является Критерий Краскела-Уоллиса .

4. Как рассчитать U-критерий Манна-Уитни?

Сначала из обеих сравниваемых выборок составляется единый ранжированный ряд , путем расставления единиц наблюдения по степени возрастания признака и присвоения меньшему значению меньшего ранга. В случае равных значений признака у нескольких единиц каждой из них присваивается среднее арифметическое последовательных значений рангов.

Например, две единицы, занимающие в едином ранжированном ряду 2 и 3 место (ранг), имеют одинаковые значения. Следовательно, каждой из них присваивается ранг равный (3 + 2) / 2 = 2,5.

В составленном едином ранжированном ряду общее количество рангов получится равным:

N = n 1 + n 2

где n 1 - количество элементов в первой выборке, а n 2 - количество элементов во второй выборке.

Далее вновь разделяем единый ранжированный ряд на два, состоящие соответственно из единиц первой и второй выборок, запоминая при этом значения рангов для каждой единицы. Подсчитываем отдельно сумму рангов, пришедшихся на долю элементов первой выборки, и отдельно - на долю элементов второй выборки. Определяем большую из двух ранговых сумм (T x ) соответствующую выборке с n x элементами.

Наконец, находим значение U-критерия Манна-Уитни по формуле:

5. Как интерпретировать значение U-критерия Манна-Уитни?

Полученное значение U-критерия сравниваем по таблице для избранного уровня статистической значимости (p=0.05 или p=0.01 ) с критическим значением U при заданной численности сопоставляемых выборок:

  • Если полученное значение U меньше табличного или равно ему, то признается статистическая значимость различий между уровнями признака в рассматриваемых выборках (принимается альтернативная гипотеза). Достоверность различий тем выше, чем меньше значение U.
  • Если же полученное значение U больше табличного, принимается нулевая гипотеза.

где
,

7. Определить критическое значение -критерия (см. прил., табл. А3).

8. Сравнить расчетное и критическое значение -критерия. Если расчетное значе­ние больше или равно критическому, то гипотеза
равенства средних значений в двух выборках изменений отвергается. Во всех других случаях она прини­мается на заданном уровне значимости.

Лекция 4. Критерии для непараметрических распределений

4.1. -Критерий Манна-Уитни

Назначение критерия. Критерий предназначен для оценки различии между двумя непараметрическими вы­борками по уровню какого-либо признака, количественно измеренного. Он позволяет выявлять различия между малыми выборками, когда

Описание критерия

Этот метод определяет, достаточно ли мала зона пересекающихся значений между двумя рядами. Чем меньше эта область, тем более вероятно, что различия достоверны. Эмпирическое значение критерия и отражает то, насколько велика зона совпадения между рядами. Поэтому, чем меньше
тем более вероятно, что различия достоверны.

Гипотезы

Уровень признака в группе 2 не ниже уровня признака в группе 1.

Уровень признака в группе 2 ниже уровня признака в группе 1.

Алгоритм расчета критерия Манна-Уитни

1. Перенести все данные испытуемых на индивидуальные карточки.

2. Пометить карточки испытуемых выборки 1 одним цветом, скажем, красным, а все карточки из выборки 2 – другим, например синим.

3. Разложить все карточки в единый ряд по степеням нарастания признака, не считаясь с тем, к какой выборке они относятся, как если бы была одна большая выборка.

4. Проранжировать значения на карточках, приписывая меньшему значению меньший ранг.

5. Вновь разложить карточки на две группы, ориентируясь на цветные обозначения: красные карточки в один ряд, синие – в другой.

7. Определить большую из двух ранговых сумм.

8. Определить по формуле значение

,

где
количество испытуемых в выборке 1;
количество испытуемых в выборке 2;
большая из двух ранговых сумм;
количество испытуемых в группе с большей суммой рангов.

9. Определить критические значения . Если
то

гипотеза
принимается. Если
то отвергается. Чем меньше

значения , тем достоверность различий выше.

Пример. Сравнить эффективность двух методов обучения в двух группах. Результаты испытаний представлены в таблице 4.

Таблица 4

Перенесем все данные в другую таблицу, выделив данные второй группы, подчеркиваем и делаем ранжирование общей выборки (см. алгоритм ранжирования в методических указаниях к заданию).

Значения

Найдем сумму рангов двух выборок и выберем большую из них:

Рассчитаем эмпирическое значение критерия по формуле (3)

Определим критическое значение критерия при уровне значи­мости
(см. прил. табл. А1)

Вывод: так как расчетное значение критерия больше критического при уровне зна­чимости
и
, гипотеза о равенстве средних принимается, различия в методиках обучения будут несущественны.

Непараметрический критерий Манна-Уитни используется для сравнения двух независимых выборок. При этом совсем не важно, чтобы выборки были одинакового размера. Напомним, что все элементы из первой выборки сравниваются со всеми элементами второй выборки. Если какой-то элемент больше сравниваемого, то ему засчитывается 1 балл. Если элементы равны, то им засчитывается по 0,5 балла. Затем баллы элементов для каждой выборки суммируются, а меньшая полученная сумма является критерием – U-статистика. Если выборки не имеют существенных различий, то значение критерия должно быть больше критического значения для выборок соответствующего размера.

Примечание.
Здесь приведено очень упрощенное описание критерия Манна-Уитни, т.к. подразумевается, что Вы уже с ним знакомы.

Пример расчета критерия Манна-Уитни

У нас есть небольшой набор данных с эффективностью продаж двух продавцов:

Мы хотим определить, какой из продавцов работает лучше, и выплатить лучшему продавцу повышенную премию. Сделаем это с помощью надстройки от office-menu.

Перейдем на вкладку надстройки и кликнем на ленте пункт с нужным критерием, после чего будет предложено выбрать диапазон с данными для анализа. Диапазон выбирается без заголовков, первый столбец должен содержать наименование выборок, второй значения для них.

После клика по кнопке «Готово» откроется новая книга Excel с готовым расчетом и вспомогательной таблицей.

Из анализа видно, несмотря на то что продавец Иван хоть и имеет низкую конверсию в сравнении с Петром, это не говорит о том, что он работает хуже, а высокая конверсия Петра может быть выбросами в данных. Возможно на больших выборках результаты поменяются, но на текущем наборе говорить о существенных различиях нельзя.

Для того, чтобы использовать описанные в данной категории функции, скачайте и установите нашу надстройку.
Работа надстройки была успешно протестирована на версиях Excel: 2007, 2010 и 2013. В случае возникновения проблем с ее использованием, сообщайте .

  • < Назад

Если материалы office-menu.ru Вам помогли, то поддержите, пожалуйста, проект, чтобы мы могли развивать его дальше.

В этой статье Вы узнаете, почему кроме t-теста существуют другие методы сравнения двух выборок. Начнем мы с того, что вспомним о нормальности данных и связанной с ней делением статистических тестов на две категории: параметрические и непараметрические. О последних мы поговорим более подробно: разберем три наиболее популярных теста, а также научимся их запускать в среде R.

Параметрический или непараметрический критерий различия?

Статистические методы, использующие параметры нормального распределения данных (среднее, стандартное отклонение и прочее) называются параметрическими . Так например, рассмотренный в предыдущей статье является типичным параметрическим методом. Почему? Потому, что главным условием для его проведения является нормальное распределение количественных данных. Непараметрические методы, напротив, не зависят от распределения данных и позволяют работать как с количественными, так и с порядковыми данными (например: размер обуви, шкала силы землетрясений).

При нормальном распределении данных параметрические критерии имеют большую мощность по сравнению с непараметрическими. Однако, когда данные выборок не проходят тесты нормальности (такие, как qqplot и Шапиро тест), непараметрические методы дают более точные предсказания. Особенно они эффективны с выборками небольшого размера (<100 наблюдений), на распределение которых могут влиять неизвестные факторы. Сегодня мы познакомимся с непараметрическими аналогами t-теста, использующимися также, для сравнения двух выборок. При выборе критерия следует обратить внимание на две вещи: зависимость данных выборок друг от друга и объем выборок.

На приведенном выше рисунке Вы видите упрощенную классификацию методов сравнения средних (или медиан) двух выборок. Мы кратко поговорим о каждом из непараметрических критериев, и научимся применять их в среде R. Чтож, приступим!

Критерий Уилкоксона

Начнем знакомство с непараметрических тестов для зависимых выборок. Прежде всего стоит отметить, что выборки называются зависимыми, когда испытуемые одной и той же группы были протестированы в разные моменты времени с меняющимися (1) или неменяющимися (2) условиями эксперимента. В первом случае проверяется эффект какого либо действия в сравнении с контрольным измерением ("до и после"), во втором - повторяемость результатов эксперимента ("контроль-повтор").

Тест Уилкоксона (от английского "Wilcoxon signed-rank test") является широко используемым и эффективным методом выявления различий между медианами двух зависимых выборок с распределением данных отличным от нормального. Он идеально подходит для сравнения маленьких выборок, где количество испытуемых/исследований больше 5, но меньше 50. Как и для всех критериев, рассмотренных в этой статье, данные могут быть как количественными, так и порядковыми. Метод был разработан в 1945 году американским статистиком и химиком Фрэнком Уилкоксоном (фото справа).

Чтобы запустить тест Уилкоксона в среде R следует загрузить данные выборок и ввести следующую команду:

wilcox.test("выборка_1", "выборка_2" , paired = T)

Как и в t-тесте, в непараметрических статистических тестах внутри скобок можно добавить дополнительные параметры, такие как alternative , conf.int , conf.level . Чтобы посмотреть все аргументы функции, поставьте перед ней знак вопроса, в нашем случае: ?wilcox.test

G-критерий знаков

Если же количество исследований в выборке больше 50, то следует использовать G-критерий знаков. Критерий знаков по статистической мощности уступает Уилкоксону, но превосходит большинство других непараметрических аналогов. Данные выборок должны быть зависимыми, количество исследований в выборке от 5, но не более 300 (про механизм расчетов и ограничения метода можно почитать ).

Провести тест в R не сложно, но потребуется сделать несколько манипуляций с данными. Сначала мы загрузим данные двух зависимых выборок, например систолическое (верхнее) давление до и после применения лекарства у 60 пациентов-гипертоников. Загрузим данные "before" и "after" в среду R. Затем визуализируем их.

before <- c(171.2, 169.8, 154.6, 130.9, 158.5, 145.5, 143.5, 144.7, 147.7, 160.7, 154.7, 181.8, 167.2, 137.4, 180.2, 138.7, 159.9, 141.8, 172.2, 167.0, 137.2, 170.9, 168.4, 163.7, 160.1, 163.5, 146.7, 173.9, 180.1, 136.0, 159.0, 145.6, 186.5, 177.7, 167.7, 167.4, 165.9, 147.2, 165.2, 133.3, 175.0, 174.7, 163.0, 154.1, 189.4, 166.5, 153.0, 134.3, 177.1, 150.4, 152.4, 176.2, 160.3, 135.3, 131.2, 172.1, 137.0, 156.6, 178.5, 168.1) after <- c(179.5, 141.9, 124.7, 103.2, 143.1, 146.0, 132.2, 104.9, 145.3, 123.5, 135.2, 176.2, 142.7, 114.1, 171.9, 115.0, 126.4, 108.0, 171.7, 148.8, 103.5, 178.5, 138.9, 150.0, 131.8, 169.2, 131.4, 138.8, 146.2, 116.1, 148.8, 109.2, 186.3, 164.1, 147.3, 165.3, 140.0, 122.6, 174.4, 104.6, 156.6, 175.3, 126.8, 122.6, 184.0, 139.6, 149.4, 105.3, 181.9, 134.6, 129.4, 148.0, 170.2, 144.2, 133.3, 171.8, 118.4, 131.2, 150.0, 131.0) boxplot(before, after, col = c(6,5), main = "The effect of treatment", outer = TRUE) axis(1, at=1:2, labels=c("before","after"))

Затем найдем разность между векторами "before" и "after" и назовем новый вектор "difference", после чего при помощи команды length узнаем его длину. Так как нас интересует, снижает ли лекарство давление у пациентов, мы узнаем какое количество элементов в векторе "difference" больше нуля. Это количество принято называть числом "успехов".

difference <- before - after difference length(difference) length(difference)

Теперь все готово для того, чтобы запустить G-критерий знаков в R. Для этого воспользуемся командой binom.test , где в параметрах функции укажем сначала число "успехов", затем число исследований в выборке.

binom.test(50, 60)

Нулевая гипотеза говорит о том, что медианы выборок статистически не отличаются, альтернативная - что статистические различия есть. В нашем случае p-value значительно меньше 0.05, поэтому мы можем с уверенностью отвергнуть нулевую гипотезу и принять альтернативую: две выборки статистически отличаются друг от друга. Также мы видим, что у 83% пациентов давление снизилось. Для демонстрации статистической значимости результатов эксперимента, просто добавьте к графику надпись p-value < 0.001.

Критерий Манна-Уитни

Этот тест также был изначально разработан и опубликован Уилкоксоном в 1945 году. Однако спустя два года его существенно усовершенствовали два математика, в честь которых и был назван критерий. В отличие от двух предыдущих критериев, тест Манна-Уитни используется при сравнении двух независимых выборок , также имеющих отклонения от нормального распределения. Подробнее об алгоритме расчета данного критерия можете почитать в этой статье .

Запустить тест Манна-Уитни в R крайне просто, используем уже известную нам функцию "wilcox.test" и убираем из скобок "paired = T":

wilcox.test("выборка_1", "выборка_2" )

Однако при проведении этого метода необходимо соблюдать два условия. Во-первых, одинаковые значения в выборке должны быть сведены к минимуму (все числа должны быть разными). Во-вторых, в каждой выборке должно быть не менее трех исследований (минимум 3 и 3, также допускается 5 и 2).

Заключение

Непараметрических методов существует великое множество, сегодня мы познакомились лишь с тремя наиболее используемыми критериями для сравнения двух выборок. В среде R эти тесты запустить довольно просто, поэтому главный акцент в выборе метода следует делать на его пригодность к решению конкретно Вашей задачи.

Настоящий статистический метод был предложен Фрэнком Вилкоксоном (см. фото) в 1945 году. Однако в 1947 году метод был улучшен и расширен Х. Б. Манном и Д. Р. Уитни, посему U-критерий чаще называют их именами.

Критерий предназначен для оценки различий между двумя выборками по уровню какого-либо признака, количественно измеренного. Он позволяет выявлять различия между малыми выборками, когда n 1 ,n 2 ≥3 или n 1 =2, n 2 ≥5, и является более мощным, чем критерий Розенбаума.

Описание U-критерия Манна-Уитни

Существует несколько способов использования критерия и несколько вариантов таблиц критических значений, соответствующих этим способам (Гублер Е. В., 1978; Рунион Р., 1982; Захаров В. П., 1985; McCall R., 1970; Krauth J., 1988).

Этот метод определяет, достаточно ли мала зона перекрещивающихся значений между двумя рядами. Мы помним, что 1-м рядом (выборкой, группой) мы называем тот ряд значений, в котором значения, по предварительной оценке, выше, а 2-м рядом - тот, где они предположительно ниже.

Чем меньше область перекрещивающихся значений, тем более вероятно, что различия достоверны. Иногда эти различия называют различиями в расположении двух выборок (Welkowitz J. et al., 1982).

Эмпирическое значение критерия U отражает то, насколько велика зона совпадения между рядами. Поэтому чем меньше U эмп, тем более вероятно, что различия достоверны.

Гипотезы U - критерия Манна-Уитни

H 0 : Уровень признака в группе 2 не ниже уровня признака в группе 1.
H 1 : Уровень признака в группе 2 ниже уровня признака в группе 1.

Ограничения U-критерия Манна-Уитни

1. В каждой выборке должно быть не менее 3 наблюдений: n 1 ,n 2 ≥ З; допускается, чтобы в одной выборке было 2 наблюдения, но тогда во второй их должно быть не менее 5.

2. В каждой выборке должно быть не более 60 наблюдений; n 1 , n 2 ≤ 60.

Автоматический расчет U-критерия Манна-Уитни

Шаг 1

Введите в первую колонку («Выборка 1») данные первой выборки, а во вторую колонку («Выборка 2») данные второй выборки. Данные вводятся по одному числу на строку; без пробелов, пропусков и т.д. Вводятся только цифры. Дробные числа вводятся со знаком «.» (точка). После заполнения колонок нажмите на кнопку «Шаг 2», чтобы произвести автоматический расчет U-критерия Манна-Уитни.