Post #650

Недавно с Лешей Титовым (да-да, тот самый) обсуждали параметрические и непараметрические тесты для 2-х выборок. И несколько сообщений спустя это привело с симуляциям. И некоторым интересным наблюдениям. Начнем! Первая симуляция (А) 1. Создаются 2 выборки по 100 наблюдений, каждая из нормального распределения с характеристиками (mean = 1, sd = 1). Т.е. в них верна нулевая гипотеза (Н0) о равенстве средних (mean1 = mean2) и такая же гипотеза о равенстве рангов 2. Из каждой берем случаный значения с повторами (бутстреп-выборки), рассчитываем на ней значение р для t-теста (параметрический) и теста Mann-Whitney (непараметрический) 3. суммируем сколько раз получили отклонений Н0 4. Повторяем 50 раз Что видим? В целом ни по одному из тестов не отмечается сильного отклонения от уровня в 5% (размер ощибки 1 рода). Но это логично) Вторая симуляция (В) 1. Те же 2 выборки по 100 наблюдений, но теперь постепенно увеличиваемся разницу между средними в популяции. А значит при MD = 0 Н0 еще верна, а дальше не верна. 2-4 так же Что видим? Тут получается мы наблюдаем как меняется мощность каждого теста. И что интересно, она растет одинаково у каждого из них. Можно сделать первое предположении на основе симуляций. При нормальном распределении данных в популяции (также одинаковой дисперсии и отсутсвии проблем в выборочных данных) независимо от верности Н0 оба теста имеют схожие характеристики.