Find similar content

СМЕШАЙ И (НЕ) ДЕЛАЙ Я уже рассказывал о гипотезах (1 часть, 2 часть), но теперь я решил связать это с показателем p-value и случайными ошибками (также известными как ⍺ и β или ошибки I и II рода) 🤯 Большинство медицинских исследований делается в рамках проверки значимости нулевой гипотезы (Null Hypothesis Significance Testing, NHST). Принцип предполагает, что мы проверяем нулевую гипотезу (Н0), а затем принимаем решение отвергать ее или нет. Но часто в этой концепции неосознанно соединяют 2 метода: Фишера и Нейрона-Пирсона 🍸 1) Подход Фишера Он позволяет рассчитать вероятность получить такой или более экстремальный результат в исследовании при условии, что Н0 верна. Что-то это напоминает... Верно! Это и есть определение p-value 🔥 Мы проверяем насколько вероятно наши полученные данные соответствуют заранее сформулированной Н0. Если не соответствуют, то отвергаем Н0. Т.е. мы просто оцениваем суммарную/кумулятивную вероятность в конкретном исследовании. Низкое значение p указывает только на несоответствие Н0 полученным данным, оно не может быть интерпретировано как доказательство в пользу конкретной альтернативной гипотезы (Н1) 🤔 "No isolated experiment, however significant in itself, can suffice for the experimental demonstration of any natural phenomenon" 2) Подход Неймана и Пирсона Это "игра в долгую", когда на основе предполагаемой величины эффекта выдвигаются Н0 и Н1. При этом с определенной вероятностью можно получить разные варианты результатов, в т.ч. ошибки I рода (⍺; ложноположительный; отклонить Н0, когда она верна) и II рода (β; ложноотрицательный; не отклонить Н0, когда она неверна) 🤖 В этом методе мы лишь предполагаем вероятности (грубо, пытаемся их контролировать/предсказать), но допустили их в конкретном исследовании или нет, не знаем. Т.е. только при многократном тестировании гипотез мы увидим частоту ошибок и сможем принять решение 📊 Эти 2 подхода часто ошибочно смешивают для простоты принятия решений (отклонить Н0), но в своей сути они разные 🎭 📍Когда заранее планируется эксперимент, исследователи пытаются контролировать вероятность ошибок (долгосрочная вероятность), для этого рассчитывают размер выборки. А когда уже получены результаты, то можно лишь рассчитать текущую вероятность получить такие или более экстремальные результаты, если бы Н0 была верна, но при этом нельзя быть уверенным, что мы не допускаем ошибку I или II рода. Однако, когда есть несколько исследований, тестирующих одну Н0, то возможно получится увидеть в каком из них допущена случайная ошибка (опять долгосрочная вероятность). Графически различия подходов можно увидеть на рис.1 При этом, мы не можем "доказать" гипотезу (ни нулевую, ни альтернативную), для этого нужно использовать другие методы (например, Байесовский подход) 🥵 Помните, не путайте и не давайте себя путать. Если хочется разбираться в статистике, читать "критически" статьи, то нужно учиться разбираться в основах (глупо читать книгу без знания алфавита, фонетики, грамматики, орфографии) 📖 А в статистике основ дох... много 😁 @ebm_base #ebm_statisica#ebm_base#hypothesis

ДРУГОЙ ВЗГЛЯД ⠀ В посте про доверительный интервал я упоминал достоверный. Время посмотреть немного поближе 🔍 ⠀ Если мы используем Байесовский подход, то придется использовать некоторые особенности (упрощено): ⠀ 1️⃣ неизвестные величины случайны и имеют определенное распределение; ⠀ 2️⃣ нужно использовать априорное (prior) распределение (наше знание/веру до получения новой информации); ⠀ 3️⃣ добавление к prior новой информации (likelihood, LH) дает нам апостериорное распределение (posterior) - рис.1 ⠀ ❗Соответственно в posterior мы будем получать фиксированный интервал, содержащий определенный процент вероятных значений (при этом estimate для нас будет случайным)❗ ⠀ Грубо говоря, это и есть определение достоверного интервала (Credible interval) 👀 ⠀ Т.е. рассчитав его, мы можем сказать, что "учитывая имеющиеся данные, эффект имеет n% вероятность нахождения в этом интервале" 😶‍🌫️ ⠀ Я думаю в сравнении с доверительным интервалом, такое определение запоминается проще. Но в связи с распространенностью доверительного интервала, оно часто приписывается иму, что является ошибкой 🚫 ⠀ Визуально можно попытаться отобразить разницу между интервалами так (рис.2) ⠀ В большинстве случаев для доверительного интервала используют 95%, а для достоверного? 🙇🏻‍♂️ Единого мнения на этот счёт нет. Например, McElreath предлагает использовать 89% (почему нет?). Есть много места для размышлений (различные варианты на рис.3) ⠀ Как можно заметить, в Байесовской статистики оценочные параметры являются случайными величинами с распределением. И, чтобы изучать их неопределенность, используется апостериорное распределение с границами в виде достоверного интервала 😵 ⠀ Звучит сложно, другой взгляд и понимание, но получаем достаточно интересную интерпретацию📊 ⠀ P.S. Я не являюсь экспертом в Байесовской статистике, на данный момент уровень моих знаний в ней составляет в лучшем случае 1%, поэтому возможно коллеги меня поправят🤔 #biostatistics#биостатистика#ebm_статистика#ebm_base