Find similar content

ОЦЕНИВАЙ ВМЕСТЕ "Забудьте о p-значениях и о том, исключают ли ваши доверительные интервалы 0" © Одна из завершающих строчек (пер. с английского) книги "Регрессия: теория и практика" Гельмана Э. и др. Но почему такое отношение у профессоров по статистике❓ В предыдущих постах я рассказывал о p-value и доверительных интервалах⏮️ Очень часто их используют, чтобы принимать какие-то решения. И действительно, часто можно увидеть эти показатели в исследованиях, где тестируются гипотезы 🟰 📍Для р стандартно определяется порог в 0,05. Он говорит, что вероятность увидеть наши такие или еще более экстремальные результаты при верной нулевой гипотезе (различий нет) составляет 5%❗ И в научном обществе посчитали, что такая вероятность достаточно мала, чтобы мы ее могли наблюдать 👻 На самом деле уровень 0,05 установлен по согласованию, никаких объективных причин он за собой не несет. В связи с чем постоянно ведутся споры и предлагается ужесточение до 0,01 или даже до 0,001 🤬 Но тогда возникает проблема с пересмотром уже имеющихся исследований ⚖️ ⚠️Поэтому формально: если р<0,05, то мы отвергаем нулевую гипотезу (различий нет), указывая "получены значимые различия"⚠️ 📍95 % доверительный интервал (ДИ) – это интервал, сгенерированный процедурой, которая при многократных повторах выборок с вероятностью 95% содержит/включает/"покрывает" истинное значение популяции❗ Т.е. если в 100 разных выборках рассчитать 95% ДИ, то в среднем 95 из них будут покрывать истинный эффект, остальные 5 будут ошибаться 🤯 Для ДИ есть две ситуации: 1️⃣ Если мы оцениваем его для разницы/difference (А – В), то он не должен включать 0. Потому что иначе мы предполагаем, что есть вероятность, что истинное значение равно ему (либо покрывает, либо нет, но мы этого не знаем). И так как мы оцениваем только один конкретный ДИ для одной выборки, то не можем знать другие (иначе можно было бы предположить, что мы ошибаемся). 2️⃣ В случае оценки отношения/ratio (А/В), он не должен включать 1. Остальной принцип остается таким же. ⚠️Поэтому формально: для разницы ДИ не должен включать 0, для отношения – 1, тогда мы отклоняем нулевую гипотезу⚠️ Обычно точную оценку (estimate) приводят вместе с 95% ДИ и р. Могут возникать формальные ситуации, когда ДИ не значим, а р значим. Как в этой ситуации поступать?🙀 Я обычно склоняюсь к идеи оценивания по ДИ (за счет его большей информативность). Но в такой ситуации нужно обязательно учитывать другие нюансы (размер выборки, множественные сравнения, распределение ошибок и т.д.)🧐 Так почему такое отношение у профессоров по статистике?👨🏻‍🎓 Они против формальных оценок на основе пересечения порога. Один показатель - плохой способ оценить всю методологию и анализ, нужно не отбрасывать доступную информацию, а использовать ее 🙇🏻‍♂️ #ebm_статистика#биостатистика#biostatistics

ДОВЕРЯТЬ ВАЖНО ⠀ Исследователи стараются оценить данные каким-то точечным параметром (среднее, медиана, частота). Это удобно, понятно и хорошо интерпретируется. Но конкретные показатели отличаются между людьми (межгрупповая изменчивость), что создает определенные трудности – смещаемость (при выбросах) и неопределенность (неизвестна истинная точная оценка в популяции) 👨‍👩‍👧‍👦 ⠀ Поэтому при анализе выборки мы используем интервальные оценки, включающие поправку на неопределенность. Наиболее популярная – доверительный интервал 🤖 ⠀ Самое дискутабельное и сложное – это его определение и интерпретация 🙄 ⠀ ❗️Доверительный интервал (ДИ, confidence interval, CI) – это интервал, сгенерированный процедурой, которая при многократных повторах выборок с вероятностью n% содержит/включает/"покрывает" истинное значение популяции (классическое определение Неймана)❗️ ⠀ Более понятно это отражено на рис.1 ⠀ Наиболее часто встречается 95% ДИ, при этом 95% выбрано путем соглашения (как и пороговый р = 0,05). Однако можно выбрать и 90% (уже), и 99% (шире) – рис.2 ⚠️ ⠀ 🟢 Самое интересное, что классическое определение работает до расчета ДИ, а после частота, с которой наблюдаемый интервал содержит истинный эффект, равна либо 100%, если он находится в его пределах, либо 0%, если нет (пациент либо жив, либо мертв) ⠀ 🔴 Зачем это знать? чтобы понимать ошибочность утверждения "конкретный 95% ДИ, представленный в исследовании, с вероятностью 95% содержит истинный размер эффекта", которое часто используется как интерпретация Но можно вычислить байесовский достоверный (апостериорный) интервал (credible interval), к которому такое утверждение применимо ⠀ 🔴 Так же ошибочно предполагать, что наблюдаемый 95% ДИ предсказывает, что 95% оценок, полученных в будущих исследованиях, будут находиться внутри этого интервала Как видно на рис. 1 они могут иметь (или не иметь в 5% случаев) пересечения ⠀ 🟢 Однако, если два 95% ДИ не перекрываются, то для разницы точной оценки с 95% ДИ мы найдем р<0,05; и соотвественно если один из интервалов содержит точечную оценку другого, для разницы мы найдем р>0,05 ⠀ 🟢 Еще интересно, что при увеличении размера выборки, ДИ будет становится уже. Т.к. наша оценка приближается к популяционной и снижается ошибка (SE) – рис.3 Сейчас практически в каждом исследовании встречаются ДИ, но часто их интерпретируют неверно. Важно помнить о его смысле, допущениях и ошибках, которые можно допустить 🙇🏻‍♂️ #biostatistics#биостатистика#ebm_статистика

ДРУГОЙ ВЗГЛЯД ⠀ В посте про доверительный интервал я упоминал достоверный. Время посмотреть немного поближе 🔍 ⠀ Если мы используем Байесовский подход, то придется использовать некоторые особенности (упрощено): ⠀ 1️⃣ неизвестные величины случайны и имеют определенное распределение; ⠀ 2️⃣ нужно использовать априорное (prior) распределение (наше знание/веру до получения новой информации); ⠀ 3️⃣ добавление к prior новой информации (likelihood, LH) дает нам апостериорное распределение (posterior) - рис.1 ⠀ ❗Соответственно в posterior мы будем получать фиксированный интервал, содержащий определенный процент вероятных значений (при этом estimate для нас будет случайным)❗ ⠀ Грубо говоря, это и есть определение достоверного интервала (Credible interval) 👀 ⠀ Т.е. рассчитав его, мы можем сказать, что "учитывая имеющиеся данные, эффект имеет n% вероятность нахождения в этом интервале" 😶‍🌫️ ⠀ Я думаю в сравнении с доверительным интервалом, такое определение запоминается проще. Но в связи с распространенностью доверительного интервала, оно часто приписывается иму, что является ошибкой 🚫 ⠀ Визуально можно попытаться отобразить разницу между интервалами так (рис.2) ⠀ В большинстве случаев для доверительного интервала используют 95%, а для достоверного? 🙇🏻‍♂️ Единого мнения на этот счёт нет. Например, McElreath предлагает использовать 89% (почему нет?). Есть много места для размышлений (различные варианты на рис.3) ⠀ Как можно заметить, в Байесовской статистики оценочные параметры являются случайными величинами с распределением. И, чтобы изучать их неопределенность, используется апостериорное распределение с границами в виде достоверного интервала 😵 ⠀ Звучит сложно, другой взгляд и понимание, но получаем достаточно интересную интерпретацию📊 ⠀ P.S. Я не являюсь экспертом в Байесовской статистике, на данный момент уровень моих знаний в ней составляет в лучшем случае 1%, поэтому возможно коллеги меня поправят🤔 #biostatistics#биостатистика#ebm_статистика#ebm_base

На самом деле есть еще очень много ресурсов (книги, методички, статьи, видео, курсы, каналы) по статистике. Я здесь написал лишь те, с которыми ознакомился и могу порекомендовать🤘🏻 Со временем начинаешь больше читать специализированной литературы и уже теряешь счет количеству источников. Поэтому надеюсь что, что-то сможет стать для вас отправной точкой в этот безграничный мир🌏 #ebm_статистика#биостатистика#biostatistics#источники