Ebm_base

ВАШИ АРГУМЕНТЫ НЕСОСТОЯТЕЛЬНЫ ⠀ В комментариях под постом про смещение оценки Матвей напомнил, что еще бывает её состоятельность ☝🏻 ⠀ ❗Состоятельность/согласованность оценщика (consistent of estimator) - свойство метода получения оценок, характеризующее, что при увеличении выборки вероятность оценки сходИтся к истинной равна 1❗ ⠀ Запутанно? Будем разматывать🕵🏻‍♂️ ⠀ Мы хотим измерить рост людей страны. Мы знаем, что нам удобно посчитать среднее арифметическое. И этот показатель (среднее арифметическое) - это оценщик (т.е. метод получения оценки, т.е. конкретного значения). При этом взять всю популяцию достаточно сложно (но нам бы очень хотелось). И мы знаем, что у популяции есть точечное значение (т.е. истинное среднее значение роста) 🙃 По своим возможностям мы собираем выборку из популяции (представим, что репрезентативную). Рассчитываем среднее значение роста в выборке (оно навряд ли будет такое же как в популяции из-за смещения, т.е. наша оценка смещенная). Но если мы будем увеличивать размер выборки (вдруг нам дадут на это ресурсы), то наша оценка будет постепенно становится все более похожей на истинное значение среднего роста в популяции. Т.е. вероятность получить разницу между истинной и нашей оценками равной 0 приближается к 1 😱 ⠀ Постарался показать как это выглядит на графике (рис.1). Формулой это обозначается как на рис.2 🫠 ⠀ Такой оценщик мы называет состоятельным (или согласованным, consistent estimator)💪🏻 ⠀ Зачем это знать? Чтобы понимать, нужно ли нам стремиться к увеличению выборки, чтобы увеличить точность (грубо) своей оценки. ⠀ Характеристики (не/смещение и не/состоятельность) есть у каждого оценщика (среднее, доверительные интервалы и т.д.) Он может быть смещенным, но состоятельным; а может наоборот😶‍🌫️ ⠀ Я попытался найти примеры несостоятельных оценщиков в медицине, но кроме совпадения значения(-ий) одного (или группы) пациента(-ов) с истинной оценкой (E(x1) = µ), продолжительности заболевания и показателей опросников, ничего не нашел (возможно в комментариях помогут и смогут привести примеры таких оценщиков) 👋🏻 #ebm_statistica#consistent @ebm_base

ОТНОСИТЕЛЬНОСТЬ ОТНОСИТЕЛЬНА Пора вернутся к постам🙋🏻‍♂️ Мы рассматривали, что можно посчитать исходы в виде рисков и шансов (отдельное спасибо за замечания), и как всегда есть "но" - как сравнить 2 группы между собой❓ Мы снова будет использовать нашу таблицу 2х2 (рис.1) 1️⃣ Если мы рассчитывали риски (т.е. вероятность исхода), то можно посчитать разницу рисков (risk difference - RD, absolutely risk - AR) Формула на рис.2, как видим это обычная разница, которая показывает нам на сколько риск в первой группе отличает от второй. 📍Если он выше в контрольной, то обычно используют термин снижение абсолютного риска (absolutely risk reduction - ARR) и знак положительный (обычно из контроля вычитают эксперимент) 📉 📍Если в экспериментальной, то повышение (absolutely risk increase - ARI) и знак отрицательный 📈 📍Но если мы получаем 0, то значит риски в группах равны (0,5 - 0,5 = 0) 📊 2️⃣ Если у нас снова риски, то можно рассчитать относительный риск (relative risk, risk ratio - RR) Формула на рис.2, где мы видим во сколько раз риски различаются в группах (обычно делится риск экспериментальной группы на риск контрольной). 📍Если он меньше 1, то говорят, что риск в группе эксперимента ниже, чем в контроле (тогда можно посчитать снижение относительного риска (relative risk reduction - RRR) = 1 - RR, т.е. на сколько % риск снижается) ⬇️ 📍Если выше 1, то в группе эксперимента риск выше, чем в контроле ⬆️ 📍Если равен 1, то риски равны (0,5/0,5 = 1) 🟰 Лучше указывать RD и RR вместе, чтобы не складывалась иллюзия, что мы получили очень сильное влияние 🙈 ⚠️Например, риск в контроле = 2 на 1000 = 0,002, а риск в эксперименте = 1 на 1000 = 0,001. Тогда RR = 0,001/0,002 = 0,5 (очень классный результат, в целых 2 раза!), но RD = 0,002 - 0,001 = 0,001 (всего лишь на 0,1%, что уже не так круто смотрится) 🙀 3️⃣ Если у вас шансы, то можно рассчитать отношение шансов (odds ratio - OR) Формула на рис.3, по которой можно сделать вывод во сколько шансы в эксперименте отличаются от контроля. Интерпретация такая же как и при относительном риске (больше/меньше/равно 1) 🫡 Разницы шансов нет) т.к. это не вероятности, то и рассчитывать такой показатель не имеет смысла (интерпретации нет, по крайней мере я не нашел) 🙇🏻‍♂️ 4️⃣ если у вас риски (hazard), то можно рассчитать отношение рисков (hazard ratio - HR, устоявшегося перевода на русский нет), но здесь есть определенное количество ограничений (опустим пока этот вопрос) 🥸 Суть и формула как и при RR (рис.4), с той лишь разницей, что это относится не к общему количеству событий на конец наблюдения, а к их "скорости" возникновения в течение определенного времени 🤬 Здесь может быть такой же подвох с большим HR, как и при RR, т.е. надо внимательно посмотреть на количество событий и размер групп, чтобы понять действительно ли в абсолютных числах произошло много событий😶‍🌫️ Эти показатели часто используют в статьях для демонстрации сравнений групп. Вроде все не так сложно, но "дьявал кроется в деталях", а наша задача эти детали изучить😈 #ebm_statistica @ebm_base

ПРОСТО ДОКОПАЛСЯ НА ПУСТОМ МЕСТЕ ⠀ Я тут решил устроить небольшое описание статистического анализа, который можно встретить в диссертациях. Итак, наш пример в изображениях (рис.1 и 2). ⠀ Насчет ПО ничего говорить не будем, каждый пользуется тем, чем умеет и в чем удобнее 👨🏻‍💻 ⠀ Если есть традиционные показатели описательной статистики, то значит есть нетрадиционные (кто знает напишите)? 🫢🤔 ⠀ Достоверность различий... Мда, тут без слов... Отсылаю к этому посту🤬 ⠀ t-тест Стьюдента, получается, если он используется, то предполагается равенство дисперсий в выборках. А если это окажется не так? Почему сразу не прописать про поправку к t-тесту Уэлча, для которой не обязательно равенство дисперсий 🤨 ⠀ Интересно, а Фишер в курсе, что он разработал t-критерий 🤣 Почему-то такой не находится, но зато сразу в поиске выпадает F-критерий Фишера, который применяется в дисперсионном анализе (ANOVA). Как можно заметь, обычно используется заглавная F 🤫 ⠀ К уровню значимости p<0,05 кроме претензий к "достоверности" нет. А вот F<0,05 - это просто сюр 🤡 Давайте посмотрим на распределение Фишера (на рис.3), которое имеет тестовая статистика (F-критерий). Как мы видим область отклонения (т.е. которая соответсвует p<0,05) находится справа, т.е. тестовая статистика должна иметь значения в большую сторону "<" (и это больше, чем 0,05) 🙈 ⠀ Про различия между вероятностью ошибки (кстати не указано какой) и показателя р у меня тоже есть пост🥶 ⠀ Зачем расписывать показатели диагностики, если они стандартизованы? А почему тогда не расписываются формулы критериев, которые описывались ранее (они же более сложные)? 🤡 ⠀ Для чего оценивалась корреляция, нам не говорят (догадайтесь сами). Почему используется непараметрический коэффициент корреляции? Предполагается нелинейная связь? На основании чего? 😵‍💫 ⠀ Дальше указывается логистическая регрессия... Какие модели будут строиться (одно- или многофакторные)? Как она будет оцениваться? Какие параметры из нее будут использоваться (спойлер, никакие!)? Да, похер 🖕🏻 ⠀ Затем оценка классификации модели при помощи ROC-анализа. Ох... Это вообще отдельная большая тема, где важно обоснование. Есть особенности при использовании многофакторный моделей. Есть другие подходы со своими особенностями. Зачем об этом писать? Для чего определялась точка отсечения? Как она выбиралась (да-да, ее можно выбрать)? А действительно, не за чем. Пусть читатели сами додумывают 😓 ⠀ Идеальная модель - слишком широкое понятие. Она может быть идеальная со статистической точки зрения, но быть бессмысленной/неосуществимой с клинической 🤦🏻‍♂️ ⠀ По каким критериям принималось решение о значимости модели мы тоже не узнаем... Вы что не в курсе что ли? Это же так просто. Гугел откройте 👨🏻‍💻 ⠀ Самое страшное, что это не единичный пример, лишь показательный. Насколько можно доверять таким диссертациям? Поменяют ли что-то они в клинической практике? Будет ли от этого какое-то значение, кроме наличия статуса "к.м.н." у врача? 🫨 ⠀ Как много вопросов, как мало ответов... @ebm_base #просто_докопался#ebm_statistica

НАСТОЛЬКО ДОСТОВЕРНО, ЧТО ЗНАЧИМО ⠀ В постах в блогах, докладах на конференциях, статья, диссертациях и речи можно заметить небольшую, но очень важную ошибку. Иногда вместо "значимость" используют термин "достоверность". Что здесь не так? Как говорить правильно и почему? 🙅🏻‍♂️ ⠀ Во-первых, в научном труде (будь то доклад или публикация) должны использоваться общепринятые термины, которые имеют конкретное определение.☝🏻 Во-вторых, проблема существует давно (относительно), примерно с 90-х годов, но были попытки в ней разобраться.🕵🏻‍♂️ В-третьих, эта проблема существует во всех научных сферах, что повышает актуальность и опасения (о ней нередко ведутся споры в чатах по статистике).🗯️ В-четвертых, проблема глубже, чем кажется, также она связана с оценкой гипотез, определениями p-value и ошибкой I рода.🤯 В-пятых, мы вступаем в поле духоты, токсичности, абстракции (в какой-то мере) и философии.🥸 ⠀ Что означают эти слова? 📍Достоверность (validity) - соответствие полученных результатов реальному миру. ⠀ 📍Статистическая значимость (statistical significance) - ситуация, когда наблюдаемый или более экстремальный статистический результат был бы редким при верной нулевой гипотезе. ⠀ Обычно статистическую значимость оценивают по показателю p-value ❗ (вероятность наблюдать такой или более экстремальный результат при верной нулевой гипотезе), который принято дихотомизировать (<0,05 - значимо, ≥ 0,05 - незначимо). Хотя Фишер 👨🏻‍🏫, который разработал данный показатель, указывал, что исследователю необходимо оценивать его индивидуально (грубо говоря ту самую редкость) в конкретном исследовании📄. Это большая дискуссия, которая ведется между статистиками и нестатистиками. ⠀ У нас есть проблема, что истинные результаты мы знать не может 🙇🏻‍♂️(для этого надо оценить все у всех и желательно, чтобы это была контрольная и экспериментальная группа сразу), поэтому мы используем выборки (надеясь, что они репрезентативны для изучаемой популяции). Получается, что мы очень косвенно и абстрактно пытаемся изучить достоверность. 👨🏻‍💻 ⠀ Мы можем оценить достоверность летального исхода у определенного пациента, когда он случился💀, или выпадения орла у конкретной монеты в конкретный бросок🪙. Но достоверность причинно-следственной связи лечения А на исход Y оценить полностью не можем, всегда остается место неопределенности. ⠀ Зато можем узнать статистическую значимость📈. Мы предполагаем, что эксперимент проведен без систематических ошибок (но это не всегда так), и что живем в мире, где верна нулевая гипотеза, тогда возможно рассчитать вероятность полученных нами результатов или более экстремальных (сильнее отклоняющих). ⠀ Это не означает, что p-value говорит нам о причинно-следственной связи или достоверности. Он показывают только то, для чего был разработан.📝 А еще остается вопрос о клинической значимости, куда впутывается доверительный интервал...😬 ⠀ Что же происходит в реальности? А в ней продолжает существовать миф о взаимозаменяемости этих терминов🖕🏻. В статье Н.А. Зорина "«Достоверность» или «статистическая значимость» — 12 лет спустя" показана вероятная цепочка возникновения мифа (рис. 1). ⠀ Почему эта проблема продолжает существовать и не решается? Есть разные версии: 🔹Низкое освещение, не смотря на то, что профессиональное общество о ней говорит; 🔹Низкий уровень знаний (как статистики, так и логики); 🔹Нежелание разобраться в вопросе глубже или непонимание.🧠 ⠀ Я вам достоверно заявляю, что данная проблема значима, и тут есть много места для дискуссий. 🤡 Я, например, стараюсь следить за речью и указываю на данную ошибку у других. Нео, заткнись и выходи на новый уровень познания.💊 @ebm_base #ebm_statistica#достоверность#статистическаязначимость#значимость

РИСКУЙ И/ИЛИ ПРОИГРАЕШЬ ⠀ У разных блогеров можно встретить термин "риск". Но верно ли его используют, или это лишь упрощенное/обобщенное слово... 🤷🏻‍♂️ ⠀ Понятие риска очень тесно связано с математикой, а точнее с теорией вероятности. Поэтому обычно, риск - это вероятность наступления какого-то события 🐣 Но он бывает разный ⠀ В качестве примеров будем использовать таблицу 2х2 (рис.1) ⠀ Upd.📍Risk (r, риск) - вероятность наступления определенного события или отношение количества благоприятных исходов к количеству всех событий ⠀ Формула на рис.2 ⠀ Так наиболее часто представляют риск (50% вероятность выпадения орла, 10% вероятность осложнений, 5% вероятность наступления инфаркта и т.д.) ⠀ Особенность в том, что мы оценивает риск в конкретной временной точке (часто в конце исследования). Т.е. пронаблюдали пациентов 1 год, в конце посчитали у какого количества пациентов произошло событие А, поделили его на общее количество пациентов в группе, получило риск события А через 1 год 📊 ⠀ 📍Odds (o, шансы) - вероятность наступления определенного события к "ненаступлению" данного события ⠀ Формула на рис.2 ⠀ Так часто озвучивают риск в медиа (наши шансы на победу 1 к 14 млн, вероятность выпадения орла 1 к 1, риск побочных эффектов 1 к 10 и т.д.) ⠀ Upd. Здесь мы сталкиваемся с "неполным" пониманием, что здесь озвучивается не вероятность, а шансы (определение которых отличается от риска) Однако этот показатель также измеряется в конкретный момент времени 📊 ⠀ Обычно разницу можно продемонстрировать при помощи броска игральной кости 🎲: - Риск выпадения 6 равен 17% (1/6) - Шанс 20% (1/5) ⠀ 📍Hazard (h(t), риски/угроза/опасность) - вероятность того, что интересующее событие произойдет в каком-то небольшом временном интервале, при условии, что оно не произошло до этого ⠀ Формула на рис.2 ⠀ Тут все сложнее, т.к. это уже функция, которая зависит от времени (т.е. оцениваем риск не в конкретный момент времени, а в промежутке) И получаем не просто вероятность через какое-то время (через 1 год), а ее изменение в течение этого времени (в течение 1-ого года) 📈 ⠀ Это самые известные "риски", которые встречаются в мед. исследованиях. Однако вопрос, заданный в начале, остаётся открытым... 🙇🏻‍♂️ Upd. В комментариях верно заметили неточности и ошибки в моих определениях. Также подметили, что вероятность (risk, hazard) измеряется от 0 до 1, а шансы от 0 до бесконечности. @ebm_base #ebm_statistica