Post #612

КАКОЙ ШИКАРНЫЙ У ТЕБЯ POST HOC Насколько я знаю (но может знаю неправильно), в аналитике данных после А/В-тестов (по сути это РКИ) проводят сегментацию, что найти тех, на кого вмешательство было эффективно. У этой идеи есть здравое рассуждение - хочется получить как можно больше информации из данных. Но здраво ли его используют и интерпретируют результаты в медицинских исследованиях? 🤔 Начнем с общих понятий. Когда планируется исследование, то многим (исследователям, спонсорам, пациентам) хочется знать как быстро его получится провести. Это зависит от многих факторов: количество центров, количество пациентов, длительность наблюдения, скорость достижения первичной конечной точки и т.п. И немало внимания концентрируется на количестве пациентов. И сейчас это показатель "Размер выборки" (Sample size) - количество участников в клиническом исследовании, которое обеспечивает надежный/достоверный ответ (об это сегодня не говорим) на поставленные вопросы [1]. 🤘 До ее расчета нужно определиться с гипотезами: нулевой и альтернативной (что это подробнее здесь и здесь и немного здесь). Представим, что мы это уже сделали (и даже согласны оценивать гипотезы 🫣). Так же важно понять какой минимальный размер эффекта (effect size/minimal detectable effect size) мы планируем обнаружить (представим, что уже определили на основе своих специальных знаний 👨‍🎓). ❗️И тут входит понятие "Мощность" (Power) - вероятность верно отклонить нулевую гипотезу, если альтернативная о размере эффекта верна (грубо).❗️ Чаще всего ее устанавливают на уровне 80-90% и получают в расчетах минимальный размер выборки (и набирают ее же + мб Dop out rate). Важно уточнение, что анализ мощности/расчет размера выборки имеет смысл только при планировании исследования, чтобы решить проблемы затрат (времени, финансов, участников) и контроля ошибок I и II рода (скорее быть уверенным в их уровне). 🫡 После получения данных мы не можем быть уверены в истинности результата, а значит и в истинности мощности теста (как я понял, это называют наблюдаемой мощностью (Observed power)) [2, 3]. А теперь загадка от Жака Фреско. Что будет, если выборку, набранную по определенному расчету мощности, разделить на подгруппы? 5, 4, 3, 2, 1… 🫥 Мощность снизится! А еще потеряется контроль за ошибками, ведь поменяется и размер эффекта. А это происходит постоянно в subgroup analysis и post hoc analysis. А самое забавное, что это представляют на конференциях, а затем все повторяют с фразами: "Важные данные", "Это успех", "Нашли наконец-то группу, кому поможет максимально" и т.д. 🤯 📍Важно, что для таких выводов сначала нужно прочитать полный текст (что было, что и почему сделано, почему и как сделали этот анализ, сколько пациентов осталось, насколько данные результаты совпадают с литературой и т.д.). 📍Еще нужно разобраться как был получен такой результат (взаимодействия, коррекции, гетерогенность, интерпретация forrest plot и другие сложные статистические штуки, которые врачи не могут или не хотят базово изучить), а то большинство исследований с проблемами [4]. 📍Не говоря уже о проблеме тестирования гипотез (как глобально, так и множественного). Что делать? 🔹Разбираться. Каждый subgroup или post hoc анализ - повод разобрать более внимательно: новое исследование, изучение имеющейся литературы, мета-анализ. 🔹Не делать громких выводов (как типичное СМИ), т.к. снижение мощности (а значит увеличение ошибок I и II рода) никуда не девается. 🔹Продумать и/или изучить критерии гетерогенности, чтобы давать более аккуратную интерпретацию. 🔹Подвергать критике исследования, про которые вам рассказывают. Мои слова тоже нужно подвергать критике 🤫 @ebm_base