Post #345

НАСТОЛЬКО ДОСТОВЕРНО, ЧТО ЗНАЧИМО ⠀ В постах в блогах, докладах на конференциях, статья, диссертациях и речи можно заметить небольшую, но очень важную ошибку. Иногда вместо "значимость" используют термин "достоверность". Что здесь не так? Как говорить правильно и почему? 🙅🏻‍♂️ ⠀ Во-первых, в научном труде (будь то доклад или публикация) должны использоваться общепринятые термины, которые имеют конкретное определение.☝🏻 Во-вторых, проблема существует давно (относительно), примерно с 90-х годов, но были попытки в ней разобраться.🕵🏻‍♂️ В-третьих, эта проблема существует во всех научных сферах, что повышает актуальность и опасения (о ней нередко ведутся споры в чатах по статистике).🗯️ В-четвертых, проблема глубже, чем кажется, также она связана с оценкой гипотез, определениями p-value и ошибкой I рода.🤯 В-пятых, мы вступаем в поле духоты, токсичности, абстракции (в какой-то мере) и философии.🥸 ⠀ Что означают эти слова? 📍Достоверность (validity) - соответствие полученных результатов реальному миру. ⠀ 📍Статистическая значимость (statistical significance) - ситуация, когда наблюдаемый или более экстремальный статистический результат был бы редким при верной нулевой гипотезе. ⠀ Обычно статистическую значимость оценивают по показателю p-value ❗ (вероятность наблюдать такой или более экстремальный результат при верной нулевой гипотезе), который принято дихотомизировать (<0,05 - значимо, ≥ 0,05 - незначимо). Хотя Фишер 👨🏻‍🏫, который разработал данный показатель, указывал, что исследователю необходимо оценивать его индивидуально (грубо говоря ту самую редкость) в конкретном исследовании📄. Это большая дискуссия, которая ведется между статистиками и нестатистиками. ⠀ У нас есть проблема, что истинные результаты мы знать не может 🙇🏻‍♂️(для этого надо оценить все у всех и желательно, чтобы это была контрольная и экспериментальная группа сразу), поэтому мы используем выборки (надеясь, что они репрезентативны для изучаемой популяции). Получается, что мы очень косвенно и абстрактно пытаемся изучить достоверность. 👨🏻‍💻 ⠀ Мы можем оценить достоверность летального исхода у определенного пациента, когда он случился💀, или выпадения орла у конкретной монеты в конкретный бросок🪙. Но достоверность причинно-следственной связи лечения А на исход Y оценить полностью не можем, всегда остается место неопределенности. ⠀ Зато можем узнать статистическую значимость📈. Мы предполагаем, что эксперимент проведен без систематических ошибок (но это не всегда так), и что живем в мире, где верна нулевая гипотеза, тогда возможно рассчитать вероятность полученных нами результатов или более экстремальных (сильнее отклоняющих). ⠀ Это не означает, что p-value говорит нам о причинно-следственной связи или достоверности. Он показывают только то, для чего был разработан.📝 А еще остается вопрос о клинической значимости, куда впутывается доверительный интервал...😬 ⠀ Что же происходит в реальности? А в ней продолжает существовать миф о взаимозаменяемости этих терминов🖕🏻. В статье Н.А. Зорина "«Достоверность» или «статистическая значимость» — 12 лет спустя" показана вероятная цепочка возникновения мифа (рис. 1). ⠀ Почему эта проблема продолжает существовать и не решается? Есть разные версии: 🔹Низкое освещение, не смотря на то, что профессиональное общество о ней говорит; 🔹Низкий уровень знаний (как статистики, так и логики); 🔹Нежелание разобраться в вопросе глубже или непонимание.🧠 ⠀ Я вам достоверно заявляю, что данная проблема значима, и тут есть много места для дискуссий. 🤡 Я, например, стараюсь следить за речью и указываю на данную ошибку у других. Нео, заткнись и выходи на новый уровень познания.💊 @ebm_base #ebm_statistica#достоверность#статистическаязначимость#значимость