Когда объявляется о новом научном открытии, как можно определить степень достоверности этого заявления? В серии из трех статей я хочу рассмотреть этот вопрос.

Заявления основываются на доказательствах, и разные виды и количество доказательств обеспечивают разную степень достоверности. Если доказательства противоречивы, приоритет должен отдаваться доказательствам, обеспечивающим более высокую степень достоверности. Если имеющиеся доказательства могут обеспечить только низкую степень достоверности, любые заявления должны формулироваться с оговоркой.

Поскольку медицина связана с вопросами жизни и смерти, она, пожалуй, является наиболее важной областью применения науки – с точки зрения потенциальной пользы для общества. В результате были созданы регулирующие органы (такие как FDA), которые требуют, чтобы медицинские рекомендации подкреплялись убедительными доказательствами. Эти требования побудили врачей установить иерархию уровней медицинских доказательств – четкое описание того, какие доказательства обеспечивают более высокую степень достоверности.¹ Например, в качестве доказательства пользы лекарственного препарата все врачи согласятся с тем, что хорошо проведенное рандомизированное контролируемое клиническое испытание обеспечивает гораздо большую степень достоверности, чем анализ базы данных с целью обобщения результатов для людей, которые решили принимать или не принимать лекарство (также известное как ретроспективное наблюдательное исследование).

Шесть критериев достоверности

В других областях науки, которые не подвергаются столь жестким требованиям, не установлены иерархические уровни доказательности. Хотя конкретные методы, применяемые в медицине, такие как рандомизированные контролируемые клинические испытания, не могут быть непосредственно применены ко многим другим областям науки, хорошо зарекомендовавшая себя иерархия доказательности в медицине предоставляет общие концепции, которые могут быть применены ко всем областям науки. Эти общие концепции можно обобщить в виде шести критериев, которые могут быть применены для оценки любого типа доказательств:²

● Можно ли повторить полученные данные? Повторение одного и того же результата само по себе укрепляет уверенность.

● Можно ли непосредственно измерить или наблюдать полученные данные? Чем более непосредственным является измерение, тем выше степень уверенности. Например, измерения черных дыр в космосе можно получить только очень косвенно, тогда как орбиту Луны можно наблюдать непосредственно.

● Были ли доказательства получены в ходе проспективного исследования? Заблаговременное планирование экспериментов дает возможность исключить факторы, которые могут помешать выявлению истины. При успешном проведении проспективных экспериментов можно непосредственно установить, что именно привело к наблюдаемым результатам.

● Была ли минимизирована предвзятость? У всех есть предвзятость, и предвзятость губительна для хорошей науки. Предвзятость обычно можно оценить, определив, кто выиграет от данного научного утверждения. Необходимо принимать активные меры для устранения предвзятости, например, проводить измерения с помощью независимой третьей стороны, не знакомой с результатами исследования.

● Были ли минимизированы и открыто раскрыты допущения? В науке допущения используются для экономии времени и денег. Допущения должны быть сначала минимизированы, но любые оставшиеся допущения должны быть раскрыты и обоснованы. Скрытые допущения губительны для науки.

● Были ли их утверждения обоснованными? Утверждения должны вытекать непосредственно из доказательств, а не из экстраполяции или амплификации. Результаты эксперимента не должны быть преувеличены и строго применимы только к исследуемым экспериментальным условиям. Правильное использование осторожных формулировок, таких как «эти результаты предполагают...», может передать надлежащий уровень уверенности. Формулировки, подразумевающие крайности, такие как «всегда», «никогда» или «окончательное доказательство», часто являются предупреждающими признаками преувеличенного утверждения, предполагающего превращение ученого в продавца.

Первые три критерия касаются качества научного исследования, тогда как последние три критерия в большей степени касаются качества ученого. Эти критерии не дают простой двоичной оценки достоверности; они дают градацию уровня достоверности, связанного с доказательствами. Доказательства, которые обеспечивают более высокую достоверность, должны иметь приоритет над доказательствами, которые обеспечивают более низкую достоверность. К счастью, врачи делают это постоянно.

Урок, извлеченный из горького опыта

Я глубже понял эти критерии благодаря тяжелому уроку. Мы с коллегами хотели изучить, приносит ли определенная функция имплантируемого кардиологического устройства пользу пациентам, предотвращая развитие опасного ритма (мерцательной аритмии). Ретроспективно проанализировав базу данных более 37 000 пациентов, мы обнаружили, что при включении этой функции риск развития фибрилляции предсердий снижался на 54%.³ В нашей статье мы открыто раскрыли основное ограничение нашего исследования: поскольку это было ретроспективное наблюдательное исследование, пациенты не были случайным образом распределены по группам с включенной или отключенной функцией, и было невозможно определить, почему у пациентов эта функция была включена или отключена. Врачи, возможно, решили включить эту функцию у пациентов, у которых и без того был низкий риск развития фибрилляции предсердий. Поскольку наше исследование не было проспективным, мы не могли исключить этот потенциальный фактор смешения, известный как ошибка отбора. Кроме того, как сотрудник компании, производящей этот продукт, я был предвзятым, и в нашем исследовании было принято допущение, что ошибка отбора не была значительной. Наше исследование не соответствовало этим шести критериям.

К сожалению, наши выводы не были подтверждены в последующем проспективном рандомизированном контролируемом клиническом исследовании.⁴ Несмотря на то, что наше исследование было в десять раз больше, чем рандомизированное контролируемое исследование, рандомизация и проспективный дизайн исключили ошибку отбора и обеспечили более высокий уровень достоверности. Все врачи с этим согласятся.

Стандартизированные уровни доказательности

Надлежащая приоритизация доказательств является фундаментальным компонентом эпистемологии, и другие области науки должны следовать примеру медицинского сообщества и согласовать стандартизированные уровни доказательности.

В следующей статье этой серии мы будем использовать эти критерии для оценки доказательств, которые обычно используются в поддержку эволюции.