Коли оголошують про нове наукове відкриття, як можна визначити ступінь достовірності цього твердження? У серії з трьох статей я хочу розглянути це питання.

Заяви ґрунтуються на доказах, і різні види та кількість доказів забезпечують різний ступінь достовірності. Якщо докази суперечливі, пріоритет має надаватися доказам, що забезпечують вищий ступінь достовірності. Якщо наявні докази можуть забезпечити лише низький ступінь достовірності, будь-які заяви мають формулюватися із застереженням.

Оскільки медицина пов’язана з питаннями життя й смерті, вона, мабуть, є найважливішою сферою застосування науки – з точки зору потенційної користі для суспільства. В результаті були створені регулюючі органи (такі як FDA), які вимагають, щоб медичні рекомендації підкріплювалися переконливими доказами. Ці вимоги спонукали лікарів встановити ієрархію рівнів медичних доказів – чітке описування того, які докази забезпечують вищий ступінь достовірності.¹ Наприклад, як доказ користі лікарського препарату всі лікарі погодяться з тим, що добре проведене рандомізоване контрольоване клінічне випробування забезпечує набагато вищий ступінь достовірності, ніж аналіз бази даних з метою узагальнення результатів для людей, які вирішили приймати або не приймати ліки (також відоме як ретроспективне обсерваційне дослідження).

Шість критеріїв достовірності

В інших галузях науки, які не підпадають під настільки суворі вимоги, ієрархічні рівні доказовості не встановлені. Хоча конкретні методи, що застосовуються в медицині, такі як рандомізовані контрольовані клінічні випробування, не можуть бути безпосередньо застосовані до багатьох інших галузей науки, добре зарекомендована ієрархія доказовості в медицині надає загальні концепції, які можуть бути застосовані до всіх галузей науки. Ці загальні концепції можна узагальнити у вигляді шести критеріїв, які можуть бути застосовані для оцінки будь-якого типу доказів:²

● Чи можна повторити отримані дані? Повторення одного й того самого результату саме по собі зміцнює впевненість.

● Чи можна безпосередньо виміряти або спостерігати отримані дані? Чим безпосереднішим є вимірювання, тим вищий ступінь впевненості. Наприклад, вимірювання чорних дір у космосі можна отримати лише дуже опосередковано, тоді як орбіту Місяця можна спостерігати безпосередньо.

● Чи були докази отримані в ході проспективного дослідження? Завчасне планування експериментів дає можливість виключити фактори, які можуть перешкодити виявленню істини. При успішному проведенні проспективних експериментів можна безпосередньо встановити, що саме призвело до спостережуваних результатів.

● Чи було мінімізовано упередженість? Всі мають упередження, а упередженість є згубною для доброї науки. Упередженість зазвичай можна оцінити, визначивши, хто виграє від даного наукового твердження. Необхідно вживати активних заходів для усунення упередженості, наприклад, проводити вимірювання за допомогою незалежної третьої сторони, яка не знайома з результатами дослідження.

● Чи були мінімізовані та відкрито розкриті припущення? В науці припущення використовуються для економії часу та грошей. Припущення спочатку мають бути мінімізовані, але будь-які припущення, що залишилися, мають бути розкриті та обґрунтовані. Приховані припущення є згубними для науки.

● Чи були їхні твердження обґрунтованими? Твердження повинні випливати безпосередньо з доказів, а не з екстраполяції або ампліфікації. Результати експерименту не повинні бути перебільшені й строго застосовні лише до досліджуваних експериментальних умов. Правильне використання обережних формулювань, таких як «ці результати припускають...», може передати належний рівень впевненості. Формулювання, що передбачають крайнощі, такі як «завжди», «ніколи» або «остаточний доказ», часто є попереджувальними ознаками перебільшеного твердження, що передбачає перетворення вченого на продавця.

Перші три критерії стосуються якості наукового дослідження, тоді як останні три критерії більшою мірою стосуються якості вченого. Ці критерії не дають простої бінарної оцінки достовірності; вони дають градацію рівня достовірності, пов’язаного з доказами. Докази, які забезпечують вищу достовірність, повинні мати пріоритет над доказами, які забезпечують нижчу достовірність. На щастя, лікарі роблять це постійно.

Урок, винесений з гіркого досвіду

Я глибше зрозумів ці критерії завдяки важкому уроку. Ми з колегами хотіли з’ясувати, чи приносить певна функція імплантованого кардіологічного пристрою користь пацієнтам, запобігаючи розвитку небезпечного ритму (фібриляції передсердь). Ретроспективно проаналізувавши базу даних понад 37 000 пацієнтів, ми виявили, що при увімкненні цієї функції ризик розвитку фібриляції передсердь знижувався на 54%.³ В нашій статті ми відкрито розкрили основне обмеження нашого дослідження: оскільки це було ретроспективне обсерваційне дослідження, пацієнти не були випадковим чином розподілені по групах з увімкненою або вимкненою функцією, і було неможливо визначити, чому у пацієнтів ця функція була ввімкнена або вимкнена. Лікарі, можливо, вирішили ввімкнути цю функцію у пацієнтів, у яких і без того був низький ризик розвитку фібриляції передсердь. Оскільки наше дослідження не було проспективним, ми не могли виключити цей потенційний фактор змішування, відомий як помилка добору. Окрім того, як співробітник компанії, що виробляє цей продукт, я був упередженим, і в нашому дослідженні було прийнято припущення, що помилка добору не була значною. Наше дослідження не відповідало цим шістьом критеріям.

На жаль, наші висновки не були підтверджені в подальшому проспективному рандомізованому контрольованому клінічному дослідженні.⁴ Незважаючи на те, що наше дослідження було вдесятеро більшим за рандомізоване контрольоване дослідження, рандомізація та проспективний дизайн виключили помилку відбору та забезпечили вищий рівень достовірності. Усі лікарі з цим погодяться.

Стандартизовані рівні доказовості

Належна пріоритезація доказів є фундаментальним компонентом епістемології, і інші галузі науки повинні наслідувати приклад медичної спільноти та узгодити стандартизовані рівні доказовості.

У наступній статті цієї серії ми будемо використовувати ці критерії для оцінки доказів, які зазвичай використовуються на підтримку еволюції.