Йоанидис: Повечето изследвания са фалшиви; Нека го поправим

2023 Автор: Agatha Gilson | [email protected]. Последно модифициран: 2023-08-25 04:57

Ерик Дж. Топол, д-р: Здравейте. Аз съм Ерик Топол, главен редактор на Medscape. С мен днес е професор Джон Йоанидис от Станфорд, с когото отдавна умирам да си бъда чат. Толкова се радвам, че можехме да се съберем. Джон, добре дошъл.

Джон Пен Йоанидис, доктор на медицинските науки: Благодаря, Ерик. За мен е голямо удоволствие да разговарям с вас.

Ставам „Съвестта на биомедицината“

Топол: Следя вашата работа и кариера от няколко години. Вие сте „контрагентът на медицината“. Казвам това по положителен начин.

Докато най-накрая нямах възможността да направя това интервю с вас, не знаех част от произхода ви. В гимназията сте били математик, сте получили Националната награда в Гърция и сте син на двама изследователи-лекари. Изглежда, че сте направени за тази роля, която имате, по отношение на съвестта на биомедицината. Как се сдобихте с корените си в този модел, който наистина подкрепяте?

Йоанидис: В началото бях изложен на много наука. Обичах много различни аспекти на научния метод и научната дисциплина, които открих в математиката, биологията, стенд изследванията, клиничните изследвания и клиничната епидемиология. Винаги бях много нефокусиран и исках да опитам силата си в различни видове изследвания.

Разбрах, че правя грешки отново и отново в почти всичко, което се опитвах. Започнах да осъзнавам, че и други хора допускат грешки - в лабораторията, клиниката и в публикуваната литература. Грешките са често срещани. Те са хора. Някои от тях вероятно са по-чести, отколкото трябва да бъдат.

Топол: Стигнахте дотам, че преценихте, че 90% от медицинските изследвания са недостатъчни. ^{[1, 2]} Това става потискащо, нали?

Йоанидис: Човек може да го види като чашата наполовина празна или наполовина пълна, или 10% пълна или може би малко повече. Медицината постигна огромен напредък и все още напредва. Човек може да се съсредоточи върху това.

Въпросът е как можем да подобрим ефективността на това, което правим? И как можем да намалим процента на грешки? Как можем по-рядко да се заблуждаваме и да изпращаме най-добрите си хора по слепи алеи?

Ако видим положителното послание, че можем да идентифицираме проблемите и да се отървем от тях, това е много оптимистично.

Това не са само биомедицински изследвания

Топол: Вие сте били на кръстоносен поход и сте се ударили в почти всяка дисциплина: генетика, психология, невронаука, клинични изпитвания, лекарствени компании, цялата партида. Съвсем наскоро забелязах, че дори си тръгнал след икономика. ^[3] Има ли нещо, над което не сте работили?

Йоанидис: Страхотното забавление и възможност при работа върху мета-изследвания или изследвания върху научните изследвания е, че човек много бързо осъзнава, че методите на изследване и изследователските практики и начинът, по който се прилагат или трансформират, са много сходни в много различни дисциплини.

Научният метод е доста уникален. Има разнородност в начина, по който различните дисциплини имат предпочитания към някои аспекти от него или как точно да го оперират, но можем да научим много, като сравним бележките. Ако погледнете различни полета, осъзнавате, че някои от големите проблеми, с които се сблъскваме в биомедицината, може да се решат в други области доста лесно и може да са свършена сделка.

Обратно, човек би могъл да трансплантира някои добри идеи от биомедицински дисциплини в други области. Концепциите са сходни и проявите са различни. Очевидно последствията са различни, защото в медицината става дума за животи и хора, които умират поради неоптимална информация.

Медицина, базирана на доказателства

Topol: Широкоъгълният обектив, който сте приложили, е важен. Това е много повече от лекарството и ви давам много заслуга за идентифицирането на тези общи теми.

Проблемът, който имаме в медицината обаче, е тази доказателствена база, която, както наистина сте доказали през годините, е толкова трептяща и мъчителна. Опитваме се да вземаме решения за пациентите и да подбираме лечения и тестове и какво ли още не. Какво ще правим, тъй като повечето доказателства са неоснователни?

Йоанидис: Някои доказателства са надеждни. Има наклон. Имаме много силни доказателства за някои лечения, интервенции и политики и трябва да направим нещо заради това. Ако не го направим, би било наистина глупаво.

Това не е само за интервенции, а за рискови фактори. Дори в наблюдателната епидемиология никой не би отрекъл, че тютюнопушенето е ужасно и ще убие 1 милиард души, освен ако не се отървем от него. Не се нуждаем от рандомизирани проучвания, за да докажем това.

Но, разбира се, има и другият край на наклона, където има много ненадеждни доказателства. Много доказателства са много слаби. Трябва да обучим хората да разбират какви са ограниченията, какви са предупрежденията, доколко могат да се доверят или да се доверят на това, което четат или какво виждат, и какво са призовани да правят. След това ги накарайте да поискат по-добри доказателства.

Няма причина да продължим да живеем с неоптимални доказателства. Клиницистите и клиничните изследователи трябва да бъдат на преден план, защото ежедневно осъзнават, че нямат доказателства, на които могат да се доверят. Те могат да създават въпроси, за да се опитат да получат вида на доказателствата, от които се нуждаят.

Мисли за ПРЕДВАРИТЕЛНО

Топол: Това извежда нещо, което току-що се е случило. Една от областите, които сте решили, е науката за храненето. Средиземноморската диета е проучена в PREDIMED, най-голямото изпитване на рандомизирана диета, използваща твърди резултати. Той беше публикуван през 2013 г. в New England Journal of Medicine, а сега NEJM го изтегли и преиздаде ^[4] в същия ден. Имаше всякакви нередности. Какво мислите за това? Правилно е твоята алея по отношение на дефектите на науката.

Йоанидис: Храненето очевидно е каша и аз отдавна препоръчвам, че можем да поправим част от тази каша, като провеждаме мащабни, дългосрочни, рандомизирани проучвания с клинични крайни точки. PREDIMED беше изпитание, което се опита да направи това. Това беше почти изключението в сравнение с цялата тази невъзвратима каша на хранителната епидемиология. Бях много щастлив да го видя публикуван. Бях много развълнуван, че най-накрая постигаме известен напредък.

Моето силно убеждение е, че PREDIMED е сериозно дефект. Не мога да му се доверя повече.

Но за съжаление PREDIMED като че ли пое по пътя на наблюдателната епидемиология при публикуването на милиони документи с резултати, които бяха далеч по-осезаеми, и мисля, че това, което видяхме при оттеглянето, беше сигнал, че данните имат големи недостатъци. Ясно е, че отдръпването беше правилното нещо. Въпреки това, дори след оттеглянето, не чувствам, че сме виждали цялата история.

Мисля, че проблемът, който беше открит чрез статистически анализ, беше с толкова сходни характеристики на изходните стойности. Корекцията, довела до повторното публикуване, не обяснява, че това не може да се случи случайно; което означава, няма причина защо (ако наистина цялото село беше рандомизирано като образувание вместо на индивидуална основа или някои двойки бяха рандомизирани заедно, а не като индивиди), което не трябваше да доведе до модела, който беше открит чрез тестване на основни характеристики.

Моето силно убеждение е, че PREDIMED е сериозно дефект. Не мога да му се доверя повече. Обожавам зехтин. Но съжалявам - не мога да му се доверя. Мисля, че има големи проблеми извън прибирането. Ние разглеждаме част от това и се надяваме да публикуваме някои доказателства, показващи, че има по-дълбоки проблеми от това.

Топол: Това е наистина важно, защото аз бях повлиян от предишни проучвания, като изследването на Лион за сърцето ^[5], което беше доста добре направено и по-малко изпитание, макар и за вторична профилактика. Но затова е толкова подходящ момент да поговорим с вас. Много популярно списание NEJM прибира и публикува статия в същия ден. Нещо не е наред с нашата система от доказателства, нали?

Йоанидис: Ясно е, и мисля, че просто публикуването на изпитание с на пръв поглед същите резултати няма да го поправи. В случая на PREDIMED, бих твърдял, че човек трябва да получи всички свои стари данни - не чистите данни, суровите данни - преди арбитраж за независим комитет, който да анализира.

Ако това се случи, моят залог би бил, че размерите на ефекта ще се свият или дори ще изчезнат. Бих ненавиждал да го видя. Бих искал да залагам срещу собственото си прогнозиране. Но има някои много сериозни проблеми, когато се доверяваме на изпитвания, които нямат прозрачност. Те нямат откритост. Те не желаят да споделят. Те не са склонни да преминат през повторен анализ. Те не желаят да извършват независим контрол над това, което се случва. Това все още е [вярно за] по-голямата част от рандомизирани изпитвания, публикувани - в NEJM и в други списания.

Топол: Не бихте ли си помислили, че редакторите на NEJM, по-специално поради това безпрецедентно нещо, щяха да се нахвърлят върху тези данни и да се нахвърлят върху разследващите, за да стигнат до прозрачност и истина?

Йоанидис: Бих се надявал така и все още се надявам, че те ще позволят по-нататъшно проучване на този процес. Би било изгубена възможност, ако не научим повече, защото смятам, че това е само върхът на айсберга. Продължава много повече и в известен смисъл PREDIMED може да бъде най-честният в сравнение с други изпитвания, които може да са не толкова честни.

Интелектуален конфликт на интереси

Топол: Това говори много там.

В някои от своите писания сте подчертали интелектуалния конфликт на интереси. Мисля, че това е важно. В по-голямата си част хората всъщност не разбират пристрастията и факта, че толкова много кариери са маркирани с определена система от убеждения и стремеж. Една от критиките на това е: „Ролята на Джон е да бъде художник на свалянето и това е интелектуален конфликт“. Как отговаряте на това обвинение?

Йоанидис: Да, мисля, че съм предубеден. Мисля, че това е неизбежно и хората трябва да приемат това за даденост, когато четат моята работа и след това, когато четат работата на други учени. Всички имаме някои приори и понякога е възможно да ги проследим въз основа на това, което сме публикували.

Това, което прави един учен, е признание, че той или тя могат да бъдат предубедени.

Не мисля, че е грешно да имаш мнения или хипотези. Не мисля, че е грешно дори да имам убеждения. За да бъда честен, когато стартирам нов проект, се опитвам да бъда максимално отворен към всички видове резултати. Ако не друго, моите пристрастия са по-скоро към постигане на незначителни резултати. Ако получа значителни резултати, дори да е без предубеждения, трябва да се запитам: „Защо го постигнах? Може ли да греша? Може ли да се наложи да се върна и да проверя отново процеса и да намеря някои грешки? Понякога откривам грешки в процеса, надявам се достатъчно рано преди публикуването.

Това, което прави един учен, е признание, че той или тя могат да бъдат предубедени. Трябва да внимаваме за тази възможност във всичко, което правим.

Preprints

Топол: Това наистина е страхотен отговор. Едно от нещата, с които се изненадах, защото обикновено излизате на отрицателната страна на почти всичко, са предпечатните данни. Вие сте доста позитивни по отношение на предпечатните данни. ^[6] Кажете ни защо е така.

Йоанидис: Предпечатните издания са една възможност за широко разпространение на научните изследвания и по-ранен начин и за откриване на това изследване пред критиката на ранен етап пред цялата научна общност. Човек може да спори: "Е, тук няма партньорска проверка." Аз съм категоричен привърженик на необходимостта от партньорска проверка, но партньорската проверка е неоптимална. От документите, които се подават, това вероятно значително се подобрява с около 20%, прави около 5% по-лошо, а 75% вероятно не се променят много, освен просто езиково или стилистично.

Ако бихме могли да имаме система, в която информацията е достъпна рано на цялата научна общност, за да я проучи, коментира и да направи предложения за подобрение, преди да имаме „окончателния“документ, мисля, че това е добро нещо. Хората просто трябва да осъзнаят, че това е просто ранно разпространение на информация и трябва да се приема с допълнително ниво на предпазливост.

Топол: Аз съм голям фен, но единственото притеснение, което имах, е, че някои дисциплини, особено в областта на изкуствения интелект, сега считат това за окончателно становище. Много документи се подават без никакво намерение да се опитват да преминат през процеса на партньорска проверка - не че партньорската проверка е толкова голяма, но поне има друг слой независима оценка.

Можем ли да стигнем до това?

Топол: Мисля, че е забележително, че сте поели ролята на съвестта на терена и работата ви е била толкова въздействаща - статия номер едно, цитирана в PLoS Medicine и толкова много други списания. Сега, когато изложихте проблемите, къде отивате оттук? Правете повече от същото? Как да изкарате това нещо на път?

Йоанидис: Моето желание е да не излагам проблеми. Очевидно има много проблеми, така че не е голямо значение да се посочи още един, но на тях няма край. Моето желание е да се опитам да отстраня проблемите. Искам да се уверя, че работата, която върша и работата, която вършат другите, които работят с мен, поема посоката към решения, а не просто да идентифицира проблемите.

Еднопроцентното подобрение поради възприемането на по-добър научен процес в цялата наука е огромен напредък. Това може да доведе до спасени десетки милиони животи.

Голяма част от работата, която съм свършила в Мета-изследователския иновационен център в Станфорд през последните 4 години, беше насочена към намиране на решения. Може да не е лесно да документирате решения и да намерите доказателства, които да ги подкрепят. Подобно на интервенциите в медицината или всяка друга специалност, ние се нуждаем от доказателства за предложените решения. Човек може да излезе с много идеи, но някои от тях могат да бъдат ужасни, някои може да са неутрални и всъщност да нямат никаква разлика, а някои може да работят.

Хубавото е, че учените като цяло искат да вкарат науката в по-добра форма. Не мисля, че хората искат да скрият нещата под килима; толкова много научни общности намират решения, прилагат ги, тестват ги и виждат големи подобрения в доверието и прозрачността на тяхната работа. Въпрос е да се осмислят вариантите, да се поставят приоритети, да се тестват, да се отърват от фалшивите резултати и да се постигне по-нататъшен напредък.

Еднопроцентното подобрение поради възприемането на по-добър научен процес в цялата наука е огромен напредък. Това може да доведе до спасени десетки милиони животи.

Топол: Уау, страхотна точка. Отбелязах, че алгоритмите се използват за скрининг на документи по отношение на статистиката и използват изкуствен интелект. Това може да е един от многото начини да разрешим тези проблеми.

Джон, искам да ти благодаря - не само за това интервю, но и за по-голямата роля, която играеш в медицината. Ти ни научи толкова много. Наистина сте имали фантастичен ефект, като събуждане, и то не само веднъж; това е непрекъснато. Всеки път, когато видя нещо, което е сериозно дефектно или евентуално дефектно, се сещам за вас. Благодаря ви за всичките ви усилия и непрекъснатото ви търсене на доказателства, които са истински, и за отлични постижения в научните изследвания. Успех и продължителен успех на вас и вашите колеги в Станфорд.

Йоанидис: Благодаря ти, Ерик, беше много удоволствие да разговарям с теб и се надявам следващия път да имаме още добри новини.

Топол: Отлично. Благодарим ви, че се присъединихте към нас и благодаря на всички вас в Medscape и нашата публика, че се присъединихте към нас в тази поредица от някои от най-интересните хора в цялата медицина.