Cochrane sprawdzone pod kątem faktów z absurdalnymi wynikami

17 lutego weryfikator faktów Iria Carballo-Carbajal, neurobiolog z wykształcenia, ale najwyraźniej bez żadnego wykształcenia epidemiologicznego, opublikował „weryfikację faktów” artykuł na stronie Health Feedback. W swoim nagłówku Carballo-Carbajal zawiera następujące oświadczenie: „Wiele badań pokazuje, że maski na twarz zmniejszają rozprzestrzenianie się COVID-19; przegląd Cochrane nie pokazuje inaczej”.

Ten artykuł jest obecnie używany przez firmy zajmujące się mediami społecznościowymi, aby ukryć wszelkie odniesienia do badania Cochrane. Dowiedziałem się o tym 10 marca, kiedy otrzymałem powiadomienie, że post członka zarządzanej przeze mnie grupy na Facebooku zawiera „nieprawdziwe informacje”.

Post dotyczył m.in opinia artykuł dotyczący przeglądu Cochrane w New York Times, opublikowany 10 lutego. Zasobem „niezależnego weryfikatora faktów”, o którym mowa, był wspomniany artykuł Carballo-Carbajala. Uzyskanie pieczątki sprawdzenia faktów może być poważnym problemem dla gazety, nie mniej dla instytucji naukowej. Dlatego nie było zaskoczeniem, że już 10 marca redaktor Cochrane, Karla Soares-Weiser, opublikowała oświadczenie próbujące bagatelizować wyniki badania, błędnie twierdząc, że badanie ma na celu jedynie ocenę skuteczności interwencji promować noszenie maski, podczas gdy wyraźnie określono cel Celem badania jest ocena skuteczności samych interwencji fizjoterapeutycznych, a nie tylko skuteczności ich promocji.

Tego samego dnia New York Times opublikowane kawałek twierdząc w nagłówku, że maski z pewnością działają, ale w większości poświęcone oczernianiu autora badania Cochrane, dr Toma Jeffersona. Na przykład artykuł twierdzi, że Jefferson stwierdził w an wywiad że nie ma dowodów na to, że wirus SARS-CoV-2 przenosi się drogą powietrzną, podczas gdy tak naprawdę mówi, że istnieje wiele dróg transmisji i potrzebne są dalsze dowody, aby dokładnie ustalić, w jaki sposób dochodzi do transmisji.

Ten łańcuch wydarzeń jest szokująco wyraźnym przykładem tego, jak działa przemysł cenzury. Jest to tym bardziej szokujące, biorąc pod uwagę, jak poważnie wadliwy jest „sprawdzający fakty” artykuł Carballo-Carbajala pod względem faktycznym, logicznym i etycznym.

1. Słomiany

Carballo-Carbajal zaczyna od stworzenia słomki, w tym przypadku twierdzenia przypisywanego dr Robertowi Malone, odnosząc się do niedawnego pisać na jego blogu. Pod nagłówkiem „Roszczenie” rzekome twierdzenie brzmi następująco: „Maski na twarz są nieskuteczne w ograniczaniu rozprzestrzeniania się COVID-19 i innych chorób układu oddechowego, jak pokazuje przegląd Cochrane”. Twierdzenia tego, cytowanego poza zdjęciem dr Malone, nie ma nigdzie w jego poście na blogu.

Jakby tego było mało, Carballo-Carbajal kontynuuje, przedstawiając to, co nazywa „pełnym twierdzeniem”: „Przegląd” „nie znalazł nawet„ skromnego wpływu ”na wskaźnik infekcji lub zachorowań:” „CDC rażąco przesadziło z dowodami potwierdzającymi nakazy masek ”.

Problem polega na tym, że podczas gdy dr Malone jest poprawnie cytowany w pierwszej części akapitu, druga jest czymś, czego po prostu nie mówi w swoim poście na blogu.

2. Ad personam

Następnie Carballo-Carbajal bierze na siebie atak na dr Malone, twierdząc, że rozpowszechnia „dezinformację na temat szczepionek Covid-19”, odnosząc się do innego artykułu, również opublikowanego przez Health Feedback. Na czym polega rzekoma dezinformacja, zgodnie z tym artykułem? The artykuł jest „sprawdzeniem faktów” a Washington Times opinia dr Malone i dr Petera Navarro opublikowana w 2021 r., w której argumentują przeciwko powszechnej polityce szczepień rządu USA, argumentując, że opiera się ona na czterech błędnych założeniach. Po pierwsze, powszechne szczepienia mogą wyeliminować wirusa, po drugie, szczepionki są bardzo skuteczne, po trzecie, że są bezpieczne, a po czwarte, że odporność związana ze szczepionkami jest trwała.

Carballo-Carbajal nie mógł mieć mniej szczęścia z jej referencją. Obecnie jest całkowicie jasne, że powszechne szczepienia nie mogą wyeliminować wirusa, że ​​odporność poszczepienna zanika bardzo szybko, nawet do punktu, w którym staje się ujemna, ponieważ infekcja badania naukowe i reinfekcji badania naukowe już pokazali. Fakt, że szczepionki nie są „(prawie) doskonale skuteczne”, cytując artykuł Malone'a i Navarro, jest od dawna oczywisty; w rzeczywistości jest to powód, dla którego nie mogą wyeliminować wirusa.

Jeśli chodzi o trzeci punkt, tak mówią Malone i Navarro w swoich artykuł: „Trzecim założeniem jest to, że szczepionki są bezpieczne. Jednak naukowcy, lekarze i urzędnicy zdrowia publicznego dostrzegają obecnie zagrożenia, które są rzadkie, ale bynajmniej nie trywialne. Znane działania niepożądane obejmują poważne choroby serca i choroby zakrzepowe, zaburzenia cyklu miesiączkowego, porażenie Bella, zespół Guillain-Barre i anafilaksję. Innymi słowy, nie są bezpieczni, jest ich dużo znany rzadkie efekty uboczne, i tak faktycznie jest jaśniejsze w miarę upływu czasu.

Krótko mówiąc, Carballo-Carbajal próbuje zdyskwalifikować dr Malone, oskarżając go o „dezinformację” o czymś innym niż temat jej artykułu. Jest to klasyczna taktyka ad hominem, niemal uniwersalna w artykułach „sprawdzających fakty”. Jej porażka jest spektakularna, ponieważ wszystkie rzekome „dezinformacje” są już zweryfikowanymi faktami.

3. Argumentacja

Główne podsumowanie Carballo-Carbajal (w tym „Szczegóły” i „Klucz na wynos”) jest następujące:

Twierdzenia, że ​​maski na twarz są nieskuteczne w ograniczaniu rozprzestrzeniania się COVID-19 na podstawie przeglądu Cochrane, nie uwzględniają ograniczeń przeglądu. Chociaż wielu użytkowników przedstawiło ten przegląd jako dowody najwyższej jakości, poszczególne oceniane badania różniły się znacznie pod względem jakości, projektu badania, badanych populacji i obserwowanych wyników, co uniemożliwiło autorom wyciągnięcie ostatecznych wniosków. 

Randomizowane badania kontrolowane są uważane za złoty standard przy ocenie skuteczności interwencji. Jednak ten rodzaj badań może znacznie różnić się jakością, szczególnie w przypadku złożonych interwencji, takich jak maski na twarz, co wpływa na wiarygodność wyników. W tym kontekście wielu naukowców uważa, że ​​badania z randomizacją powinny być postrzegane jako część szerszych dowodów, w tym innych projektów badawczych. Biorąc pod uwagę te badania, dowody sugerują, że powszechne stosowanie masek może ograniczyć transmisję SARS-CoV-2 w społeczności, zwłaszcza w połączeniu z innymi interwencjami, takimi jak częste mycie rąk i dystans fizyczny.

Teraz podzielę to stwierdzenie na części, a następnie sprawdzę ważność każdej części. Musimy pamiętać, że cytowanym źródłem jest wpis na blogu dr Malone, dlatego wszelkie odniesienia do „twierdzeń” muszą odnosić się do wpisu na blogu Malone, który jest jedynym cytowanym źródłem. Odniesienia do niezidentyfikowanych źródeł, takie jak „wiele stron internetowych i postów w mediach społecznościowych”, należy zignorować z oczywistego powodu, dla którego nie podano żadnych odniesień:

1. Oświadczenie: Dr Malone twierdzi, że przegląd Cochrane pokazuje, że maski są nieskuteczne w ograniczaniu rozprzestrzeniania się Covid-19.

Dyskusja: Jak pokazano powyżej, dr Malone nie wysuwa tego twierdzenia. Zamiast tego twierdzi, że badanie „nie udało się znaleźć nawet„ skromnego wpływu ”na wskaźnik infekcji lub zachorowań”. Istnieje zasadnicza różnica między twierdzeniem, że A nie działa, a twierdzeniem, że nie udowodniono, że A działa. Oba nie mają tego samego znaczenia.

Werdykt: oświadczenie Carballo-Carbajala jest fałszywe.

2. Oświadczenie: Składając to twierdzenie, dr Malone nie bierze pod uwagę ograniczeń przeglądu.

Dyskusja: Zacznijmy od tego, że dr Malone nigdy nie wysuwa twierdzenia, do którego się odnosi, lecz inne twierdzenie. Niezależnie od tego, w swoim poście na blogu wyraźnie cytuje oświadczenie autorów badania dotyczące niepewności co do skutków masek na twarz: „Niska lub umiarkowana pewność dowodów oznacza, że ​​nasze zaufanie do oszacowania efektu jest ograniczone i że prawdziwy efekt może różnić się od zaobserwowanego oszacowania efektu”.... „Wysokie ryzyko stronniczości w badaniach, różnice w pomiarze wyników i stosunkowo niska zgodność z interwencjami podczas badań utrudniają wyciąganie jednoznacznych wniosków i uogólnianie wyników na obecną pandemię COVID-19.  Nie jest zatem prawdą, że dr Malone „nie wziął pod uwagę ograniczeń przeglądu."

Werdykt: oświadczenie Carballo-Carbajala jest fałszywe.

3. Oświadczenie: „[Poszczególne badania […] oceniane [w przeglądzie] różniły się znacznie pod względem jakości, projektu badania, badanych populacji i obserwowanych wyników, […] [uniemożliwiając] autorom wyciągnięcie ostatecznych wniosków ”.

Dyskusja: „The Puzzle of Monogamous Marriage”  wyniki są jasne: „Istnieją dowody o niskiej pewności z dziewięciu badań (3,507 uczestników), że noszenie maski może mieć niewielki lub żaden wpływ na wynik choroby grypopodobnej (ILI) w porównaniu z brakiem maski (współczynnik ryzyka (RR) 0.99, 95 procent przedział ufności (CI) 0.82 do 1.18 Istnieją dowody z umiarkowaną pewnością, że noszenie maski prawdopodobnie ma niewielki lub żaden wpływ na wynik grypy potwierdzonej laboratoryjnie w porównaniu z brakiem maski (RR 0.91, 95% CI 0.66 do 1.26; 6 próby kliniczne; 3,005 uczestników).… Stosowanie respiratora N95/P2 w porównaniu z maską medyczną/chirurgiczną prawdopodobnie nie ma większego znaczenia lub nie ma żadnego wpływu na obiektywny i bardziej precyzyjny wynik zakażenia grypą potwierdzonego laboratoryjnie (RR 1.10, 95% CI 0.90 do 1.34; dowody o umiarkowanej pewności; 5 badań; 8,407 uczestników).”

Wyniki te powtarzają się we wnioskach Autorów, dodając zastrzeżenie, że „Wysokie ryzyko błędu systematycznego w badaniach, różnice w pomiarze wyników i stosunkowo niska zgodność z interwencjami podczas badań utrudniają wyciąganie jednoznacznych wniosków i uogólnianie wyników na obecną pandemię COVID-19”.

To zastrzeżenie jest słomką, której Carballo-Carbajal trzyma się z całych sił. Ale jak wyjaśnił główny autor badania, nie zmienia to wyników badania, stwierdza jedynie, że na wyniki mogą wpływać niepewności wynikające z ograniczeń zastosowanych badań. W jego własnych słowach:

„Nazywa się to ostrożnością i uczciwością w stosunku do dowodów, które znaleźliśmy. To najlepszy dowód, jaki mamy” (patrz odnośnik poniżej).

Wygląda na to, że Carballo-Carbajal nie rozumie znaczenia zastrzeżenia w artykule naukowym; zamiast tego próbuje wykorzystać to, aby unieważnić wyniki badań i poprzeć swoje twierdzenie, że maski działają pomimo dowodów. Zrzeczenie się odpowiedzialności w badaniu nie unieważnia jego wyników.

Werdykt: oświadczenie Carballo-Carbajala wprowadza w błąd.

4. Stwierdzenie: Randomizowane badania kontrolowane są uważane za złoty standard przy ocenie skuteczności interwencji.

Dyskusja: Odniesienie, na którym opiera się to stwierdzenie, to blog dr Malone. Chociaż to stwierdzenie może być prawdziwe, wnioskowanie, że coś jest ogólnie „uważane za złoty standard” na podstawie opinii jednego naukowca, jest poważnym błędem logicznym.

Werdykt: oświadczenie Carballo-Carbajala jest logicznie niepoprawne.

5. Oświadczenie: Badania o złotym standardzie różnią się znacznie pod względem jakości.

Dyskusja: Twierdzenie to nie jest poparte żadnymi dowodami. Może to być prawda, a może nie.

Werdykt: oświadczenie Carballo-Carbajala nie jest poparte dowodami.

6. Stwierdzenie: Wielu naukowców uważa, że ​​badania z randomizacją powinny być postrzegane jako część szerszego materiału dowodowego.

Dyskusja: Źródłem tego jest artykuł w The Rozmowa trzech epidemiologów i jednego eksperta podstawowej opieki zdrowotnej. Autorzy z pewnością wysuwają takie twierdzenie, ale bez cytowania jakichkolwiek odniesień. Tym samym stwierdzenie, że opiera się na opinii „wielu epidemiologów”, jest po prostu nieprawdziwe. Jest to twierdzenie złożone przez trzech epidemiologów i biorąc pod uwagę ogromną liczbę osób z tym szkoleniem, słowo „wielu” z pewnością nie jest uzasadnione. Trzeba dodać, że odwoływanie się do liczb (argumentum ad populum) jest błędem logicznym.

Werdykt: oświadczenie Carballo-Carbajala nie jest poparte dowodami. Jego rzekoma trafność opiera się na argumentum ad populum, błędzie logicznym.

7. Oświadczenie: Kiedy brane są pod uwagę badania, które nie spełniają wymagań złotego standardu badań, pokazują one, że powszechne stosowanie masek może ograniczyć transmisję w społeczności.

Dyskusja: Oczywiście prawdą jest, że obniżając standard, można uzyskać różne wyniki, ale to stwierdzenie jest problematyczne, ponieważ Carballo-Carbajal wydaje się wyciągać z niego wniosek, że pomimo wyniku przeglądu Cochrane, maski faktycznie zapobiegają przenoszeniu . Widać to wyraźnie w tym fragmencie pod koniec artykułu: „Coraz więcej dowodów z RCT i badań obserwacyjnych sugeruje, że konsekwentne noszenie masek może skutecznie ograniczać rozprzestrzenianie się wirusów układu oddechowego, takich jak SARS-CoV-2, zarówno w placówkach służby zdrowia, jak i w innych miejscach. … Na razie maski na twarz to kolejna warstwa ochrony oprócz szczepień, częstego mycia rąk i dystansu fizycznego, gdy krążenie wirusów oddechowych jest wysokie”.

Oznacza to, że Carballo-Carbajal twierdzi nie tylko, że badania niskiej jakości coś sugerują; końcowe oświadczenie pokazuje, że wyraźnie twierdzi, że to, co sugerują, jest w rzeczywistości prawdą. Twierdzenie to jest jeszcze wyraźniejsze w jej nagłówku: „Wiele badań pokazuje, że maski na twarz ograniczają rozprzestrzenianie się COVID-19”. Subtelna różnica na powierzchni, ale niezwykle ważna. Oznacza to, że uzasadnione jest przeformułowanie pierwotnej wypowiedzi w następujący sposób: „Kiedy brane są pod uwagę badania, które nie spełniają wymagań złotego standardu badań, pokazują one, że powszechne stosowanie masek może ograniczyć transmisję w społeczności i to jest słuszna konkluzja".

To prowadzi nas do pytania, dlaczego niskiej jakości badania cytowane przez Carballo-Carbajala nie zostały uwzględnione w przeglądzie Cochrane. Na szczęście mamy ok transkrypcja szczegółowego wywiadu między głównym autorem badania, dr Tomem Jeffersonem (JF) i dr Carlem Heneghanem (CH), w którym szczegółowo omówiono to:

CH. Teraz spójrz, wezmę cię tutaj do zadania. We wnioskach autora ludzie przeczytają tę recenzję i zaczną się temu przyglądać i powiedzą: spójrz, mamy dowody wysokiej jakości, mamy randomizowane kontrolowane badania, a zwłaszcza na poziomie maski, oni zamierzają powiedzieć , spójrz, pokazujesz w społeczności ten brak efektu, ale zaczynasz od wysokiego ryzyka stronniczości w badaniu, zmienności w pomiarze wyników i stosunkowo niskiego przestrzegania interwencji podczas badań, co utrudnia nam wyciągnięcie jednoznacznych wniosków . Teraz naciskam na ten punkt, ponieważ oczywistą odpowiedzią jest wtedy przejście do wszystkich badań obserwacyjnych, w których ludzie dokonywali systematycznych przeglądów iz pewnością wyciągnęli zdecydowane wnioski na temat tego, co robić. Czy mógłbyś więc po prostu rozwinąć, co to oznacza w kontekście 78 badań – to dużo dowodów z randomizowanych prób kontrolnych – czy możesz rozwinąć, co to oznacza?

TJ. Nazywa się to ostrożnością i szczerością w stosunku do dowodów, które znaleźliśmy. To najlepszy dowód, jaki mamy, ale w przeciwieństwie do niektórych ideologów forsujących ideę, że badania nierandomizowane, badania obserwacyjne mogą dać odpowiedzi, niektórzy z nich dostarczają ogólnych odpowiedzi, ogólnych stwierdzeń, pewników, które po prostu nie należą do nauka. W nauce nie chodzi o pewność, w nauce chodzi o niepewność, chodzi o próbę poruszania się po programie i gromadzenie wiedzy. Wykorzystanie badań nierandomizowanych w ocenie interwencji z wirusami układu oddechowego oznacza, że ​​ludzie nie rozumieją, ci, którzy przeprowadzili te badania, nie rozumieją gry kilku czynników. Na przykład sezonowość, na przykład kapryśne przychodzenie i odchodzenie tych agentów, są tu jednego dnia, a następnego znikają. Jeśli spojrzysz na zachowanie SARS-CoV-2 w nadzorze w Wielkiej Brytanii przez ostatnie 12 miesięcy, widać wzloty i upadki, i jest to po prostu całkowicie niezależne od jakiejkolwiek interwencji, a także bardzo szybko rośnie i bardzo szybko spada. Badania obserwacyjne nie mogą tego wyjaśnić. Ponadto bardzo duża część badań obserwacyjnych ma charakter retrospektywny, a zatem są one poddawane bezlitosnemu fałszowaniu wspomnień; badacze wyciągają wnioski z danych, które uzyskali, zadając pytania, takie jak „Czy pamiętasz miesiąc temu, ile razy nosiłeś maskę” lub „Co robiłeś tego lub co robiłeś poprzedniego dnia” bez prowadzenia dziennika. To po prostu nie jest nauka. Wnioskowanie o metrażu, dystansowanie, kiedy oryginalne badania tego nie robiły. Jest to więc po prostu niekończąca się lista uprzedzeń, których nie można wziąć pod uwagę w badaniach obserwacyjnych. A jedynym sposobem, w jaki musimy odpowiedzieć na pytania, jest przeprowadzenie dużych prospektywnych, randomizowanych badań kontrolnych, aby odpowiedzieć na konkretne pytanie w określonej populacji”.

Jak wyjaśnia Jefferson, ograniczenia badań obserwacyjnych praktycznie uniemożliwiają wyciągnięcie z nich wniosku, że robi to Carballo-Carbajal. Carballo-Carbajal cytuje szereg badań obserwacyjnych na poparcie swojego twierdzenia. Nie będę ich tu wszystkich omawiał, ale spojrzenie na kilka przykładów powinno wystarczyć, aby dostarczyć dowodów na niektóre problemy omawiane przez Jeffersona, a także obalić niektóre bezpodstawne wnioski Carballo-Carbajala.

Na przykład jedno z cytowanych badań, Wang i in, stwierdza, że ​​stosowanie masek na twarz przez pierwotnego przypadku i kontakty rodzinne przed wystąpieniem objawów pierwotnego przypadku było skuteczne w 79 procentach w ograniczaniu transmisji. Jest to retrospektywne badanie obserwacyjne, w którym dowody na użycie maski opierają się wyłącznie na samoopisie uczestnika po fakcie. 

Inny, Mello i in. pokazuje, w jaki sposób cząsteczki wirusa gromadzą się w maskach, ale Carballo-Carbajal traktuje to jako dowód na to „[a]dostępne dane wskazują, że noszenie masek jest bardziej skuteczne w połączeniu z innymi środkami kontroli, takimi jak dystans fizyczny i częste mycie rąk”.

Podsumowując, Carballo-Carbajal twierdzi, że skoro wysokiej jakości badania nie dowodzą skuteczności masek przeciwko transmisji, to nierzetelne badania obserwacyjne, które są wyłączone z metaprzeglądu „złotego standardu” właśnie ze względu na swoją nierzetelność, dowodzą tego, czym jest wysoka jakościowe badania nie dowodzą.

Werdykt: oświadczenie Carballo-Carbajala (przeformułowane) jest fałszywe. Bez przeredagowania to nie ma znaczenia.

8. Stwierdzenie: Efekt stosowania maski jest większy w połączeniu z innymi interwencjami.

Dyskusja: To stwierdzenie jest problematyczne. Z wysokiej jakości dowodów przedstawionych w przeglądzie Cochrane jasno wynika, że ​​twierdzenie, że maski zmniejszają transmisję, jest nieudowodnione. Oznacza to, że twierdzenie, że zwiększają one ochronę zapewnianą przez inne interwencje, musi być błędne.

Werdykt: oświadczenie Carballo-Carbajala jest fałszywe.

Carballo-Carbajal zaczyna od fałszywego przypisania dr Robertowi Malone dwóch twierdzeń, których nigdy nie wysunął. Te fałszywe twierdzenia stają się podstawą jej „weryfikacji faktów”.

Następnie niesłusznie oskarża dr Malone o składanie fałszywych oświadczeń w innej sprawie, argument ad hominem nie mający związku z tematem artykułu.

Spośród ośmiu twierdzeń przedstawionych przez Carballo-Carbajal w jej streszczeniu, popartych jej głównym tekstem, cztery są ewidentnie fałszywe, jedno niepoprawne logicznie, jedno wprowadza w błąd, a dwa nie są poparte żadnymi dowodami, z których jedno opiera się na też błąd logiczny.

Biorąc pod uwagę, w jaki sposób ten poważnie wadliwy artykuł jest obecnie najwyraźniej używany do powstrzymania rozpowszechniania ważnego artykułu naukowego, do naciskania na redaktora naczelnego Cochrane, aby przedstawił fałszywe twierdzenia na temat celu artykułu i bagatelizowania jego wyników, oraz do cenzurowania przeglądu z ustaleń ważnej gazety głównego nurtu, istnieje wyraźna pilna potrzeba podjęcia zdecydowanych działań przeciwko tak zwanej branży „sprawdzania faktów”. Poziom, do którego doszło do eskalacji tej cenzury, jest wyraźnym i aktualnym zagrożeniem dla badań naukowych i rozwoju.