Apel o ponowne recenzje artykułów na temat szczepionek przeciwko COVID-19

UDOSTĘPNIJ | DRUKUJ | E-MAIL

Przez lata, gdy pełniłem funkcję zastępcy redaktora (w „The American Journal of Epidemiology ”), widziałem całe spektrum „recenzji eksperckich” – od skrupulatnych, przemyślanych recenzji, których autorzy ewidentnie poświęcili na to kilka godzin, po szczątkowe recenzje, świadczące o niedbalstwie i niekompetencji. Czytałem przyjazne recenzje wielbicieli autorów i wrogie recenzje ich wrogów. (Nietrudno to wywnioskować z tonu). W praktyce naukowej ludzie nadal zachowują się jak ludzie.

Sytuacja pogorszyła się w czasie pandemii. Badania, które chwaliły szczepionki przeciwko COVID-19, zostały szybko uznane za „recenzowane”, podczas gdy krytyczna, popublikacyjna recenzja została wstrzymana . W rezultacie mamy teraz historyczny zbiór opublikowanych, złych prac naukowych. Nie da się go wymazać, ale nadszedł czas, aby zacząć to korygować.

Czasopisma biomedyczne nie są odpowiednią platformą. Po pierwsze, nie ma formalnego działu otwartej recenzji artykułów, które zostały opublikowane dawno temu. Po drugie, redaktorzy nie są zainteresowani ujawnianiem kłamstw publikowanych w ich czasopismach. Po trzecie, machina cenzury wciąż działa. Jak dotąd udało mi się ją przełamać tylko raz i nie było to łatwe.

Jak więc możemy spróbować naprawić ten błąd i gdzie?

Pozwólcie, że zasugeruję coś moim kolegom z epidemiologii, biostatystyki i pokrewnych dziedzin metodologicznych, którzy zachowali krytyczne myślenie podczas pandemii. Wybierzcie jeden lub więcej artykułów na temat szczepionek przeciwko Covid i prześlijcie swoją recenzję do Brownstone Journal . Jeśli będzie interesujący i dobrze napisany, jest duża szansa, że zostanie opublikowany. Radzę wybierać najlepsze: znajdźcie te recenzowane artykuły, które najbardziej was zirytowały, albo dlatego, że były czystą bzdurą , albo dlatego, że prawidłowe wnioski były uderzająco inne . A jeśli opublikowaliście krótkie krytyki na Twitterze (teraz X) lub obszerne recenzje na innych platformach, rozszerzcie je, poprawcie i prześlijcie do Brownstone. Być może możemy powoli stworzyć inwentarz krytycznych recenzji, przywracając zaufanie do metody naukowej i nauk biomedycznych.

Oto przykład.

Przegląd i ponowna analiza badania przeprowadzonego w Ontario w Kanadzie

Artykuł opublikowany w British Medical Journal w sierpniu 2021 r. donosił o skuteczności szczepionek mRNA na początku 2021 r., wkrótce po ich autoryzacji.

Badanie to było typowe dla badań nad szczepionkami z tamtego okresu. Skuteczność szacowano w warunkach „rzeczywistych”, a mianowicie w badaniu obserwacyjnym prowadzonym w trakcie kampanii szczepień. Okres badania (od połowy grudnia 2020 r. do połowy kwietnia 2021 r.) obejmował szczyt zimowej fali COVID-19 na początku stycznia. Później omówimy silny błąd systematyczny, zwany czynnikiem zakłócającym, wynikającym z ryzyka zakażenia w tle.

Projekt stanowił odmianę badania typu przypadek-kontrola, z ujemnym wynikiem testu. U kwalifikujących się osób wykonano test PCR z powodu objawów przypominających COVID-19. U osób z grupy kontrolnej wynik był dodatni, a u osób z grupy kontrolnej ujemny. Jak zwykle, obliczono iloraz szans, a skuteczność obliczono jako 1 minus iloraz szans (wyrażony w procentach). Wielkość próby była duża: 53 270 przypadków i 270 763 osób z grupy kontrolnej.

Autorzy podali następujące najważniejsze wyniki (kursywa moja):

Skuteczność szczepionki w zapobieganiu objawowym zakażeniom obserwowanym ≥14 dni po podaniu jednej dawki wynosiła 60% (95% przedział ufności 57%–64%), wzrastając z 48% (41%–54%) po 14–20 dniach po podaniu jednej dawki do 71% (63%–78%) po 35–41 dniach. Skuteczność szczepionki obserwowana ≥7 dni po podaniu dwóch dawek wynosiła 91% (89%–93%).

Podobnie jak w niemal każdym badaniu skuteczności, autorzy pomijali wczesne zdarzenia. Jak wyjaśniono w innym miejscu , taka praktyka wprowadza błąd zwany czasem nieśmiertelnym lub błędem okna zliczania przypadków . Nie tylko zaciemnia on możliwe wczesne szkodliwe skutki, ale także w efekcie prowadzi do przeceniania skuteczności. RFK Jr. nawiązał do tego błędu w terminologii nietechnicznej (zobacz klip wideo ).

Prawidłowe podejście jest proste. Powinniśmy oszacować skuteczność od podania pierwszej dawki do późniejszych punktów czasowych (wzrost odporności). Poniższa tabela przedstawia dane z badania i wyniki nowej analizy. Każdy wiersz przedstawia obliczenie skuteczności do wskazanego dnia.

Skuteczność była ujemna pod koniec pierwszych dwóch tygodni po pierwszej dawce i osiągnęła około 30% przed drugą dawką, a nie 70%. Do czasu uzyskania pełnej odporności osiągnęła jedynie około 50%, a nie 90%. Chociaż moje szacunki nie zostały skorygowane, eTabela 2 ( materiał uzupełniający ) wskazuje, że korekta praktycznie nie zmieniła szacunków autorów.

Moje wyniki są jednak nadal obarczone błędem, który wcześniej nazwałem „czynnikiem zakłócającym wynikającym z ryzyka infekcji”.

Poniższy wykres pochodzi ze strony internetowej Public Health Ontario . Czarna linia przedstawia 7-dniową średnią ruchomą nowych przypadków. Dodałam czerwone linie, które pokazują okres badania podzielony na dwa przedziały. Dodałam również szacunki liczby osób zaszczepionych w każdym przedziale.

Pierwszy okres, który obejmował szczyt zimowej fali, był okresem powolnego początku kampanii szczepień. W tym czasie rozkład statusu szczepień był przechylony w stronę braku szczepień, co oznacza, że status braku szczepień zbiegł się z wysokim prawdopodobieństwem zakażenia . Natomiast wskaźnik zakażeń tła był niższy przez większą część drugiego okresu, kiedy kilka milionów osób otrzymało pierwszą dawkę. Dopiero w połowie marca liczba nowych przypadków ponownie przekroczyła linię przerywaną. Krótko mówiąc, odwrotna zależność między szczepieniem a zakażeniem była mocno zaburzona przez trendy czasowe w ryzyku zakażenia. Nawet zastrzyk placebo wydawałby się skuteczny.

Nie mogę usunąć tego błędu, a jest on silny. Rzeczywista skuteczność, o ile w ogóle istnieje, jest znacznie mniejsza niż szacunki, które obliczyłem po usunięciu błędu nieśmiertelnego czasu. Nie ma znaczenia, czy będzie to 10% w ciągu sześciu tygodni, czy 20%. To nie jest szczepionka.

Autorzy wykorzystali inną grupę przypadków: hospitalizację lub zgon. Dane te podlegają nie tylko wcześniejszym błędom, ale także błędowi dotyczącemu zdrowych osób zaszczepionych . Nie mogę jednak zaproponować korekty. Większość danych dotyczących przypadków została pominięta ze względu na małą liczebność, a grupa kontrolna była błędna. Użyli „tej samej grupy kontrolnej, co w pierwszej analizie wyników pierwotnych (tj. osób z objawami, u których wynik testu na SARS-CoV-2 był ujemny)”. To naruszenie podstawowej zasady projektu opartego na ujemnym wyniku testu. Grupa kontrolna powinna obejmować osoby hospitalizowane lub zmarłe, u których wynik testu był ujemny.

Poniższe zdanie odzwierciedla niezrozumienie modelu regresji, który dopasowują. Piszą: „Wykorzystaliśmy wieloczynnikowe modele regresji logistycznej do oszacowania ilorazu szans, porównując szanse szczepienia (kursywa moja) między przypadkami z wynikiem pozytywnym testu a grupą kontrolną z wynikiem negatywnym testu (z osobami niezaszczepionymi jako grupą odniesienia)”. Zmienną zależną był status przypadku i kontroli (logarytm szansy bycia przypadkiem). Technicznie rzecz biorąc, porównywane są szanse bycia przypadkiem (w porównaniu z byciem grupą kontrolną), a nie szanse szczepienia.

Co dziwne, opublikowane materiały uzupełniające nadal noszą nagłówek „POUFNE — NIE DO ROZPOWSZECHNIANIA, 5 SIERPNIA 2021 R.” Tylko w dobie COVID-19 można spotkać się z taką niedbałością. Obserwujemy tu stronnicze (nieostrożne) traktowanie artykułu, który służył narracji.

Zakończę swoją recenzję jednym z moich ulubionych tematów: bezsensownych wyników.

Poniższy rysunek przedstawia szacunki skuteczności obliczone przez autorów. Strzałka wskazuje na wynik, który nie ma sensu. Nie spodziewamy się żadnych dodatkowych korzyści z drugiej dawki w ciągu 6 dni od wstrzyknięcia, a mimo to skuteczność wzrosła, niemal osiągając szacunki dla kolejnego okresu (7+ dni). Skoro szacunki dla okresu 0–6 dni są ewidentnie obarczone błędem, dlaczego mielibyśmy ufać kolejnym?

Epilog

Jak napisałem na początku, powinniśmy starać się korygować historię. To długa droga, ale jak głosi przysłowie: „Podróż tysiąca mil zaczyna się od jednego kroku”. Szczególnie apeluję do czołowych metodologów, którzy kiedyś krytykowali słabe badania i niepewne metody. Większość z nich milczała w czasie pandemii, prawdopodobnie obawiając się konsekwencji podważania narracji o „bezpiecznym i skutecznym” podejściu.

Zacznijmy od lektury odważnych recenzji badań, które donosiły o niezwykłej skuteczności szczepionek przeciwko COVID-19, a które okazały się fałszywe. Nie brakuje problemów, które należy wykryć, nagłośnić i skorygować, jeśli to możliwe, za pomocą rzeczywistych danych lub symulacji: