W latach, w których pełniłem funkcję zastępcy redaktora (dla Amerykańskie czasopismo epidemiologiczne), widziałem całe spektrum „recenzji eksperckich” – od skrupulatnych, przemyślanych recenzji, których autorzy ewidentnie poświęcili na to kilka godzin, po szczątkowe recenzje, świadczące o niedbalstwie i niekompetencji. Czytałem przyjazne recenzje wielbicieli autorów i wrogie recenzje ich wrogów. (Nietrudno to wywnioskować z tonu). W praktyce naukowej ludzie nadal zachowują się jak ludzie.
Sytuacja pogorszyła się w czasie pandemii. Badania, które chwaliły szczepionki przeciwko COVID-19, szybko uzyskały certyfikat „recenzowanych”, podczas gdy krytyczna recenzja po publikacji została zduszonyW rezultacie mamy teraz historyczny zbiór opublikowanych, kiepskich prac naukowych. Nie da się go wymazać, ale nadszedł czas, aby zacząć korygować ten zapis.
Czasopisma biomedyczne nie są platformą. Po pierwsze, nie ma formalnej sekcji otwartej recenzji artykułów opublikowanych dawno temu. Po drugie, redaktorzy nie są zainteresowani ujawnianiem fałszerstw publikowanych w ich czasopismach. Po trzecie, cenzura Maszyna jest nadal na swoim miejscu. Do tej pory udało mi się ją rozbić tylko pewnego razui nie było to łatwe.
Jak więc możemy spróbować naprawić ten błąd i gdzie?
Chciałbym zaproponować moim kolegom z epidemiologii, biostatystyki i pokrewnych dziedzin metodologicznych, którzy zachowali krytyczne myślenie podczas pandemii. Wybierz jeden lub więcej artykułów na temat szczepionek przeciwko COVID-19 i prześlij swoją recenzję do… Dziennik Brownstone'aJeśli jest interesujący i dobrze napisany, istnieje duża szansa, że zostanie opublikowany. Radzę wybierać te artykuły z recenzjami, które najbardziej Cię zirytowały, ponieważ były albo czyste, albo nonsens lub ponieważ prawidłowy wniosek był uderzająco różnyA jeśli opublikowałeś krótkie recenzje na Twitterze (teraz X) lub obszerne recenzje na innych platformach, rozszerz je, popraw i prześlij do Brownstone. Być może uda nam się powoli stworzyć inwentarz krytycznych recenzji, przywracając zaufanie do metody naukowej i nauk biomedycznych.
Oto przykład.
Przegląd i ponowna analiza badania przeprowadzonego w Ontario w Kanadzie
Opublikowano w British Medical Journal w sierpniu 2021 r. papier poinformował o skuteczności szczepionek mRNA na początku 2021 r., krótko po ich autoryzacji.
Badanie to było typowe dla badań nad szczepionkami z tamtego okresu. Skuteczność szacowano w warunkach „rzeczywistych”, a mianowicie w badaniu obserwacyjnym prowadzonym w trakcie kampanii szczepień. Okres badania (od połowy grudnia 2020 r. do połowy kwietnia 2021 r.) obejmował szczyt zimowej fali COVID-19 na początku stycznia. Później omówimy silny błąd systematyczny, zwany czynnikiem zakłócającym, wynikającym z ryzyka zakażenia w tle.
Projekt stanowił odmianę badania typu przypadek-kontrola, z ujemnym wynikiem testu. U kwalifikujących się osób wykonano test PCR z powodu objawów przypominających COVID-19. U osób z grupy kontrolnej wynik był dodatni, a u osób z grupy kontrolnej ujemny. Jak zwykle, obliczono iloraz szans, a skuteczność obliczono jako 1 minus iloraz szans (wyrażony w procentach). Wielkość próby była duża: 53 270 przypadków i 270 763 osób z grupy kontrolnej.
Autorzy podali następujące najważniejsze wyniki (kursywa moja):
"Skuteczność szczepionki w zapobieganiu objawowym zakażeniom obserwowanym ≥14 dni po podaniu jednej dawki wyniosła 60% (95% przedział ufności 57%–64%), wzrastając z 48% (41%–54%) po 14–20 dniach po podaniu jednej dawki do 71% (63%–78%) po 35–41 dniach. Skuteczność szczepionki obserwowana ≥7 dni po podaniu dwóch dawek wyniosła 91% (89%–93%)."
Podobnie jak w przypadku niemal każdego badania skuteczności, autorzy pominęli wczesne wydarzenia. Jak wyjaśniono gdzie indziejpraktyka ta wprowadza stronniczość zwaną nieśmiertelny czaslub odchylenie okna liczenia przypadkówNie tylko zaciemnia to możliwe wczesne szkodliwe skutki, ale także w efekcie prowadzi do przeceniania skuteczności. RFK Jr. nawiązał do tego błędu systematycznego w terminologii nietechnicznej (zob. klip wideo).
prawidłowe podejście jest proste. Powinniśmy oszacować skuteczność od podania pierwszej dawki do późniejszych punktów czasowych (wzrost odporności). Poniższa tabela przedstawia dane z badania i wyniki nowej analizy. Każdy wiersz przedstawia obliczenie skuteczności. do wskazanego dnia.
Skuteczność była ujemna pod koniec pierwszych dwóch tygodni po pierwszej dawce i osiągnęła około 30% przed drugą dawką, a nie 70%. Do czasu uzyskania pełnej odporności osiągnęła jedynie około 50%, a nie 90%. Chociaż moje szacunki są nieskorygowane, eTabela 2 (materiał uzupełniający) wskazuje, że korekta ta nie zmieniła prawie w ogóle szacunków autorów.
Moje wyniki są jednak nadal obarczone błędem, który wcześniej nazwałem „czynnikiem zakłócającym wynikającym z ryzyka infekcji”.
Poniższy rysunek pochodzi ze strony internetowej Zdrowie publiczne OntarioCzarna linia przedstawia 7-dniową średnią ruchomą nowych przypadków. Dodałem czerwone linie, które pokazują okres badania podzielony na dwa przedziały. Dodałem również szacunki liczby osób zaszczepionych w każdym przedziale.
Pierwszy okres, który obejmował szczyt fali zimowej, był okresem powolnego rozpoczęcia kampanii szczepień. W tym czasie rozkład statusu szczepień był przesunięty w kierunku osób nieszczepionych, co oznacza, że status braku szczepień zbiegł się z wysokim prawdopodobieństwem zakażeniaNatomiast wskaźnik zakażeń w tle był niższy przez większą część drugiego okresu, kiedy kilka milionów osób otrzymało pierwszą dawkę. Dopiero w połowie marca liczba nowych przypadków przekroczyła linię przerywaną. Krótko mówiąc, odwrotna zależność między szczepieniem a zakażeniem była silnie zaburzona przez trendy czasowe ryzyka zakażenia. Nawet zastrzyk placebo wydawałby się skuteczny.
Nie mogę usunąć tego błędu, a jest on silny. Rzeczywista skuteczność, o ile w ogóle istnieje, jest znacznie mniejsza niż szacunki, które obliczyłem po usunięciu błędu nieśmiertelnego czasu. Nie ma znaczenia, czy będzie to 10% w ciągu sześciu tygodni, czy 20%. To nie jest szczepionka.
Autorzy wykorzystali inną grupę przypadków: hospitalizację lub zgon. Dane te podlegają nie tylko wcześniejszym błędom, ale także zdrowy błąd zaszczepionychNie mogę jednak zaproponować korekty. Większość danych dotyczących przypadków została pominięta z powodu małej liczebności, a grupa kontrolna była błędna. Użyli „tej samej grupy kontrolnej, co w pierwszej analizie wyników pierwotnych (tj. osób z objawami, u których wynik testu na SARS-CoV-2 był ujemny)”. To naruszenie podstawowej zasady projektu z ujemnym wynikiem testu. Grupa kontrolna powinna być hospitalizowana lub zmarła, u której wynik testu był ujemny.
Poniższe zdanie odzwierciedla niezrozumienie modelu regresji, który dopasowują. Piszą: „Użyliśmy wieloczynnikowych modeli regresji logistycznej do oszacowania ilorazu szans, porównując szanse na szczepienie (kursywa moja) między przypadkami z wynikiem pozytywnym testu a grupą kontrolną z wynikiem negatywnym testu (z osobami niezaszczepionymi jako grupą odniesienia). Zmienną zależną był status przypadku i kontroli (logarytm szansy na bycie przypadkiem). Technicznie rzecz biorąc, porównywane jest prawdopodobieństwo bycia przypadkiem (w porównaniu z byciem grupą kontrolną), a nie prawdopodobieństwo szczepienia.
Dziwne, że opublikowano materiał uzupełniający Nadal widnieje nagłówek „POUFNE — NIE DO ROZPOWSZECHNIANIA, 5 SIERPNIA 2021”. Tylko w dobie COVID-19 można spotkać się z taką niedbałością. Obserwujemy tu stronnicze (nieostrożne) traktowanie dokumentu, który służył narracji.
Zakończę moją recenzję jednym z moich ulubionych tematów: bezsensowne wyniki.
Poniższy rysunek przedstawia szacunki skuteczności obliczone przez autorów. Strzałka wskazuje na wynik, który nie ma sensu. Nie spodziewamy się żadnych dodatkowych korzyści z drugiej dawki w ciągu 6 dni od wstrzyknięcia, a mimo to skuteczność wzrosła, niemal osiągając szacunki dla kolejnego okresu (7+ dni). Skoro szacunki dla okresu 0–6 dni są ewidentnie obarczone błędem, dlaczego mielibyśmy ufać kolejnym?
Epilog
Jak napisałem na początku, powinniśmy starać się korygować historię. To długa droga, ale jak głosi przysłowie: „Podróż tysiąca mil zaczyna się od jednego kroku”. Szczególnie apeluję do czołowych metodologów, którzy kiedyś krytykowali słabe badania i niepewne metody. Większość z nich milczała w czasie pandemii, prawdopodobnie obawiając się konsekwencji podważania narracji o „bezpiecznym i skutecznym” podejściu.
Zacznijmy od lektury odważnych recenzji badań, które donosiły o niezwykłej skuteczności szczepionek przeciwko COVID-19, a które okazały się fałszywe. Nie brakuje problemów, które należy wykryć, nagłośnić i skorygować, jeśli to możliwe, za pomocą rzeczywistych danych lub symulacji:
Jeśli nie wykonamy tej pracy, będziemy czytać dalej fałszywe szacunki oparte na skuteczności uratowanych istnień. Czy było blisko? 2.5 milionówjak niektórzy twierdzą, lub niewykrywalne w statystykach śmiertelnościlub prawdopodobnie około zera? Czy kiedykolwiek otrzymamy jakieś odpowiedzi? odpowiednich prób?
Odebrane z Średni
Dołącz do rozmowy:
Opublikowane pod a Creative Commons Uznanie autorstwa 4.0 Licencja międzynarodowa
W przypadku przedruków ustaw link kanoniczny z powrotem na oryginał Instytut Brownstone Artykuł i autor.
