Nowa analiza badania Pfizera: skuteczność szczepionki nie była bliska 95%

Preambuła

Naturalnym miejscem publikacji tej pracy jest czasopismo biomedyczne. Nie ma jednak żadnych szans, że artykuł zostanie zaakceptowany przez jakiekolwiek konwencjonalne czasopismo. Dlaczego? Ponieważ wyniki są przełomowe, jak sugeruje tytuł.

Ten post ma charakter techniczny, ale wstęp taki nie jest. Dla czytelnika spoza środowiska akademickiego wstęp będzie miał dwa cele: 1) podzielić się ciekawą historią o ewolucji tej pracy; 2) przedstawić proste podsumowanie moich odkryć.

Tak więc zostańcie ze mną przynajmniej do końca tego fragmentu.

Chociaż mam ponad 200 publikacji naukowych, tylko kilka z nich było prawdziwie innowacyjnych w sensie kreatywnego pomysłu, który doprowadził do interesującego odkrycia. Większość stanowiła mało inspirującą, „normalną” naukę. Często zastanawiałem się, jak narodziły się te rzadkie przypadki i z perspektywy czasu nigdy nie było to wynikiem długotrwałego myślenia. Raczej była to niewyjaśniona iskra, moment, w którym niespodziewanie wpadł mi do głowy jakiś pomysł, albo jakieś luźne wątki się połączyły. Ta praca łączyła w sobie jedno i drugie.

Nigdy nie ufałem wynikom badania Pfizera. Ta 95% skuteczność w walce z wirusem układu oddechowego była zbyt piękna, aby mogła być prawdziwa – bezprecedensowa w kontekście wirusowej infekcji układu oddechowego. Nie potrafiłem jednak stwierdzić, co mogło pójść nie tak.

Pracuję nad niedawnym pisaćDoszedłem do wniosku, że winowajcą musiało być ustalenie przypadków. Z jakiegoś powodu wiele przypadków zostało pominiętych w grupie szczepionkowej, a zatem pierwotnym wynikom nie można ufać. Czy istnieje inny sposób oszacowania rzeczywistej skuteczności w zapobieganiu objawowym zakażeniom na podstawie danych z badania? „Prawdopodobnie nie” – to oczekiwana odpowiedź.

Przypadkowo odkryłem kolejny dokument dotyczący badania Pfizera, zatytułowany „Ostateczny pełny raport z badania klinicznego”. W tym obszernym dokumencie Pfizer zamieścił szacunki skuteczności w leczeniu zakażeń bezobjawowych, oparte na badaniu krwi u wszystkich uczestników (przeciwciała anty-N).

Czy istnieje sposób na oszacowanie skuteczności w leczeniu infekcji objawowej na podstawie skuteczności w leczeniu infekcji bezobjawowej??

To była iskra: postawienie pytania, które łączyło dwa luźne wątki. Odpowiedź nie była zbyt trudna. Prosta praca obliczeniowa.

Każda analiza opiera się na pewnych założeniach lub założeniach. W tym przypadku potrzebowałem dwóch:

Po pierwsze, założyłem, że szczepionka nie zapobiega infekcji. Może jedynie zapobiegać objawom w przypadku zakażenia. To założenie jest obecnie powszechnie akceptowane i udało mi się je pośrednio wykazać w danych z badania.

Moje drugie założenie dotyczyło podziału zakażeń na bezobjawowe i objawowe. Istnieją dane na ten temat, w tym dane, które udało mi się wyodrębnić z badania.

Reszta pracy to nic więcej niż proste równanie zapożyczone ze starej pracy i kilka wierszy w pliku Excel, które pokażę na końcu.

Obiecałem spoiler:

Spośród ponad pół tuzina różnych obliczeń, jedno dało zerową skuteczność, jedno 50%, a wszystkie pozostałe – do 25%. Powinniśmy podążać za większością: nie było to więcej niż 25%. I to zanim zaniknie…

Źródła danych

Aby połączyć dane dotyczące zakażeń bezobjawowych i objawowych, musiałem znaleźć odpowiedni przedział czasowy, w którym dostępne byłyby oba rodzaje danych. Był to okres między dawką 2 (podawaną 21 dni po dawce 1) a miesiąc później, w którym deklarowana skuteczność wynosiła od 90.5% do 94.8%.

Dane pochodziły z dwóch źródeł: słynnego papier in dotychczasowy New England Journal of Medicine oraz dokument Pfizera, o którym wspomniałem we wstępie, który prawdopodobnie został złożony do FDA. Poniżej znajdują się zrzuty ekranu z wykorzystanych przeze mnie danych. Dodano czerwone prostokąty.

Analiza wstępna

Tabela wyjściowa jest prosta: liczba przypadków zakażenia objawowego i bezobjawowego w obu grupach badania w ciągu jednego miesiąca po podaniu drugiej dawki.

Liczby w prawej kolumnie zostały przepisane z tabeli 36 powyżej. Liczba 4 pochodzi z wykresu, a liczba 90 została oszacowana z tabeli poniżej wykresu: 21 przypadków w ciągu 7 dni między dawką 2 a 6 dniem (dzień 7 należy do kolejnej kategorii). To daje 3 przypadki dziennie i 90 przypadków w ciągu 30 dni. Podobne szacunki otrzymujemy, opierając się na 275 przypadkach w ciągu około 100 dni, przy stałym nachyleniu.

Częstość występowania zakażeń bezobjawowych w grupie placebo wynosi około 50%, co jest wartością rozsądną. Szacunki w literaturze wahają się od jednej trzeciej do połowy wszystkich zakażeń. Zarówno 50%, jak i 30% zostaną wykorzystane w dalszych obliczeniach.

Jak wkrótce wyjaśnię, liczba w prawej górnej komórce (34) jest błędna, ale posłużę się tabelą do obliczenia współczynników ryzyka (RR) i współczynników szans (OR), aby zilustrować kilka podstawowych punktów.

Ryzyko interpretuje się jako prawdopodobieństwo, które szacuje się na podstawie proporcji. Szanse są formalnie definiowane jako stosunek prawdopodobieństw uzupełniających (np. 0.514/0.486 poniżej), ale można je obliczyć jako stosunek jednego zdarzenia do zdarzenia uzupełniającego (np. prawdopodobieństwo objawowej infekcji w grupie placebo wynosi 90/85).

Tabela i punkty poniżej odnoszą się do osób którzy zostali zakażeni.

• Jeśli szczepienie zmniejsza prawdopodobieństwo zakażenia objawowego (RR = 0.20; skuteczność = 80%), musi zwiększać prawdopodobieństwo zakażenia bezobjawowego („RR” = 1.84; skuteczność = -84%). Ujemna skuteczność jest tutaj oczywiście wynikiem pozytywnym. Analogicznie, jeśli leczenie zmniejsza śmiertelność choroby, zwiększa przeżywalność pacjentów.
• Współczynnik ryzyka (RR) infekcji objawowej (0.20) NIE jest odwrotnością „RR” infekcji bezobjawowej (1/1.84=0.54). To ogólne zjawisko statystyczne.
• Natomiast iloraz szans (OR) dla infekcji objawowej (0.11) jest odwrotnością ilorazu szans dla infekcji bezobjawowej (1/9 = 0.11). To również zjawisko ogólne, co będzie pomocne.

Należy zauważyć, że w przypadku obu wyników iloraz szans jest bardziej odległy od zera niż iloraz ryzyka: 0.11<0.20<1 i 9.00>1.84>1. Jest to dobrze znana zależność.

Niedawno poświęciłem pisać do danych dotyczących zakażeń bezobjawowych w badaniu Pfizera. Krótko mówiąc, podane przez nich szacunki (tabela 36 powyżej), wskazujące na skuteczność od 50% do 60%, są błędne, ponieważ badanie krwi pomija znacznie więcej zakażeń po szczepieniu niż u osób niezaszczepionych. Na podstawie danych z dwóch badań — jednego raportującego szczepionka Pfizera a drugi na szczepionka Moderny — prawdziwy odsetek zakażeń po szczepieniu wynosi dwa do trzech razy Procent, który wykazuje serokonwersję. Stosując trzy współczynniki korekcyjne z tego zakresu do górnej komórki (pogrubiony druk), otrzymujemy następujące wyniki dla objawowej infekcji.

Po uwzględnieniu liczby zakażeń bezobjawowych w grupie szczepionej, szacunki skuteczności w zapobieganiu zakażeniom objawowym – u osób zakażonych – są zgodne z wynikami opublikowanymi miesiąc po drugiej dawce: między 90% a 95%. To pocieszające.

Co najważniejsze, podobieństwo szacunków u zakażonych uczestników do szacunków u wszystkich uczestników potwierdza pierwsze założenie. Wszystkie skutki dla objawowej infekcji zgłoszone w badaniu, poprawnie lub niepoprawnie, wynikały z zapobiegania objawom w przypadku zakażenia. Szczepionka nie zapobiegała infekcjom. Wcześniej, choć nie było to wcześniej wiadome, badanie faktycznie oszacowało wpływ na objawy. po zarażeniu.

Oszacowanie rzeczywistej skuteczności w leczeniu infekcji objawowych

Wyniki badania i mojej powyższej analizy towarzyszącej zakładają prawidłowe zliczenie przypadków objawowych w grupie szczepionkowej. Jeśli ta liczba (np. 4 powyżej) Nie może być zaufany, żaden z zestawów wyników nie jest ważny.

Czy możemy ominąć konieczność polegania na tej liczbie? Czy możemy uzyskać RR (objawowa infekcja) od RR (zakażenie bezobjawowe)? Wiemy już, jak uzyskać skorygowany zakres dla tego drugiego.

Jak wyjaśniliśmy wcześniej, nie możemy po prostu przyjąć odwrotności współczynnika ryzyka, ponieważ

Natomiast w przypadku współczynnika szans obowiązuje następująca równość.

Współczynnik ryzyka i iloraz szans nie są równe (chyba że wynoszą 1). Istnieje jednak nieliniowa zależność funkcjonować co ich łączy.

Co w razie potrzeby można przeorganizować tak, aby obliczyć iloraz szans na podstawie ilorazu ryzyka.

p0 to „ryzyko bazowe”. W naszym przypadku jest to albo prawdopodobieństwo zakażenia bezobjawowego, albo prawdopodobieństwo zakażenia objawowego u osób niezaszczepionych (grupa placebo), w zależności od tego, który wynik nas interesuje.

Mamy zatem ślad obliczeniowy pomiędzy wskaźnikiem ryzyka zakażenia bezobjawowego a wskaźnikiem ryzyka zakażenia objawowego, który nie opiera się na prawidłowym zliczeniu zakażeń objawowych w grupie szczepionej.

Analiza wrażliwości

Jak pokazano wcześniej (tabela 36), zgłaszana skuteczność w leczeniu infekcji bezobjawowych wynosiła od 50% do 60%, co oznacza współczynnik ryzyka między 0.4 a 0.5. Ja użyłem 0.5. Wyniki są gorsze (niższa skuteczność w leczeniu infekcji objawowych), gdy współczynnik ryzyka wynosi 0.4, dlatego pokazuję tylko jeden przykład – najlepszy wynik.

Moja analiza wrażliwości obejmowała dwa różne czynniki:

• Trzy współczynniki korekcyjne (2, 2.5, 3) współczynnika ryzyka zakażenia bezobjawowego, mające na celu uwzględnienie niedostatecznego wykrycia zakażeń po szczepieniu w badaniu krwi na obecność przeciwciał anty-N. Zgłoszony (obciążony) współczynnik ryzyka wynoszący 0.5 jest korygowany odpowiednio do wartości 1, 1.25 i 1.5. Szczepienie albo nie ma żadnego wpływu, albo zwiększa „ryzyko” (prawdopodobieństwo) zakażenia bezobjawowego.
• Dwa wskaźniki bezobjawowego zakażenia: 0.5, jak wynika z danych, i 0.3, czyli dolna granica w literaturze.

Oto wyniki (skuteczność szczepionki wyróżniono pogrubioną czcionką).

Jeśli skorygowany współczynnik ryzyka zakażenia bezobjawowego wynosi 1, obliczenia są zbędne. Szczepionka nie ma wpływu na żaden rodzaj zakażenia, niezależnie od odsetka zakażeń bezobjawowych.

W przeciwnym razie, aby zilustrować te kroki, rozważmy drugi wiersz. Błąd systematyczny współczynnika ryzyka infekcji bezobjawowej (0.5), jak podaje Pfizer, jest korygowany do 1.25. Zakładając, że 50% infekcji jest bezobjawowych (p0=0.5 w równaniu konwersji), otrzymujemy iloraz szans wynoszący 1.667. Odwrotnie, otrzymujemy iloraz szans infekcji objawowej (0.6). Przekształcając ten iloraz szans na iloraz ryzyka, otrzymujemy 0.75, co oznacza 25% skuteczności w zapobieganiu infekcji objawowej.

Wyniki mówią same za siebie. Pomijając jeden wyjątek, są one bliższe zeru niż 95%.

Epilog

Czy wyniki są wiarygodne? Myślę, że tak, oczywiście.

Czy mogę się mylić? Nikt nigdy się nie myli. Jednak ktoś będzie musiał mi pokazać, gdzie się mylę w toku analizy, a to raczej się nie zdarzy. Czy ten post w ogóle wywoła reakcję z przeciwnej strony? Dla większości ludzi, w tym naukowców, kwestionowanie starego procesu to burza w szklance wody. (Zapominają, że poszukiwanie prawdy nie ma terminu ważności).

Ale może wydarzy się cud. Może urzędnicy z NIH lub FDA przeczytają ten post, ocenią wiarygodność wyników i poproszą kilku metodologów o ich sprawdzenie. Jeśli wyniki nie zostaną zakwestionowane, przekażą moją analizę i te recenzje do Pfizera, poproszą o odpowiedź i opublikują wszystko.

Czy mogę pożyczyć znane zdanie?

Mam marzenie.

Uznanie:

Dziękuję Tomasowi Fürstowi za komentarze do wersji roboczej wpisu.

Odebrane z Średni