Nie możemy ufać szacunkom CDC dotyczącym skuteczności szczepionki przeciw grypie

Każdego roku CDC publikuje szacunki skuteczności szczepionki przeciw grypie w poprzednim sezonie grypowym. Niedawno dyrektor NIH skrytykował projekt oparty na negatywnych wynikach testów, na którym opierają się te szacunki. Miał rację. Podstawowe założenie tego projektu to miecz obosieczny: z jednej strony ograniczenie próby do osób, które szukały opieki medycznej, może zmniejszyć czynnik zakłócający wynikający z zachowań związanych z poszukiwaniem opieki zdrowotnej; z drugiej strony, to ograniczenie może dodać kolejny rodzaj błędu – błąd kolizyjny – który nie jest tak powszechnie doceniany. Błąd netto pozostaje nieznany.

Nie jest to jednak jedyna wada badań typu „przypadek-kontrola” z ujemnymi wynikami testów na szczepionkę przeciw grypie. W tym artykule przedstawię wątpliwe wyniki dużego badania szczepionki przeciw grypie przeprowadzonego w latach 2022–2023, kiedy szczepionka była dobrze dopasowana do szczepu dominującego. Badanie przeprowadzono w oparciu o VISION Vaccine Effectiveness Network , jedną z kilku sieci współpracujących z CDC. Poniżej znajdują się opublikowane wyniki.

Zakłócenie ze względu na ryzyko zakażenia

Ryzyko zakażenia zawsze zmienia się w sezonie grypowym. Było wysokie od października do grudnia 2022 r., a niskie od stycznia do marca 2023 r. (rysunek).

Biorąc pod uwagę zmieniające się ryzyko infekcji, rzetelne porównanie liczby zaszczepionych i niezaszczepionych wymaga podobnego rozkładu obu populacji w czasie. Nie jest to jednak prawdą, ponieważ szczepienia są powiązane z kalendarzem szczepień (rozpowszechnianiem).

[Autorzy podają status szczepień w momencie szukania pomocy medycznej, jednak większość osób zaszczepiła się do końca grudnia, a odsetek zaszczepionych osób ustabilizował się w styczniu na poziomie około 45% wizyt.]

Jak pokazano poniżej (tabela), odsetek populacji zaszczepionej w okresie od października do grudnia (47%), czyli w okresie wysokiego ryzyka, był niższy niż porównywalny odsetek populacji niezaszczepionej (61%). Oczywiście, udziały uzupełniające w okresie od stycznia do marca, czyli w okresie niskiego ryzyka, były odwrócone: 53% w porównaniu z 39%.

Z technicznego punktu widzenia, osoby zaszczepione zgromadziły więcej czasu narażenia, gdy ryzyko zakażenia było niskie (53%), a osoby niezaszczepione zgromadziły więcej czasu narażenia, gdy ryzyko było wysokie (61%). Co więcej, ponieważ autorzy wykluczyli zdarzenia, które miały miejsce w ciągu dwóch tygodni od szczepienia, osoby zaszczepione w drugiej połowie grudnia 2022 roku miały zdarzenia tylko w styczniu 2023 roku, czyli w okresie niższego ryzyka. Do tej decyzji analitycznej powrócę w następnej sekcji.

Łatwo zrozumieć to odchylenie (tabela po lewej poniżej), jeśli weźmiemy pod uwagę skrajny przykład, w którym nikomu nie podano szczepionki w pierwszym okresie, a wszystkim podano roztwór soli fizjologicznej na początku drugiego okresu (tabela po prawej). Jeśli porównamy wskaźnik zakażeń wśród osób „zaszczepionych” z wskaźnikiem wśród osób „niezaszczepionych”, zastrzyk z soli fizjologicznej wydaje się skuteczny…

To odchylenie zostało wyjaśnione w kontekście szczepionek przeciwko COVID-19 w czasie pandemii i zostało wykazane w badaniu przeprowadzonym w Ontario w Kanadzie. O ile wiem, nie zostało ono uwzględnione w kontekście szczepionki przeciw grypie, której wdrażanie zazwyczaj następuje po fali zachorowań i kończy się w okolicach zimowego szczytu.

Wpływu czynników zakłócających trendy czasowe w ryzyku tła można uniknąć w badaniu kohortowym, dopasowując osobę niezaszczepioną do osoby zaszczepionej w dniu szczepienia (i kończąc obserwację w momencie zaszczepienia tej pierwszej, jeśli tak jest).

Nieśmiertelne uprzedzenie czasowe

Jak wspomniałem powyżej, autorzy pominęli niektóre wydarzenia. Piszą:

„Wykluczono zdarzenia u pacjentów z udokumentowanym szczepieniem <14 dni przed datą indeksową. Datę indeksową zdefiniowano jako wcześniejszą z następujących dat: wykonanie testu na grypę, wizyta na SOR/UC lub data przyjęcia.”

Wykluczenie wczesnych zdarzeń u osób zaszczepionych jest dobrze znanym źródłem błędu systematycznego , prowadzącym do odwrotnej zależności od szczepienia i dodania elementu błędu do szacowanego efektu. Zarówno nazwa – błąd w czasie nieśmiertelnym – jak i mechanizm są zbyt techniczne, aby je tutaj wyjaśnić.

Niedawno pokazałem, jak działa błąd czasowy w badaniu szczepionki przeciw COVID-19 w Katarze. Usunięcie tego błędu, poprzez uwzględnienie wczesnych zdarzeń, drastycznie zmieniło szacunki skuteczności, czasami zmniejszając je nawet o połowę. Jeśli ten błąd zostanie usunięty w badaniu szczepionki przeciw grypie, szacunki skuteczności w zakresie od 30% do 40% mogą spaść do 20% lub mniej.

Ile wczesnych zdarzeń zostało wykluczonych? Prawdopodobnie wiele, ale liczba ta jest ukryta. Zgodnie z diagramem, prawie 2,000 wizyt ambulatoryjnych zostało wykluczonych, ponieważ szczepienie miało miejsce 1–13 dni przed datą indeksową lub status szczepienia był nieznany. Brak podziału.

W jakim stopniu szacowana skuteczność w sieci VISION wynika z połączenia nieśmiertelnego błędu czasowego i zakłócających trendów czasowych w ryzyku tła? Nie mogę udzielić ilościowej odpowiedzi, ale z pewnością jest to duża, jeśli nie cała zależność. W innym miejscu wykazałem zerową skuteczność szczepionki przeciw grypie w tym sezonie, ponownie analizując dane z badania kohortowego, które wykazało skuteczność zarówno w leczeniu infekcji objawowych, jak i bezobjawowych.

W badaniu pojawiły się również inne wątpliwe ustalenia, które zostaną omówione w dalszej części wpisu.

Niższa skuteczność w zapobieganiu hospitalizacji?

Poniższa tabela przedstawia niekorygowane i skorygowane szacunki skuteczności szczepionki w odniesieniu do wizyty ambulatoryjnej (po lewej) i hospitalizacji (po prawej), ogólnie i w różnych warstwach.

Skorygowane szacunki hospitalizacji (kolumna D) były prawie zawsze niższe niż skorygowane szacunki wizyt ambulatoryjnych (kolumna B). To nietypowe. Oczekujemy podobnych lub silniejszych efektów przy wzroście nasilenia (z ambulatoryjnej na szpitalną), ponieważ każdy krok dodaje kolejny mnożnik ryzyka (≤1) z dwóch sekwencji prawdopodobieństw warunkowych. Jakie jest wyjaśnienie? Co autorzy mają do powiedzenia na ten temat?

Po pierwsze, piszą, że „znaleźli podobne przypadki VE w tych samych systemach opieki zdrowotnej, zarówno w warunkach ambulatoryjnych, jak i stacjonarnych”.

Czy konsekwentnie niższa skuteczność, a czasem znacznie niższa, jest trafnie opisana jako „podobna”?

Po drugie, przyznają, że coś jest nieoczekiwane i mają trudności z przedstawieniem (nieprzekonujących) wyjaśnień.

Błąd zdrowego zaszczepienia

W większości analiz wizyt ambulatoryjnych i we wszystkich analizach hospitalizacji szacowana skuteczność była niższa po korekcie (kolumny A vs. B; kolumny C vs. D). Wyjaśnieniem jest błąd zakłócający. Osoby zaszczepione były zdrowsze niż niezaszczepione, a zatem przynajmniej część nieskorygowanego związku odzwierciedla lepszy stan zdrowia osób zaszczepionych, co zapewniało pewną ochronę.

Błąd zdrowego zaszczepienia jest dobrze znany. (Poświęciłem temu tematowi wiele postów w kontekście szczepionek przeciwko COVID-19 ). Niestety, nie da się go całkowicie wyeliminować za pomocą modeli regresji, niezależnie od ich stopnia zaawansowania. Niektóre aspekty stanu zdrowia nie są uwzględniane przez zmienne mierzone. Tak zwane skorygowane szacunki nadal są obarczone błędem.

Jakiego rodzaju modele?

Autorzy piszą:

„Modele skorygowano o wstępnie określone czynniki zakłócające, takie jak wiek, miejsce badania i czas kalendarzowy, a także o wszelkie zmienne współzmienne o SMD > 0.20. Wiek i czas kalendarzowy modelowano jako zmienne o naturalnej krzywej sześciennej. Ponadto, odwrotne wagi skłonności do zaszczepienia (IPVW) oszacowano za pomocą uogólnionych wzmocnionych drzew regresyjnych i wykorzystano w modelach regresji logistycznej, aby uwzględnić dodatkowe nierównowagi między grupami zaszczepionymi i niezaszczepionymi”.

Autorzy zastosowali niezwykle złożone modele, które obejmowały klasyczne zmienne współzmienne (niektóre w formie nieliniowej) oraz odwrotność prawdopodobieństwa wagowego leczenia (IPTW), aby uwzględnić „dodatkową nierównowagę”. Nie jest jasne, w jaki sposób wykryto „dodatkową nierównowagę” ani które zmienne wykorzystano do obliczenia wag. Nikt nie byłby w stanie powtórzyć swojej analizy na podstawie tego opisu, nawet gdyby otrzymał zbiór danych.

Wyższa skuteczność u osób starszych?

Poniżej przedstawiono kolejny zestaw wątpliwych wyników. Zostało to stwierdzone w streszczeniu.

Zazwyczaj spodziewamy się niższej skuteczności u osób starszych ze względu na osłabioną odpowiedź immunologiczną wraz z wiekiem. Rzeczywiście, obserwujemy nieco mniejszą skuteczność w leczeniu ambulatoryjnym u osób starszych (41% vs. 45%). Co zaskakujące, skuteczność w zapobieganiu hospitalizacji jest znacznie wyższa u osób starszych (41% vs. 23%). Czy wynik jest wiarygodny?

Autorzy najwyraźniej zauważyli osobliwe wyniki i twierdzą, że „skuteczności szczepionek według grup wiekowych nie można bezpośrednio porównywać, ponieważ większość młodych dorosłych otrzymała inaktywowane szczepionki w standardowej dawce, a większość starszych dorosłych otrzymała produkty ulepszone, takie jak inaktywowane szczepionki w dużych dawkach lub szczepionki z adiuwantem”.

Cóż, to wyjaśnienie nie wyjaśnia, dlaczego niezwykłe korzyści ze stosowania „ulepszonych produktów” zaobserwowano tylko w przypadku hospitalizacji. Autorzy wręcz przyznają: „Pomimo że większość zaszczepionych osób starszych otrzymywała ulepszone szczepionki, skuteczność szczepionek [w przypadku wizyt ambulatoryjnych] była podobna w porównaniu z młodszymi dorosłymi, którzy otrzymywali głównie inaktywowane szczepionki w standardowej dawce”.

Krótko mówiąc, te ustalenia pozostają niewyjaśnione. Nie można im ufać.

Wyniki hospitalizacji pacjentów z grypą

Choć nie jest to stwierdzone wprost, autorzy przedstawiają zbiór wyników uzyskanych w ramach zagnieżdżonego badania kohortowego.

Piszą:

„Jako cel drugorzędny, aby zbadać, czy charakterystyka pacjentów i wyniki leczenia szpitalnego różniły się w przypadku osób zaszczepionych i niezaszczepionych przeciwko grypie, porównaliśmy odsetki pacjentów z cięższymi wynikami klinicznymi według statusu szczepienia przeciw grypie, stratyfikowanych według wieku (18–64, ≥65 lat)…”

Inaczej mówiąc, porównali oni wyniki, w tym zgony, hospitalizowanych pacjentów z grypą w zależności od ich statusu szczepienia. Niestety, nie próbowali oni uwzględnić cech wyjściowych, więc wnioski są ograniczone. Skupię się na śmiertelności przypadków wśród osób starszych (prawie 70% wszystkich zgonów).

W populacji hospitalizowanych starszych pacjentów z grypą, osoby zaszczepione były starsze i chorowały gorzej niż osoby niezaszczepione, ale różnice były generalnie niewielkie. Śmiertelność w tej pierwszej grupie była o 50% wyższa: współczynnik ryzyka = 4.0/2.7 = 1.5. Chociaż formalna korekta nie jest możliwa, możemy spróbować kilku hipotetycznych przykładów.

Załóżmy, że szczepienie okazało się pomocne, a rzeczywisty efekt wahał się od współczynnika ryzyka od 0.5 do 0.75 (50% do 25% skuteczności w zapobieganiu zgonom), jeśli osoba starsza jest hospitalizowana z powodu grypy. Wówczas czynnik zakłócający powinien zmienić współczynnik ryzyka z 0.75 (prawda) lub 0.5 (prawda) na 1.5 (obciążenie), co stanowi dwukrotne (1.5/0.75) lub trzykrotne (1.5/0.5) przesunięcie w skali ilorazu. Jeśli jest to prawdą, jest to skrajny czynnik zakłócający, być może silniejszy niż można by oczekiwać na podstawie zgłoszonych różnic wieku i niektórych cech wyjściowych. Czy szczepionka przeciw grypie zapewniła jakąkolwiek ochronę tym pacjentom?

Ciekawie jest przeczytać relację autorów na temat tych danych. Piszą:

„Wyjściowe cechy demograficzne i choroby współistniejące były podobne we wszystkich grupach zaszczepionych i niezaszczepionych w tej grupie wiekowej… Odsetek osób, u których wystąpiły ciężkie objawy kliniczne w szpitalu, w tym przyjęcie na oddział intensywnej terapii, otrzymanie szczepionki IMV lub zgon, był podobny we wszystkich grupach zaszczepionych”.

Nie twierdzą nawet o żadnych ukrytych korzyściach. Zakładają brak istotnego czynnika zakłócającego, ale uważają różną śmiertelność (4.0% vs. 2.7%) za „podobną”. Jeśli pójdziemy za ich tokiem rozumowania, możemy się zastanawiać, czy szczepienie zwiększyło ryzyko zgonu u tych pacjentów.

Epilog

Postanowiłem przyjrzeć się bliżej jednemu artykułowi, zamiast krytykować ogólną metodologię, ponieważ w artykule tym wykazano szereg problemów, z których część występuje także w innych badaniach CDC nad szczepionką przeciwko grypie.

Ponieważ badania randomizowane nigdy nie zostaną przeprowadzone, należy poszukiwać innych projektów. W poprzednich postach wspomniałem o dwóch możliwościach: 1) Badanie kohortowe z dwoma wynikami: zakażenie objawowe i zakażenie bezobjawowe; 2) Projekt z regresją nieciągłą . Jak dotąd żaden z nich nie wykazał obiecujących efektów corocznego szczepienia przeciw grypie.

Opublikowano ponownie z Medium