Projekt ponownej analizy COVID-19: wszystkie modele są błędne, a niektóre niebezpieczne

Z zadowoleniem przyjmuję apel Eyala Shahara o ponowną analizę dokumentów dotyczących szczepionek przeciwko COVID-19. Właściwie zacząłem na długo przed tym, jak Eyal ujawnił tę informację – jeszcze przed pojawieniem się szczepionek.

Pod koniec tragicznego roku 2020 w czasopiśmie „Science” ukazał się niezwykle wpływowy artykuł, który trafił na pierwsze strony gazet w najważniejszych mediach na całym świecie. Artykuł zatytułowany „Wnioskowanie o skuteczności interwencji rządowych w walce z COVID-19” wkrótce stał się podstawą do uzasadnienia coraz bardziej autorytarnej polityki rządów na całym świecie.

Przykuło moją uwagę, ponieważ ostatnim autorem był czeski matematyk Jan Kulveit. Razem z moimi dwoma kolegami, Ondřejem Vencálkiem i Jakubem Dostálem, napisaliśmy następującą odpowiedź:

„ Wszystkie modele są błędne, ale niektóre są użyteczne ” – głosi słynne powiedzenie, zwykle przypisywane George'owi Boxowi. Dziś powiedziałby zapewne, że wszystkie modele są błędne, a niektóre wręcz niebezpieczne. Naszym zdaniem dotyczy to badania „ Wnioskowanie o skuteczności interwencji rządowych w walce z COVID-19 ” ¹ , które ukazało się w czasopiśmie „Science” i spotkało się z szerokim zainteresowaniem na całym świecie.

Celem badania jest zrozumienie skuteczności interwencji niefarmaceutycznych (NPI) w kontrolowaniu pandemii COVID-19. Autorzy analizują dane dotyczące całkowitej liczby przypadków i zgonów z 41 krajów (głównie europejskich) w okresie od stycznia do końca maja 2020 r. Opracowują szacunki skutków 8 różnych NPI (takich jak ograniczenie zgromadzeń, zamknięcie szkół itp.), które zostały wdrożone w wielu krajach w badanym okresie. Wpływ każdej interwencji niefarmaceutycznej jest kwantyfikowany poprzez zmniejszenie współczynnika reprodukcji zakażeń R w momencie wprowadzenia NPI w danym kraju. 

Wyniki spotkały się z szerokim uznaniem, ponieważ zdają się wskazywać, że wszystkie NPI generalnie działają, a skala efektu wydaje się być zgodna ze zdrowym rozsądkiem (np. im bardziej ograniczymy zgromadzenia, tym większą redukcję R uzyskamy). Rządy na całym świecie z radością przyjmą wiadomość, że wprowadzone przez nie ograniczenia były uzasadnione. Ale czy rzeczywiście tak było?

W rzeczywistości nie wiemy, a niniejsze badanie nie pomaga nam się tego dowiedzieć. Twierdzimy, że w modelu jest poważny błąd, który czyni go bezużytecznym. Patrząc na jedyne równanie w treści artykułu (patrz sekcja „Krótki opis modelu”), widzimy, że autorzy zakładają, że podstawowy (nieobserwowalny) podstawowy współczynnik reprodukcji R _0,c jest stały w czasie dla każdego kraju. Ten podstawowy współczynnik reprodukcji jest następnie mnożony przez skutki NPI i dopasowywany do danych. Tak więc model zakłada, że ​​każda zmiana w dynamice epidemii jest spowodowana przez NPI . Jest to mylące, ponieważ jest to błędne koło. Jeśli chcesz skwantyfikować skutki interwencji, nie możesz założyć, że wszystkie obserwowane skutki są spowodowane samą interwencją.

Ponadto, założenie o stałym R _0,c sugeruje, dlaczego autorzy zdecydowali się przerwać modelowanie po ustąpieniu jakiegokolwiek wskaźnika NPI. Wskaźniki NPI zazwyczaj ustępują wraz z ustępowaniem epidemii. Zatem wskaźniki NPI są obecne, gdy R jest wysokie, i nie występują, gdy R jest niskie. W przypadku danych z dłuższego przedziału czasu (w tym letniego okresu niskiej zapadalności i złagodzenia wskaźników NPI), prosty model zastosowany przez autorów wykazałby negatywny efekt – że wskaźniki NPI przyspieszają epidemię. Było to wyraźnie niepożądane, dlatego autorzy zdecydowali się nie wykorzystywać danych z lata do dopasowania modelu. Taka strategia modelowania jest wysoce wątpliwa.

Aby w pełni wyjaśnić naszą tezę, przeprowadziliśmy następujący eksperyment. Wzięliśmy oryginalny zestaw danych ² i stworzyliśmy nowy NPI, który nigdy nie istniał. Załóżmy, że od momentu wprowadzenia tego nowego NPI, każdy obywatel był zobowiązany do noszenia koszulki z napisem „Stop-Covid”, aż do zniesienia tego NPI.

Wybraliśmy losowo datę jednolicie z okresu, w którym modelowano dany kraj, i „narzuciliśmy” ten wskaźnik NPI dla koszulek na dane (patrz odnośnik [3] dla oryginalnego zestawu danych z dodanym NPI dla koszulek). W każdym razie nie zmieniliśmy liczby przypadków ani zgonów. Taki NPI nigdy nie istniał, więc nie mógł mieć żadnego wpływu. Następnie uruchomiliśmy oryginalny model (patrz odnośnik [4] dla linku do GitHub do wersji, której użyliśmy) bez zmiany żadnych parametrów. Wynik pokazano na rysunku 1. Koszulki prawie sprawiły, że pandemia zniknęła!

Jak to możliwe? Każda epidemia ma swoją wewnętrzną dynamikę. Najprostszy model SIR generuje pojedynczy szczyt liczby aktywnych przypadków. Jeśli chcemy odtworzyć taki szczyt za pomocą prostej funkcji wykładniczej (co robią autorzy), współczynnik w wykładniku (tj. empirycznym współczynniku reprodukcji) musi maleć w czasie od początku pierwszej fali. Zatem zakładając, że jakikolwiek wpływ na współczynnik reprodukcji wynika z NPI, model nie może wygenerować niczego innego niż przypisanie pozytywnego efektu (tj. zmniejszenia R) każdemu NPI. Nawet nieistniejącemu, jak pokazaliśmy.

Zatem naszym zdaniem model ten jest mylący i bardzo niebezpieczny, ponieważ może być wykorzystywany przez rządy do retrospektywnego uzasadniania wszelkich niekomercyjnych świadczeń socjalnych, które zdecydują się narzucić społeczeństwu. Nie twierdzimy, że niektóre/wszystkie niekomercyjne świadczenia socjalne nie miały pozytywnego wpływu. Stwierdzamy jedynie, że ten model nie jest sposobem na sprawdzenie tego.

Naszą odpowiedź wysłaliśmy listownie do redakcji „Science” . W odpowiedzi otrzymaliśmy: „Bardzo im przykro, ale nie mogą opublikować naszego listu. Nie podali powodu”.

Skopiowałem więc i wkleiłem ich własne „oświadczenie o misji” do wiadomości e-mail — coś w stylu: „ Rodzina czasopism naukowych wspiera cel AAAS, jakim jest usprawnienie komunikacji między naukowcami, inżynierami i opinią publiczną ”. Przypomniałem im, że żadna komunikacja nie została usprawniona poprzez cenzurowanie głosów sprzeciwu.

W końcu łaskawie pozwolili nam opublikować naszą odpowiedź w formie e-listu, ukrytego pod materiałami uzupełniającymi do oryginalnego artykułu. E-list nie może być cytowany, nie zawiera ilustracji i nie pojawi się w wynikach wyszukiwania.

Opublikowaliśmy czeską wersję naszej odpowiedzi pod tytułem „Czy środki powstrzymujące pandemię działają? Tak, Panie Ministrze!” na stronie internetowej Czeskiego Towarzystwa Statystycznego. Zaowocowało to niezwykle uprzejmym listem od autora — i cichym zakazem publikacji w mediach głównego nurtu.

No i to tyle. Macie jakieś lepsze historie z czasów COVID-19?

Referencje

1. JM Brauner i wsp., Science, 10.1126/science.abd9338 (2020).
2. https://github.com/epidemics/COVIDNPIs/blob/1.3.6/merged_data/data_final_nov.csv
3. https://gist.github.com/DostalJ/92e134f9ab4032289b77172d0e6ff583
4. https://github.com/epidemics/COVIDNPIs/blob/1.3.6/notebooks/main_results.ipynb