Czy mój artykuł na temat badań nad szczepionką przeciw grypie był „gorącym kartoflem” dla redaktorów?

Myślę, że odpowiedź brzmi „tak”, ale oto historia, którą sami musicie ocenić.

Każdego roku CDC publikuje szacunki skuteczności szczepionki przeciw grypie w poprzednim sezonie. Szacunki te, publikowane przez kilka sieci, opierają się na projekcie badawczym zwanym badaniem przypadku i kontroli z wynikiem ujemnym.

Przez lata różni autorzy stosowali podobną strategię analityczną: wczesne zdarzenia oddechowe rozpatrywano inaczej niż późniejsze (zakładając, że nie oczekuje się żadnego efektu, dopóki nie zostanie zbudowana odporność). „Wczesne” oznaczało zazwyczaj dwa tygodnie po szczepieniu.

Kilka miesięcy temu uświadomiłem sobie, że to szczególne traktowanie wczesnych wydarzeń jest źródłem błędu zwanego „czasem nieśmiertelnym”. Aby go ujawnić, użyłem diagramów przyczynowo-skutkowych, formalnie nazywanych „skierowanymi grafami acyklicznymi (DAG)”. Diagramy DAG zostały wprowadzone w przełomowych publikacjach z lat 1990. XX wieku i są powszechnie uznawane w epidemiologii za narzędzie metodologiczne.

Napisałem krótki artykuł o przerażającym tytule: „Nieśmiertelny błąd czasowy w badaniach nad szczepionką przeciw grypie z wynikiem negatywnym”. Zilustrowałem ten błąd dwoma prostymi algorytmami DAG, które kodowały podejścia analityczne opisane w badaniach CDC. Artykuł można podsumować w trzech punktach:

• Nieśmiertelny czas to pomijany błąd w badaniach typu przypadek-kontrola nad szczepionką przeciw grypie, w których testy dały wynik negatywny.
• Struktura przyczynowa odpowiada błędowi klasyfikacji lub błędowi selekcji, w zależności od tego, w jaki sposób potraktowano wczesne zdarzenia.
• Można uniknąć tego błędu systematycznego, biorąc pod uwagę wszystkie zdarzenia i szacując wzrost skuteczności szczepionki w kolejnych dniach po szczepieniu.

Złożyłem artykuł kolejno do trzech szanowanych czasopism epidemiologicznych. Ku mojemu zaskoczeniu, redaktor naczelny każdego z nich odrzucił artykuł w ciągu tygodnia, opierając się na szablonowym tekście. Nie został on przesłany do recenzji. Dlaczego?

Istnieją trzy możliwe powody:

1. Wiadomość nie była wystarczająco ważna.
2. Praca była źle napisana.
3. Prośba o recenzję ekspercką nie była konieczna. Redaktor uznał, że stronniczość nie istniała. 

Mogę szybko wyeliminować pierwszy powód. Ujawnienie głęboko zakorzenionych uprzedzeń w badaniach nad coroczną szczepionką przeciw grypie jest niezwykle ważne. Nie musiałem konkurować z żadnymi „ważniejszymi” artykułami.

Czy było źle napisane? Opublikowałem wiele artykułów naukowych i dwie książki. Nie jestem nowicjuszem w epidemiologii, a nawet byłem redaktorem pomocniczym jednego z trzech czasopism. Więc to nie był powód.

Pozostaje nam trzeci powód. Trzech redaktorów (być może więcej z nich z wewnątrz) uznało, że moja analiza była ewidentnie błędna. Nie potrzebowali żadnej zewnętrznej recenzji. Czy tak było rzeczywiście? Jak prawdopodobne jest, że trzech redaktorów wydało jednomyślny, niezależny werdykt w sprawie mojej analizy bez proszenia o recenzje?

Mógłbym napisać całą stronę o mojej wiedzy specjalistycznej w dziedzinie diagramów przyczynowo-skutkowych i błędów poznawczych, ale oto krótka wersja moich dokonań. Zaproponowałem nową taksonomię błędów poznawczych opartą na diagramach przyczynowo-skutkowych (DAG) i zidentyfikowałem nowe rodzaje błędów poznawczych. Jestem autorem około 20 publikacji związanych z DAG, w tym rozdziału w książce . (Niektóre z moich artykułów zostały zacytowane w artykule). Z pewnością moja analiza metodologiczna nie była „oczywiście błędna”. Bardziej prawdopodobne jest, że była ewidentnie poprawna.

Dlaczego więc mój artykuł został odrzucony bez recenzji? Czy mogę spekulować?

Ten artykuł zawiera zaskakujący przekaz, który dyskredytuje CDC. Wszystkie te badania dotyczące skuteczności corocznej szczepionki przeciw grypie zawierały błędną decyzję analityczną. Przedstawione szacunki są stronnicze. Gdyby mój artykuł został opublikowany, być może niektórzy dziennikarze by go podchwycili. Można sobie wyobrazić nagłówki.

Redaktorzy mieli do czynienia z gorącym kartoflem. Nie chcieli ryzykować, że recenzenci zatwierdzą artykuł, co zmusiłoby ich do jego opublikowania. Odrzucenie artykułu z góry było bezpiecznym rozwiązaniem.

Spróbowałem jeszcze raz. W moim czwartym zgłoszeniu do czasopisma epidemiologicznego zamieściłem następujący list przewodni:

„Szanowny Panie Redaktorze,

W tym krótkim artykule omówiono kwestię czasu nieśmiertelności w badaniach nad szczepionką przeciw grypie z wynikiem negatywnym. Przedstawiono w nim dwa powszechne podejścia do postępowania we wczesnych etapach po szczepieniu, za pomocą diagramów przyczynowo-skutkowych, w celu identyfikacji i klasyfikacji źródła błędu systematycznego. Na końcu wyjaśniono, jak można uniknąć tego błędu.

O ile mi wiadomo, przesłanie jest nowatorskie i istotne dla przyszłych badań wykorzystujących model testu negatywnego do oszacowania skuteczności szczepionki. Dlatego uważam, że artykuł zasługuje na recenzję naukową.

Tym razem odpowiedź zajęła trochę dłużej. Być może redaktorzy byli zajęci, albo zastanawiali się, jak poradzić sobie z „gorącym kartoflem”. Niespodzianki jednak nie było. Około trzy tygodnie później w mojej skrzynce odbiorczej pojawiła się szablonowa wiadomość. Poniżej wklejam dwa akapity:

„Państwa manuskrypt został zrecenzowany przez dwóch członków rady redakcyjnej. Z przykrością informuję, że jego priorytet nie był wystarczająco wysoki, abyśmy mogli go zaakceptować do publikacji… Decyzja o priorytecie jest podejmowana w świetle wielu innych otrzymywanych przez nas artykułów oraz naszych ograniczeń objętościowych. W związku z tym nawet artykuły informacyjne muszą być czasami odrzucane. Ta wstępna recenzja jest przeprowadzana dla wszystkich artykułów, aby autorzy mogli szybko otrzymać decyzję w przypadku negatywnej oceny. W związku z tym nie otrzymujemy żadnych uwag od recenzentów, które moglibyśmy Państwu przekazać.”

A potem łaskawie dodali: 

„Inne powody odrzucenia Państwa manuskryptu to: Po wstępnej ocenie redakcyjnej zdecydowaliśmy się nie kierować artykułu do zewnętrznej recenzji naukowej. Chociaż temat jest interesujący, manuskrypt nie jest wystarczająco zgodny z formatem czasopisma”.

Więc co Twoim zdaniem było: priorytetem, zgodnością z formatem czasopisma czy gorącym kartoflem?

Poddałem się i opublikowałem artykuł jako preprint . Jest on teraz w domenie publicznej, ale niewielu go przeczyta. Nie posiadał certyfikatu „recenzowanego”. CDC będzie nadal publikować coroczne szacunki skuteczności szczepionek z badań, które zawierają ten błąd ( nie jedyny , nawiasem mówiąc).

Jednak każdy redaktor, który odrzucił mój artykuł, i każdy autor artykułów CDC na temat szczepionki przeciw grypie otrzymają preprint w swojej skrzynce odbiorczej. Postaram się również skontaktować z członkami redakcji i innymi osobami. Jeśli ktoś uzna moją analizę za błędną, być może odpowie. W przeciwnym razie oczekuję, że moja skrzynka odbiorcza pozostanie pusta. Dla mnie to wystarczająco dobre. Dla zdrowia publicznego już tak.

Nadal mamy wolność wyrażania odmiennych poglądów naukowych, choć istnieją pewne wyjątki.