[Współautorem tego artykułu jest Michael R. Jenkins, adiunkt na wydziale marketingu Uniwersytetu Stanowego Mississippi.]
W środowisku akademickim narasta przekonanie, że system recenzji eksperckich – niegdyś fundament badań naukowych – jest zepsuty. Ale czy nieodwracalnie? Być może. Przynajmniej warto zbadać jego obecną formę. Jednak zamiast porzucać cały ten proces, wierzymy, że mamy nowatorskie rozwiązanie. Najpierw jednak zbadajmy, gdzie system zawiódł.
W średniowieczu większość badań naukowych publikowano samodzielnie, ponieważ uczeni dzielili się swoimi odkryciami między sobą. Jednak wraz z rozwojem zawodu stało się to niepraktyczne, a czasopisma naukowe narodziły się jako sposób rozpowszechniania informacji. Uczony miał pomysł, badał go, podsumowywał wnioski i przesyłał powstały manuskrypt do czasopisma. Tam redaktor lub redaktorzy rozważali go i decydowali, czy opublikować pracę w obecnej formie, poprosić o poprawki, czy całkowicie ją odrzucić. Z biegiem czasu, wraz ze wzrostem liczby uczonych, którzy pod coraz większą presją musieli publikować, publikować i publikować – aby zdobyć zatrudnienie, stałe zatrudnienie i kwalifikować się do grantów – zadanie redaktorów czasopism stało się przytłaczające. Napływało po prostu zbyt wiele zgłoszeń, aby wszystkie zostały należycie rozpatrzone.
Wpadli więc na pomysł, aby powierzyć ocenę zgłoszeń zespołom nieodpłatnych recenzentów, innym naukowcom z tej samej lub pokrewnej dziedziny, którzy byli (przynajmniej teoretycznie) wykwalifikowani do oceny jakości rozpatrywanych badań. To odciążyłoby redaktorów, a jednocześnie nadałoby dodatkowe pieczęcie legalności gotowemu produktowi. To, czy dane dzieło naukowe było godne publikacji, miało być ustalane nie przez jedną czy dwie osoby, ale przez grupę „ślepych” ekspertów. W ten sposób etykieta „recenzowane” stała się złotym standardem badań naukowych. Publikacja w „czasopiśmie recenzowanym” od dawna była uważana za zasadniczo niepodważalną, do tego stopnia, że politycy i przedstawiciele mediów wydają się przekonani, że mogą wygrać każdą dyskusję, po prostu powołując się na „recenzowane badania”.
Początkowo był to całkiem dobry system i przez długi czas działał całkiem dobrze. Wygląda jednak na to, że wyczerpał już swoje możliwości. Wymagania dotyczące stałego zatrudnienia stały się bardziej ilościowe. Internet zmniejszył bariery w zgłaszaniu prac, zachęcając naukowców do przesyłania większej liczby artykułów do większej liczby czasopism. Liczba zgłoszeń z uniwersytetów azjatyckich, afrykańskich i bliskowschodnich gwałtownie wzrosła. Pomimo większej liczby czasopism i recenzentów, system załamał się, jak to się dzieje z każdym dużym, złożonym systemem. Wiemy, że tak się stało, ponieważ problem ten został po raz pierwszy zidentyfikowany 20 lat temu przez naukowca ze Stanford, Johna Ioannidisa, a który od tamtej pory stał się znany jako „kryzys replikacji”.
Jedną z cech dobrej nauki jest możliwość powtórzenia eksperymentu – to znaczy, że inny badacz stosujący tę samą metodologię osiągnie ten sam wynik, co oznacza, że wyniki są zarówno trafne, jak i spójne. Jednak to, co Ioannidis argumentował w swoim przełomowym artykule z 2005 roku „Dlaczego większość opublikowanych wyników badań jest fałszywa(aktualizacja z 2022 r.) brzmiała: cóż, większość opublikowanych wyników badań jest błędna. Eksperymentów nie da się powtórzyć, co podważa ich wiarygodność.
Inni naukowcy od tamtej pory kwestionowali tezę Ioannidisa, zwłaszcza użycie przez niego słowa „najbardziej”. W szczególności socjologowie argumentują, że eksperymentów z udziałem ludzi często nie da się powtórzyć właśnie dlatego, że sami ludzie są niespójni. Niemniej jednak naukowcy generalnie zgadzają się, że kryzys replikacji jest realny, choć nie aż tak powszechny, jak sugeruje Ioannidis.
Co to ma wspólnego z recenzją ekspercką? Oczywiście, gdyby system działał zgodnie z przeznaczeniem, a zespoły rzetelnych ekspertów sprawdzałyby i weryfikowały nawzajem swoje prace, moglibyśmy się spodziewać, że bardzo niewiele błędnych badań by się prześlizgnęło. Innymi słowy, nie byłoby kryzysu replikacji, gdyby recenzja ekspercka faktycznie działała.
Niestety, dokładność systemu nie jest nawet największym problemem. Podobnie jak wiele instytucji, przekształcił się on w wysoce upolitycznioną komorę echa. Zamiast mechanizmu ustalania i rozpowszechniania prawdy poprzez system naukowych mechanizmów kontroli i równowagi, recenzja naukowa stała się narzędziem promowania i egzekwowania ortodoksji. Redaktorzy i recenzenci czasopism, nie będąc już wspólnotą naukowców rygorystycznie, lecz kolektywnie testujących wzajemnie swoje hipotezy, mianowali się strażnikami. Wstęp mają tylko ci, którzy podają poprawne hasła.
Weźmy na przykład badania klimatu. Od co najmniej kilkudziesięciu lat panuje konsensus naukowy, że antropogeniczna zmiana klimatu stanowi egzystencjalne zagrożenie dla ludzkości. Każdy, kto kwestionuje tę ortodoksję, niezależnie od jakości swoich badań czy logiki argumentów, ma ogromne trudności z publikacją swoich wyników w wiodących czasopismach. Strażnicy (czytaj: recenzenci) po prostu na to nie pozwalają.
A co z ideologią transpłciowości? Jeszcze zanim dowiedzieliśmy się, że Światowe Stowarzyszenie Zawodowe na rzecz Zdrowia Transpłciowości (WPATH) ukrywało i manipulowało swoimi danymi, dlaczego tak niewielu naukowców kwestionowało twierdzenie, że społeczna, medyczna lub chirurgiczna tranzycja nieletnich łagodzi ich cierpienie? Znacie odpowiedź: wiedzieli, że nie mogą tego zrobić bez zrujnowania swojej kariery. Nawet teraz podejmujemy ryzyko zawodowe, po prostu na to wskazując. To nie nauka sprzyja poszukiwaniu prawdy; to polityka je utrudnia.
Uczciwie rzecz biorąc, łatwo zrozumieć, dlaczego tak się dzieje. Nie twierdzimy nawet, że jest to całkowicie nikczemne. To po prostu ludzka natura. Idee podważające narzucony sposób myślenia zawsze były niepopularne wśród tych, którzy je przepisywali, począwszy od Kopernika i Marcina Lutra. Nowe odkrycia i teorie, które z nich wyrastają, grożą zdyskredytowaniem teorii poprzedniego pokolenia uczonych – a zgadnijcie, kto głównie pełni rolę recenzentów? Kiedy mówimy „polityka”, niekoniecznie mamy na myśli jej partyjny charakter, ale raczej osobisty: czyj wół jest bódzony?
Oczywiście, w równaniu często pojawiają się partyjne uwarunkowania polityczne – a konkretnie ideologia. Nawet w dyscyplinach mniej napiętych politycznie jak klimatologia czy „studia nad płcią” – takich jak rachunkowość czy marketing – młodzi naukowcy wciąż muszą kłaniać się ideologicznym bogom swoich starszych kolegów. Muszą oddawać należny hołd takim koncepcjom jak „różnorodność, równość i inkluzja”, „białość” i „populacje zmarginalizowane”, nawet jeśli te koncepcje nie mają nic wspólnego z ich badaniami lub, co gorsza, nie znajdują potwierdzenia w ich wynikach. I oczywiście, jeśli naprawdę chcą być publikowani, znajdą sposób, by powiązać te odkrycia z politycznym zainteresowaniem miesiąca. Stąd artykuły o tytułach takich jak „Jak branding dla białych szkodzi konsumentom BIPOC” lub „Jak radzić sobie z marginalizowanymi populacjami w badaniach nad zarządzaniem”. (Jeden z nich jest prawdziwy, drugi wymyśliliśmy. Czy potrafisz powiedzieć, który jest który?)
Co teraz? Wierzymy, że nadszedł czas, aby powrócić do średniowiecznego modelu „wspólnoty uczonych” – z odniesieniem do XXI wieku. Oczywiście, w większości dyscyplin naukowych niemal niemożliwe jest zebranie wszystkich naukowców, aby mogli dzielić się rękopisami (co może potwierdzić każdy, kto był na konferencji), ale dzięki współczesnej technologii naukowcy mogą rzeczywiście „przekazywać” swoje rękopisy, dzieląc się swoją pracą w toku z kolegami z całego kraju i świata.
Nasz pomysł polega na stworzeniu oficjalnych forów internetowych dla każdej dyscypliny, na których naukowcy mogą publikować eseje na temat swoich pomysłów na dowolnym etapie, przedstawiając tło teoretyczne, stawiając hipotezy, ujawniając wyniki badań (w tym metodologię) oraz ekstrapolując je na implikacje lub przewidywania. Inni naukowcy w społeczności mogą komentować te eseje, formułując krytykę, dostarczając brakujące informacje i sugerując nowe kierunki badań. Mogą również sami przeprowadzać eksperymenty, aby sprawdzić, czy uzyskają takie same lub podobne wyniki, i „zgłosić je” grupie. Następnie pierwotni autorzy mogą wykorzystać te informacje i zastosować je w dalszej eksploracji tematu badawczego.
Jedną z zalet tego podejścia jest jego iteracyjność, w której każdy badacz bazuje na osiągnięciach swoich poprzedników. Kolejną jest to, że naukowcy mogą „publikować” niezależnie od swoich wyników. Częstą krytyką obecnego systemu recenzji jest to, że naukowcy mogą publikować tylko wtedy, gdy uzyskają pozytywne wyniki. Jednak wyniki negatywne również są wynikami i na swój sposób przyczyniają się do rozwoju wiedzy. Tak jak naukowcy muszą wiedzieć, co zostało uznane za prawdę, aby móc budować na tym postępie, tak muszą również wiedzieć, co zostało uznane za fałsz, aby móc uniknąć tych samych pułapek.
Zgłoszenia na forach byłyby oznaczane datą i godziną, co pozwoliłoby autorom łatwo udowodnić własność pomysłów. Posty mogłyby być linkowane, co ułatwiłoby i zmusiłoby do dalszych badań i cytowania. Aby zniechęcić osoby publikujące i komentujące do działań niezgodnych z prawem, autorzy i komentatorzy nie byliby anonimowi. Fora byłyby również delikatnie moderowane, aby zapewnić, że posty spełniają standardy naukowe, z zachowaniem odpowiedniego poziomu kultury, uprzejmości i atrybucji. Wszystkie pomysły byłyby jednak brane pod uwagę. Nie byłoby kontroli dostępu. Zamiast tego społeczność kontrolowałaby samą siebie, „racjonując” (używając terminu z mediów społecznościowych), a nie cenzurując „złe” pomysły.
Oczywiste jest, że aby system ten ostatecznie zastąpił obecny system recenzji, uniwersytety będą musiały go przyjąć i znaleźć sposób na ocenę produktywności naukowców w celu przyznawania stałych posad itp. — być może na podstawie liczby stanowisk i reakcji społeczności na nie.
Wierzymy jednak, że właśnie w tym kierunku zmierzamy i uniwersytety, dyscypliny i towarzystwa naukowe dobrze zrobią, jeśli się do tego przyłączą. Obecny system przestał być użyteczny, stając się przeszkodą w dążeniu do prawdy, a nie narzędziem jej wspierania.
Dołącz do rozmowy:
Opublikowane pod a Creative Commons Uznanie autorstwa 4.0 Licencja międzynarodowa
W przypadku przedruków ustaw link kanoniczny z powrotem na oryginał Instytut Brownstone Artykuł i autor.
