Peer Review

Im akademisch-wissenschaftlichen Bereich sind Peer Reviews von Zeitschriftenartikeln (und zunehmend auch von Monographien) üblich, bei denen einer oder mehrere Experten des entsprechenden Gebietes die zur Veröffentlichung vorgeschlagene Studie bewerten. Üblicherweise schickt der Autor seinen Artikel als Manuskript an einen Verantwortlichen (z. B. den Herausgeber) einer Zeitschrift oder Schriftenreihe. Wenn dieser den Text für grundsätzlich geeignet hält, wählt er Gutachter aus, die nach inhaltlicher Prüfung ein Votum abgeben, ob der Artikel in der eingereichten Form veröffentlicht, zur Überarbeitung an den Autor zurückgeschickt oder endgültig abgelehnt werden sollte. Diese auch Reviewer oder Referee genannten Experten dürfen beim Peer Review nicht aus dem Umfeld des Autors stammen; diese Regel soll Befangenheit vermeiden. Die Unabhängigkeit des Gutachters vom zu bewertenden Objekt gilt als Voraussetzung eines Peer Reviews; sie muss von den Herausgebern sichergestellt werden.

Eine Anonymität des Gutachters ist dabei nicht unbedingt erforderlich, aber oftmals gegeben. Die Anonymität dient dazu, dem Gutachter das Äußern von Kritik und den Hinweis auf Mängel der Publikation zu ermöglichen, ohne dass er die Revanche des möglicherweise hierarchisch oder an Reputation und Einfluss höher stehenden Autors fürchten muss. Das soll eine gründliche und unvoreingenommene Überprüfung ohne Ansehen der Person des Autors sichern und letztlich zu einem höheren wissenschaftlichen Niveau beitragen. Das Prinzip der Anonymität des Gutachters ist nicht unumstritten.[4]

Das Peer Review ist nicht als Methode gedacht, um Plagiate, Fälschungen oder in betrügerischer Absicht gemachte Experimente aufzudecken. Es kann und muss auch nicht sicherstellen, dass die wissenschaftliche Arbeit frei von Fehlern ist. Der Gutachter kann nur im Rahmen seiner Möglichkeiten die Signifikanz und Aktualität der Fragestellung, die Originalität und Validität des Lösungsansatzes und die Plausibilität der Resultate im Kontext prüfen sowie auf methodische Fehler und Probleme hinweisen.

Der Sinn der Begutachtung liegt vor allem in einer Bewertung der Qualität eines eingereichten Manuskripts, die dem Herausgeber der Fachzeitschrift Anhaltspunkte liefert, ob dieses als Artikel darin veröffentlicht werden kann. Durch die hohe Anzahl von wissenschaftlichen Fachzeitschriften und Fachgebieten sind die Bewertungsmaßstäbe oft sehr unterschiedlich und richten sich nach dem Leserkreis und der Reputation des Fachjournals. In der Regel wird der Gutachter das Manuskript nach offensichtlichen Defiziten oder Verbesserungsmöglichkeiten bewerten und nur gelegentlich auf Rechtschreibfehler oder sprachliche Unzulänglichkeiten hinweisen. Sehr detaillierte Gutachten, inklusive Prüfung der verwendeten Methoden, werden vor allem von Artikeln verlangt, die Themen in umstrittenen oder prestigeträchtigen Fachgebieten (z. B. Stammzellenforschung) behandeln oder von außerordentlich hohem Interesse für einen großen Leserkreis sind (z. B. in Nature oder Science).

Neben der Qualitätssicherung dient das Peer Review auch dem Zweck, Argumente in einer reviewten Arbeit stichhaltiger darzustellen.[3]

Bleiben sowohl Gutachter als auch Begutachteter anonym, so wird von Doppelblindgutachten (englisch double-blind review) gesprochen. Mit diesem Verfahren soll vermieden werden, dass die Bekanntheit des Einreichenden oder eine etwaige Beziehung zwischen dem Gutachter und dem Einreichenden einen Einfluss auf die Bewertung seiner Arbeit hat oder der Einreichende den Gutachter beeinflusst. Gerade junge Wissenschaftler können durch dieses Verfahren profitieren, weil ihr Beitrag (und nicht ihr Renommee) entscheidet. Die Autoren sind dann gehalten, im Text Passagen zu vermeiden, die der Anonymität zuwiderlaufen könnten (z. B. Selbstzitierungen in der ersten Person, Hinweise auf die eigene Forschungseinrichtung). In vielen Fällen können jedoch anhand der Referenzen, der experimentellen Möglichkeiten etc. die Autoren trotzdem erraten werden, zumal wenn das betreffende Spezialgebiet von einer überschaubaren Anzahl von Leuten beforscht wird. Daher und aus anderen Gründen wird in vielen Fällen auf die Verdeckung der Autorennamen verzichtet.

Einer Legende nach[5] sah sich Henry Oldenburg, erster Sekretär der Royal Society of London und Gründungsherausgeber der seit 1665 in London erscheinenden Philosophical Transactions, als Theologe nicht in der Lage, die Qualität eingereichter Aufsätze zu naturwissenschaftlichen Themen selbst angemessen zu beurteilen. Er delegierte diese Aufgabe daher an andere Wissenschaftler, die zum jeweiligen Thema als fachkompetent galten. Dieses Verfahren wurde später von anderen wissenschaftlichen Zeitschriften übernommen.[6] Melinda Baldwin zufolge entstand die Legende 1971.[5] Sie gehe auf die Wissenschaftssoziologen Harriet Zuckerman und Robert K. Merton zurück, habe aber mit der wissenschaftlichen Praxis in der Royal Society des 17. Jahrhunderts so gut wie nichts zu tun.[7]

Weltweit gibt es etwa 21.000 Zeitschriften, die verschiedene Arten von Peer Review einsetzen. Sie veröffentlichen jährlich etwa 1 Million Aufsätze. Es gibt allerdings auch viele wissenschaftliche Zeitschriften, die lediglich mit editorial review arbeiten.

Peer-Review-Publikationen haben aufgrund der mit der Begutachtung verbundenen Qualitätsprüfung einen besseren Ruf als andere Formen der Veröffentlichung wie etwa Kongressbeiträge oder Fachzeitschriften ohne Peer Review. Die Anzahl solcher Veröffentlichungen wird als Maß für die Produktivität und den Einfluss der Autoren auf ein Wissensgebiet angesehen.

Neben Zeitschriften mit echtem Peer Review gibt es auch solche, die ein qualitätssicherndes Peer Review nur vortäuschen.[8] Angesichts einer immer größeren Zahl solcher elektronischer Open-Access-Zeitschriften, die häufig nur behaupteten, eine Art Peer Review durchzuführen, testete der Journalist John Bohannon[9] diese 2013 mit einer gefälschten klinischen Studie eines Krebsmedikaments, die ganz offensichtliche schwere Fehler enthielt (unter anderem versprachen die Autoren, Patienten ohne Abwarten weiterer Ergebnisse mit dem Medikament zu behandeln). Es wurden mehrere Versionen der Studie an 304 Online-Journale versandt, von denen 255 antworteten und 106 einen Review durchführten. Rund 70 % (insgesamt 156) akzeptierten den Aufsatz (nicht mehr erscheinende Zeitschriften wurden dabei nicht mitgerechnet; berücksichtigt man auch diese, waren es rund 60 %). Nur eine Zeitschrift, nämlich PLOS ONE, führte einen genauen Review durch, um den Aufsatz dann wegen des schweren Verstoßes gegen Ethikregeln abzulehnen. Bohannon veröffentlichte seine Ergebnisse in der renommierten Fachzeitschrift Science, welche die Ergebnisse als deutliches Plädoyer für etablierte Zeitschriften mit seriösem Peer Review wertete.[10] Einige der betroffenen Online-Journale stammten allerdings aus international angesehenen großen Verlagshäusern. Für Online-Journale mit unseriösen Praktiken prägte Jeffrey Beall den Begriff Predatory Journals („räuberische Zeitschriften“).

Das Peer-Review-Verfahren wird aus mehreren Gründen kritisiert:[11]

1. Bei der Anwendung im wissenschaftlichen Publikationswesen dauert es meist etliche Monate, in manchen Fällen sogar Jahre, bis ein Fachartikel erscheint.
2. Die Neutralität der Gutachter ist nicht garantiert. Es gibt keine Gewähr, dass die Gutachter nicht ihren eigenen Standpunkt zu strittigen Fragen als Entscheidungsgrundlage heranziehen.

Vereinzelt wird kritisiert, dass es überzogenes, destruktives Kritisieren begünstige. Etablierte Experten eines Teilgebiets der Wissenschaft könnten durch unfundiert-abwertende Gutachten das Eindringen von Konkurrenten in ihre „Nische“ verhindern und müssten sich bei Anonymität dafür nicht namentlich rechtfertigen. Die Anonymität der Gutachter fördere so das „Revierverhalten“ und behindere einen effizienten Qualitätswettbewerb.

Anonymität des Gutachters kann zu Beurteilungen führen, die aus Zeitmangel, ungenügendem Interesse oder Unwissen nicht gewissenhaft genug erstellt wurden. So kann ein schlechter Artikel im Begutachtungsverfahren für gut befunden werden, ohne dass der Gutachter um seinen guten Ruf in der Wissenschaftsgemeinde fürchten muss.

Der Statistiker und Methodenkritiker John Ioannidis, selbst Autor hunderter peer-reviewter Publikationen und wissenschaftlicher Mitherausgeber zahlreicher peer-reviewter Fachzeitschriften,[12] kritisierte 2017 das Peer-Review-Verfahren: Renommierte Prüfer könnten dadurch die Verbreitung von Forschungsresultaten unterdrücken, die ihren Erkenntnissen zuwiderlaufen, und so innerhalb ihres Forschungsfeldes falsche Dogmen aufrechterhalten. Empirische Belege zeigten, dass Expertenmeinungen äußerst unzuverlässig sind.[13]

Peer Reviews sind wiederholt Gegenstand von Verschwörungstheorien mit naturwissenschaftlichem Bezug geworden, wie sie in den letzten Jahrzehnten häufiger auftraten, etwa im Zusammenhang mit der Klimawandelleugnung: Darin wurde ihnen unterstellt, sie würden insgeheim einer politischen Agenda folgen oder wichtige Punkte unterschlagen. Der amerikanische Soziologe Ted Goertzel plädiert daher dafür, sie transparenter zu gestalten: Die Zusammensetzung der Gutachtergremien solle nicht mehr anonym sein, sämtliche Daten der Forscher müssten ihnen zugänglich gemacht werden, Spezialisten müsse die Gelegenheit gegeben werden, auch alternative Sichtweisen darzustellen, soweit sie auf einer angemessenen Datenbasis beruhten. Gänzlich ausschließen lassen würden sich verschwörungstheoretische Verdächtigungen gegen Peer-Reviews aber wohl nie.[14]

Vincent Calcagno et al. stellten in einer 2012 in Science veröffentlichten Studie fest, dass Aufsätze, die zunächst von einer Zeitschrift abgelehnt, dann bei einer anderen Zeitschrift eingereicht und schließlich veröffentlicht wurden, tendenziell öfter zitiert werden als andere Aufsätze in dieser Zeitschrift. Das kann daran liegen, dass in dem Aufsatz ein kontroverses Thema behandelt oder eine neue Methode angewandt wird, die von einem Gutachter kritisch gesehen wird, aber dennoch für die Fachwelt von Interesse ist.[15]

2015 stellten Forscher in Nature eine Methode zum Bewerten der Reproduzierbarkeit von psychologischen Studien vor. Dabei konnten Gutachter in einem börsenbasierten Modell auf bestimmte Studien wetten. Dies erzielte deutlich bessere Ergebnisse als die Bewertung durch einzelne Gutachter.[16]

Der Historiker Caspar Hirschi kritisierte 2018 die Einführung von Peer Review nach 1960 als Teil einer „präzedenzlosen Instrumentalisierung der Wissenschaft für politisch-militärische Zwecke“, die eine „ebenso präzedenzlose Kommerzialisierung der wissenschaftlichen Publizistik ermöglicht“ habe. Das anonymisierte Gutachterverfahren breite über gescheiterte Anträge den Mantel des Schweigens.[17] „Die Effizienz von Peer Review liegt in der konfrontationsfreien Machtausübung, haben doch die Gutachter kein Gesicht und die Begutachteten keine Stimme. Das System schafft vollendete Tatsachen im Stillen. Für die kommerziellen Zeitschriftenverlage hat Peer Review den doppelten Vorteil, dass sie die Selektionsarbeit zum Nulltarif auslagern und für die Qualität der publizierten Inhalte nicht haftbar gemacht werden können. Im Fall von betrügerischen oder fehlerhaften Publikationen fällt die Verantwortung zuerst auf die Gutachter, dann auf die Herausgeber und erst zuletzt auf den Verlag.“[18] Hirschi spricht sich für eine Abschaffung von Peer Review aus. Die Qualitätskontrolle von Manuskripten bei den Zeitschriften sollte, wie bei Buchverlagen mit teils hochstehenden wissenschaftlichen Reihen, mit eigenen Lektoren durchgeführt werden. In staatlichen Fördergesellschaften müssten entscheidungsbefugte Expertengremien so breit besetzt werden, dass bei Prüfung von Anträgen auf externe Einschätzungen mittels Peer Review verzichtet werden kann.[19]

Der Literaturwissenschaftler und -kritiker Magnus Klaue kritisierte das Verfahren in den Geistes- und Sozialwissenschaften 2020 in einem Artikel in der Frankfurter Allgemeinen Zeitung. Insbesondere das Double-blind-Peer-Review-Verfahren, bei dem weder der Begutachtete noch die Gutachter erfahren, um welche Personen es sich jeweils handelt, sei für die Beurteilung philosophischer, kunstwissenschaftlicher oder geschichtswissenschaftlicher Texte weniger geeignet, da dort die Kenntnis der Autorschaft wichtiger sei als in den Naturwissenschaften. Klaue verglich das Verfahren mit der kollektiven Autorschaft der Wikipedia, die die Anfälligkeit für Ungenauigkeiten und Manipulationen steigere und die Notwendigkeit ständiger Selbstkontrolle bestärke. Im Gegensatz zu Wikipedia änderten Peer Reviews bei wissenschaftlichen Aufsätzen jedoch urheberrechtlich nichts an der Autorschaft der begutachteten Texte. Individuelle Autorschaft werde so formell aufrechterhalten, aber de facto aufgeweicht, da der Einfluss der Gutachter auf den Inhalt des letztlich veröffentlichten Werkes den Lesern verborgen bleibe.[20]

In Zusammenhang mit der Zeitschriftenkrise und dem elektronischen Publizieren entwickeln sich neue Qualitätssicherungsverfahren. Ein Pionier auf diesem Gebiet ist Stevan Harnad. Seine Vorschläge, die etwas an ein Wiki erinnern, haben sich jedoch noch nicht durchgesetzt, und es sind kaum Erfahrungswerte darüber bekannt.

2006 startete eine Wissenschaftler-Gruppe aus Großbritannien das Online-Journal Philica,[21] bei dem sie die Probleme des traditionellen Peer Review zu lösen versuchten. Anders als sonst üblich werden alle eingereichten Artikel zuerst publiziert, und der Open-Peer-Review-Prozess startet erst danach. Die Gutachter werden dabei nicht von den Herausgebern ausgesucht, sondern jeder Forscher, der das möchte, kann den Artikel kritisieren. Der Gutachter bleibt dabei anonym. Die Gutachten werden am Ende jedes Artikels angehängt und geben dem Leser so eine Einschätzung der Qualität der Arbeit. Der Vorteil dieses Systems ist, dass auch unorthodoxe Forschungsansätze publiziert werden und nicht, wie im klassischen Peer Review, von etablierten Experten unterdrückt werden können.

Ein ähnliches Projekt ist Dynamic Peer Review der Webseite Naboj.[22] Der Unterschied zu Philica besteht darin, dass Naboj kein vollständiges Online-Journal ist, sondern ein Forum für Gutachten von Preprint-Artikeln der Seite arXiv.org. Das System ist dem Beurteilungssystem von Amazon.com nachempfunden und bietet den Benutzern die Möglichkeit, sowohl die Artikel als auch die einzelnen Reviews zu bewerten. Dadurch bietet das System den Vorteil (bei einer genügend großen Zahl von Benutzern und Gutachtern), dass die Qualität demokratisch beurteilt wird.

Im Juni 2006 begann Nature mit einem Versuch namens parallel open peer review. Einige Artikel, die für einen traditionellen Review-Prozess eingereicht wurden, wurden parallel dazu auch öffentlich zugänglich gemacht, um kommentiert zu werden. Der Versuch wurde im Dezember 2006 als erfolglos bewertet und eingestellt.[23]

Eine zunehmende Anzahl von Fachzeitschriften geht mittlerweile zum Format des registrierten Berichts (engl. registered report) über, um wissenschaftlichem Fehlverhalten wie HARKing und p-Hacking entgegenzutreten.[24] Bei einem registrierten Bericht erstellen Autoren einer Studie einen Antrag, der den theoretischen und empirischen Hintergrund, Forschungsfragen und Hypothesen sowie ggf. Pilotdaten enthält. Nach Einsendung bei der Fachzeitschrift wird der Antrag begutachtet, noch bevor die eigentlichen Daten erhoben werden. Im Falle einer positiven Begutachtung wird das nach Datenerhebung zu erstellende Manuskript unabhängig von den Studienergebnissen automatisch veröffentlicht.[25]

Im Wissenschaftsbetrieb findet Peer Review nicht nur bei Zeitschriftenveröffentlichungen statt, sondern auch bei der Bewilligung von Messzeit an Großforschungseinrichtungen und von Projektfinanzierungen. Reviews dienen den Geldgebern (staatlichen Organisationen wie der Deutschen Forschungsgemeinschaft oder dem Schweizerischen Nationalfonds, NGOs und privaten Geldgebern wie der Bill & Melinda Gates Foundation) oft als Kriterium für die Mittelvergabe.