12  Publikationsprozess

In diesem Kapitel wird der Publikationsprozess in internationalen wissenschaftlichen Fachzeitschriften mit Begutachtungsverfahren beschrieben. Publizieren in internationalen wissenschaftlichen Fachzeitschriften erfordert nicht nur das Verfassen eines wissenschaftlichen Manuskriptes, sondern auch eine Überarbeitung dessen inklusive Stellungnahme im Rahmen einer unabhängigen Begutachtung. Typischerweise wird die Begutachtung im Rahmen eines begutachten (engl. peer review) Verfahrens durchgeführt. Dieses Verfahren wird durch unabhängige Forscher und Forscherinnen durchgeführt, die Experten im Bereich des Forschungsgegenstands des zu begutachtenden Manuskripts sind. Konkret bedeutet dies, dass diese Experten ein Gutachten über das Manuskript verfassen. Ziel einer solchen Begutachtung ist die Qualität von wissenschaftlichen Manuskripten zu beurteilen, um unwissenschaftliche und schlechte Arbeiten auszusondern und gute Arbeiten noch besser zu machen. In diesem Kapitel wird zuerst auf den Publikationsprozess eingegangen, wie er bei wissenschaftlichen Fachzeitschriften funktioniert. Im Anschluss wird auf das Verfassen eines Gutachtens im Kontext des Begutachtungsprozesses eingegangen.

12.1 Der Publikationsprozess

Abbildung 12.1: Publikationsprozess adaptiert von American Psychological Association (2020).

Der Publikationsprozess bei einer wissenschaftlichen Zeitschrift besteht aus mehreren Stufen (vgl. Abbildung 12.1). Diese sehen folgendermassen aus:

  1. Ein wissenschaftliches Manuskript wird von den Autorinnen und Autoren bei einer Zeitschrift eingereicht. Die Zeitschrift wird von den Autorinnen und Autoren selbst ausgewählt. Grundsätzlich wird versucht in Zeitschriften mit einem möglichst guten Ruf in der internationalen Forschungslandschaft zu publizieren. Um die Qualität und den Einfluss einer Zeitschrift im internationalen Forschungsumfeld zu beurteilen, gibt es gewisse Metriken. Eine dieser Metriken ist der Zeitschriften-Einflussfaktor (engl. Journal Impact Factor; JIF; auch bekannt als IF). Der Zeitschriften-Einflussfaktor bezeichnet die durchschnittliche jährliche Anzahl Zitationen aller Artikel, welche in den letzten beiden Jahren in der besagten Zeitschrift publiziert wurden. Je grösser der Zeitschriften-Einflussfaktor ist, umso mehr werden die einzelnen Artikel einer Zeitschrift im Durchschnitt zitiert. Diese und ähnliche Metriken sind allerdings stark umstritten, da sie nicht direkt mit der Qualität der publizierten Artikel in einer Zeitschrift zusammenhängen.

  2. Das Manuskript wird einer Vertreterin bzw. einem Vertreter der Herausgeberschaft (engl. editorial board) der Zeitschrift zugeordnet. Die Herausgeberschaft besteht in der Regel aus etablierten Forscherinnen und Forschern des Feldes in dem sich die Zeitschrift bewegt. Die Vertreterin bzw. der Vertreter der Herausgeberschaft nimmt eine erste Beurteilung des Manuskripts vor. Dabei sind mehrere Entscheidungen möglich:

    • Das Manuskript wird abgelehnt, weil es unwissenschaftlich ist, qualitativ nicht den Standards der Zeitschrift genügt, oder thematisch als unpassend für die Zeitschrift betrachtet wird.
    • Es werden Gutachten zum Manuskript eingeholt. Die Vertreterin bzw. der Vertreter der Herausgeberschaft sucht zwei bis drei Forscher und Forscherinnen im Themenfeld des Manuskripts, welche bereit sind, das Manuskript zu begutachten, so genannte Gutachter und Gutachterinnen (engl. reviewer).
    • Das Manuskript wird als dermassen überragend eingestuft, dass es direkt zur Publikation angenommen wird. Dies kommt allerdings so gut wie nie vor.

  3. Die Gutachter und Gutachterinnen reichen innerhalb einer festgelegten Frist ein Gutachten mit einer Empfehlung an die Herausgeberschaft der Zeitschrift ein. Die Empfehlung beschränkt sich im Normalfall auf folgende Möglichkeiten:

    • Ablehnung (engl. rejection): Das Manuskript soll abgelehnt werden. Die Gutachter und Gutachterinnen haben auf Grund des Manuskripts gravierende Mängel in der Studie festgestellt, führt diese auf und empfiehlt die Ablehnung des Manuskripts.
    • substanzielle Überarbeitung (engl. major revision): Das Manuskript muss substanziell überarbeitet werden. Die Gutachter und Gutachterinnen beurteilen die Studie grundsätzlich als wissenschaftlich wertvoll, haben aber noch einige grössere Mängel festgestellt, die es zu beheben gilt, bevor das Manuskript publiziert werden kann. Die Mängel werden aufgeführt. Im Idealfall werden Vorschläge zur Überarbeitung gemacht, und es wird empfohlen, dass das Manuskript einer substanziellen Überarbeitung bedarf, bevor in Betracht gezogen werden kann, das Manuskript zur Publikation in der Zeitschrift anzunehmen. Substanzielle Überarbeitungen können folgende Punkte beinhalten:
      • Mehr empirische Evidenz für die Schlussfolgerungen sind nötig. Das heisst, (a) dass mehr Daten gesammelt werden müssen, (b) dass weitere oder andere Analysen nötig sind, und / oder (c) dass sich Fehler zum Beispiel bei den Analysen eingeschlichen haben und diese verbessert werden müssen.
      • Die theoretische Argumentation ist nicht schlüssig und diese muss deswegen überarbeitet werden.
    • Kleinere Überarbeitung (engl. minor revision): Das Manuskript bedarf einer kleineren Überarbeitung. Die Gutachter und Gutachterinnen beurteilen die Studie als interessant und sehr sorgfältig durchgeführt. Sie empfehlen die Annahme des Manuskripts zur Publikation nach Behebung kleinerer Mängel.
    • Annahme zur Publikation (engl. acceptance): Das Manuskript soll zur Publikation bei der Zeitschrift angenommen werden. Die Gutachter und Gutachterinnen kommen zum Schluss, dass das Manuskript einen wichtigen wissenschaftlichen Beitrag leistet und deswegen publiziert werden soll. Diese Empfehlung wird kaum je direkt gemacht, sondern erst nachdem das Manuskript ein oder mehrere Male revidiert worden ist.

  4. Die Vertreterin bzw. der Vertreter der Herausgeberschaft nimmt, auf Grund der erhaltenen Gutachten, nochmals eine Beurteilung des Manuskripts vor und entscheidet über das weitere Vorgehen. Dieses kann entsprechend den Möglichkeiten der Empfehlungen der Gutachter und Gutachterinnen ausfallen: Ablehnung, substanzielle Überarbeitung, kleinere Überarbeitung oder Annahme zur Publikation. Meistens ist der Entscheid nach einer ersten Begutachtungsrunde, dass das Manuskript abgelehnt wird oder eine substanzielle Überarbeitung nötig ist. Eine substanzielle Überarbeitung garantiert nicht, dass das Manuskript letzten Endes auch zur Publikation angenommen wird. Wenn eine Überarbeitung gefordert ist, geht das Manuskript zurück an die Autoren und Autorinnen mit einer Frist, bis wann die Überarbeitung fällig ist. Meist werden nach substanziellen Überarbeitungen und erneuter Begutachtung weitere kleine Überarbeitungen gefordert, bevor das Manuskript zur Publikation angenommen wird.

  5. Je nach Entscheidung, ist von den Autoren und Autorinnen Folgendes gefordert:

    • Ablehnung des Manuskripts: Die Autoren und Autorinnen überarbeiten das Manuskript entsprechend der Begründung, die zur Ablehnung geführt hat und reichen das Manuskript bei einer anderen Zeitschrift ein.
    • substanzielle / kleinere Überarbeitung: Die Autoren und Autorinnen überarbeiten das Manuskript entsprechend der Kritikpunkte und Empfehlungen in den erhaltenen Gutachten und reichen es wieder bei der Zeitschrift ein. Beim Wiedereinreichen werden die überarbeiteten Stellen im Manuskript kenntlich gemacht. Gleichzeitig wird ein Antwortbrief mit eingereicht, in dem zu den einzelnen Kritikpunkten und Empfehlungen Stellung genommen wird.

  6. Nach erneuter Einreichung trifft die Vertreterin bzw. der Vertreter der Herausgeberschaft erneut eine Entscheidung. Dabei sind wieder alle Optionen offen. In der Regel wird das Manuskript nach einer substanziellen Überarbeitung mit dem Antwortbrief nochmals an die gleichen Gutachter und Gutachterinnen zur erneuten Beurteilung geschickt. Bei kleineren Überarbeitungen trifft oftmals die Vertreterin bzw. der Vertreter der Herausgeberschaft die Entscheidung, ohne das Manuskript nochmals an die Gutachter und Gutachterinnen zu senden. Oft bedarf es mehrerer Begutachtungs-Revisions-Runden, bis das Manuskript zur Publikation angenommen wird.

Dauer des Publikationsprozesses

Auf Grund des Publikationsprozesses können vom ersten Einreichen eines Manuskripts bis zu dessen Publikation mehrere Monate bis Jahre vergehen. Wissenschaftliche Textbücher werden auf der Grundlage empirischer Forschungsarbeiten geschrieben. Bis wissenschaftliche Erkenntnisse in Textbüchern auftauchen, dauert es normalerweise mehrere Jahre.

12.2 Verfassen eines Gutachtens

Ein Gutachten zu einem wissenschaftlichen Manuskript hat in der Regel zwei Funktionen. Zum einen soll es der Herausgeberschaft einer Zeitschrift als Entscheidungshilfe dienen, ob eine Arbeit qualitativ gut genug ist, um abgedruckt zu werden. Wenn die Arbeit den wissenschaftlichen Qualitätskriterien genügt, ist die zweite Funktion des Gutachtens, aus einer guten wissenschaftlichen Arbeit das Beste herauszuholen.

Formal muss ein Gutachten nicht zwingend den APA-Kriterien folgen. Trotzdem haben sich einige Konventionen gebildet. Sinnvollerweise wird für ein Gutachten je nach Schriftart eine 10 bis 12-Punkt Schriftgrösse mit einfachem Zeilenabstand verwendet. Wir gehen im Folgenden zuerst auf die Struktur und dann die Inhalte eines Gutachtens ein.

Vorlage

Um die Arbeit beim Schreiben des Gutachtens zu vereinfachen, haben wir eine Gutachtenvorlage vorbereitet. Es muss nur noch der Inhalt entsprechend des Gutachtens ersetzt werden.

Anonymität und Vertraulichkeit

Gutachten sind in der Regel anonym und vertraulich. Das heisst, die Autorinnen und Autoren des Manuskripts, das begutachtet wurde, erfahren nicht, wer die Gutachter und Gutachterinnen sind. Manchmal ist es auch der Fall, dass Gutachter und Gutachterinnen nicht erfahren, wer die Autorinnen und Autoren der begutachteten Arbeit sind. In allen Fällen dürfen die Gutachten sowie die begutachtete Arbeit ohne Einwilligung von der Auftraggeberin bzw. dem Auftraggeber des Gutachtens (z.B. Vertreterin bzw. einem Vertreter der Herausgeberschaft) nicht geteilt werden.

12.2.1 Struktur

  • Titel: Titel des Gutachtens (z.B. «Gutachten»).

  • Titel des Manuskripts: Titel der zu begutachtenden Arbeit.

  • Autorinnen / Autoren: Autorinnen bzw. Autoren der zu begutachtenden Arbeit. Falls die Autoren und Autorinnen nicht bekannt sind, kann man «unbekannt» schreiben.

  • Zeitschrift / Modul: Zeitschrift oder Modul für welche/s das Gutachten verfasst wird.

  • Zusammenfassung: Zusammenfassung der zu begutachtenden Arbeit (8-12 Zeilen).

  • Evaluation: Evaluation der zu begutachtenden Arbeit (4-6 Zeilen).

  • Grössere Schwachpunkte: Auflistung der grösseren Schwachpunkte der begutachteten Arbeit. Schwachpunkte werden als gross eingestuft, wenn zu deren Verbesserung ein substanzieller Mehraufwand nötig ist (z.B. Umschreiben grösserer Textteile, erneutes Auswerten der gesamten Daten). Grössere Schwachpunkte werden absteigend sortiert (d.h., der grösste Schwachpunkt wird zuerst gelistet, dann folgt der zweitgrösste Schwachpunkt, usw.).

  • Kleinere Schwachpunkte: Auflistung der kleineren Schwachpunkte der begutachteten Arbeit. Schwachpunkte werden als klein eingestuft, wenn zu deren Verbesserung lediglich kleine Anpassungen nötig ist (z.B. Umschreiben eines einzelnen Absatzes, einige Zusatzanalysen). Kleinere Schwachpunkte werden der Reihe nach aufgelistet, wie sie im Manuskript vorkommen.

  • Literaturverzeichnis: Auflistung der neu referenzierten Literatur, die nicht in der begutachteten Arbeit vorkommt. Es ist zwar noch unüblich, ein Literaturverzeichnis in einem Gutachten einzufügen, doch es entspricht guter Praxis.

12.2.2 Inhalt

  • Zusammenfassung: An dieser Stelle wird die begutachtete Arbeit kurz und prägnant zusammengefasst. Dabei wird die Forschungsfrage, Methode, Resultate und der wissenschaftliche Erkenntnisgewinn der Arbeit genannt. Somit sieht die Empfängerin bzw. der Empfänger des Gutachtens, dass die Arbeit sorgfältig gelesen und verstanden wurde.

    Zusammenfassung vs. Kurzfassung

    Es ist nicht die Idee, die Kurzfassung (engl. Abstract) der zu begutachtenden Arbeit zu kopieren oder umzuformulieren. Auch das wäre streng genommen ein Plagiat. Die Idee ist, dass die Gutachterinnen und Gutachter in eigenen Worten die Studie ihrem eigenen Verständnis entsprechend zusammenfassen.

  • Evaluation: An dieser Stelle wird die begutachtete Arbeit kurz und prägnant evaluiert. In der Evaluation wird eine Einschätzung der Qualität (inklusive Begründung) der Arbeit gegeben. Genauer gesagt besteht diese Einschätzung aus einer kurzen und prägnanten Synthese der positiven Punkte, der Schwachpunkte, und deren Begründung. Der Absatz endet mit einer Empfehlung über die Art der Überarbeitung, wie zum Beispiel «Meiner Ansicht bedarf das Manuskript einer substanziellen Überarbeitung, bevor ich die Publikation dieser Arbeit empfehlen kann.» oder «Meiner Ansicht bedarf das Manuskript einer kleineren Überarbeitung, bevor ich die Publikation dieser Arbeit empfehlen kann.». Die Empfehlung muss logisch aus der Synthese der positiven Punkte und Schwachpunkte hervorgehen.

    Substanzielle vs. kleine Überarbeitung

    • Eine substanzielle Überarbeitung (engl. major revision) bedeutet, dass grosse Teile des Manuskripts überarbeitet und neu geschrieben werden müssen oder die gesamten Daten neu ausgewertet werden müssen. So kann es zum Beispiel sein, dass die gesamte Einleitung nochmals strukturell überarbeitet werden muss oder sich das Manuskript sogar grundlegend verändert.

    • Eine kleinere Überarbeitung (engl. minor revision) kann bedeuteten, dass eins oder zwei Absätze neu geschrieben werden müssen oder zusätzliche Analysen gemacht werden müssen. Ein neuer Absatz kann natürlich auch weitere Anpassungen zur Folge haben. Im besten Fall bedarf eine kleinere Überarbeitung nur geringfügiger Änderungen (z.B. eins bis zwei zusätzliche Sätze an einer bestimmten Stelle).

  • Grössere Schwachpunkte: Grössere Schwachpunkte befassen sich mit der Struktur und dem Inhalt, sowie den gemachten Analysen und deren Interpretation. Im Gutachten werden nur nicht erfüllte Punkte erwähnt und ausgeführt. Das heisst, es wird immer begründet und inhaltlich auch aufgezeigt, warum ein Punkt als Schwachpunkt betrachtet wird. Es ist üblich, dass am Ende jedes grossen Kritikpunkts ein konstruktiver Vorschlag gemacht wird, wie der Schwachpunkt gelöst werden soll. Man stellt sich beim Lesen der zu begutachtenden Arbeit folgende Fragen:

    • Einleitung
      • Ist der Aufbau logisch?
      • Wurden die zentralen Konzepte korrekt eingeführt? Sind diese verständlich?
      • Wurden die Forschungslücke und Forschungsfrage eingeführt? Sind diese verständlich und sinnvoll?
      • Wurde ein kompletter Überblick über die relevanten Studien gegeben?
      • Wurde eine verständliche logische und schlüssige Integration und Synthese gemacht?
      • Wurde die Forschungslücke dargestellt? Ist diese logisch nachvollziehbar? Wurde beschrieben, wie die aktuelle Studie die Forschungslücke schliesst?
      • Wurden nachvollziehbare Hypothesen formuliert? Wurden die Hypothesen logisch von der Einleitung hergleitet? Sind die Hypothesen begründet?
    • Methode
      • Wurde die Stichprobe angemessen beschrieben?
      • Wurde das Material angemessen beschrieben und nicht mit der Prozedur vermischt? Könnte man auf Grund der Beschreibung, selbst das Material mit den gleichen Eigenschaften für eine eigene Studie zusammenstellen?
      • Wurde die Prozedur angemessen beschrieben und nicht mit dem Material vermischt? Könnte man auf Grund der Beschreibung der Prozedur, das Experiment selbst durchführen?
      • Werden die Forschungsfrage und die Hypothesen mit der vorgestellten Methode operationalisiert?
    • Resultate
      • Wurden die Resultate transparent berichtet? Beispielsweise wurden die Skalen der Abbildungen angemessen ausgewählt? Spiegelt die deskriptive Statistik das experimentelle Design wider? Wird für die Inferenzstatistik das experimentelle Design korrekt berichtet? Werden alle nötigen statistischen Kennwerte berichtet?
      • Machen die durchgeführten Analysen für die Forschungsfrage des Experiments Sinn?
      • Beantworten die Analysen die Forschungsfrage und die Hypothesen?
      • Werden geplante und explorative Analysen als solche gekennzeichnet?
      • Gibt es konfundierte Resultate?
    • Diskussion
      • Ist die Struktur der Diskussion logisch?
      • Werden die Ergebnisse korrekt wiedergegeben? Werden statistische Befunde zum Teil verschwiegen?
      • Werden die Ergebnisse angemessen interpretiert oder überbewertet?
      • Werden die Ergebnisse angemessen im Kontext der relevanten Studien im Feld betrachtet, interpretiert und integriert?
      • Gibt es alternative Erklärungsmöglichkeiten für die berichteten Befunde, welche nicht in Betracht gezogen wurden?
      • Ist die Schlussfolgerung angemessen, oder wird diese übertrieben dargestellt?
      • Wird klar, inwiefern die Hypothesen bestätigt wurden? Wird klar, inwiefern die etablierte Forschungslücke geschlossen wurde?

  • Kleinere Schwachpunkte: Kleinere Schwachpunkte befassen sich primär mit fehlenden Informationen, die ohne Weiteres ergänzt werden können, oder kleinen Fehlern, die man ohne Weiteres korrigieren kann. Auch Korrekturen für Tippfehler werden an dieser Stelle genannt. Wenn es zu viele sind, kann man auch darauf verweisen, dass es viele Tippfehler hatte, die unbedingt noch beseitigt werden müssen. Grundsätzlich stellt man sich bei den kleineren Schwachpunkten die Frage, ob es noch Möglichkeiten gibt, das Manuskript zu verbessern, welche keine substanziellen Überarbeitungen erfordern.

Inhalt von Gutachten

Gutachten setzen sich primär mit dem Inhalt und der Struktur eines Manuskripts auseinander und kaum mit der Einhaltung formaler Kriterien. Es sei denn, die formalen Kriterien wurden überhaupt nicht eingehalten.

12.2.3 Beispiele von Gutachten

Weitere Beispiele

Einige Zeitschriften haben einen offenen und transparenten Publikationsprozess. Neben der endgültig publizierten Version eines Manuskripts werden auch die vorangegangenen Version archiviert und veröffentlicht. Gleichzeitig werden die Gutachten sowie die Antworten darauf archiviert und veröffentlicht. Diese könnten als Möglichkeit genutzt werden, um sich mit Gutachten vertraut zu machen. Nachfolgend werden zwei Studien aufgeführt, bei denen der Begutachtungsprozess offen und transparent war: