Neue Mechanismen für den akademischen Publikationsprozess?

In einem Artikel in der Rubrik Viewpoint in der Januar Ausgabe der Communications of the ACM machen sich die Autoren Jon Crowcroft, S. Keshav und Nick McKeown Gedanken um den akademischen Publikationsprozess: "Scaling the academic publication process to internet scale"*.
Sie analysieren den Publikationsprozess von akademischen Konferenzen im Bereich der Informatik. Die Aussagen des Artikels sind aber durchaus auch für anderen Disziplinen anwendbar.

Zunächst stellen sie fest, dass das Aufkommen des Internet den Publikationsprozess kaum verändert hat. Sie stellen das Ergnis ihrer Analyse vor, ohnen allerdings deutlich zu machen, wie die Analyse methodisch durchgeführt wurde. Sie identifizieren 5 Problemkreise:

• "A steady increase in the total number of papers"
• "Skimpy reviews"
• "Declining paper quality"
• "Favoritism"
• "Overly negative reviews".

Als jemand, der selbst seit vielen Jahren Tracks auf akademischen Konferenzen organisiert (z.B. 'Business Models for the Digital Economy'), kann ich diese grundsätzlichen Aussagen durchaus nachvollziehen. Allerdings wären zusätzliche Facts & Figures zu dieser Analyse hilfreich.
Die Autoren argumentieren, dass für die drei Akteure des Publikationsprozesses Autoren, Reviewer und die Conference Chairs bzw. die Scientific Community sehr unterschiedliche, divergierende Anreize für ihr Verhalten haben:

• "Authors want to get published, or, at least, get detailed, but not necessarily positive, reviewer feedback on their work. They also don't want to be induced into becoming reviewers."
• "Reviewers/PC members want to minimize their work (for instance, by giving scores, but no justifications), while trying to reject papers that compete with their own papers, and accepting papers from their friends. They want to reject unacceptable papers that would embarrass them. Finally, they want to get the prestige of being in the PC."
• "Chairs/TCP/Research Community stakeholders want to have the highest quality slate of papers, while trying to include fresh ideas, and providing some sense of coverage of the field."

Diese Analyse ist sicher in Teilen nicht von der Hand zu weisen, allerdings gibt es auch heute bereits Mechanismen, welche dieses opportunistische Verhalten der Akteure verhindert, die 'soziale Kontrolle' in den Scientific Communities funktioniert durchaus, wenn auch nicht flächendeckend.
Aber als Basis für die Entwicklung neuer Mechanismen für den Publikationsprozess ist diese Analyse zu kurz gegriffen und zu undifferenziert, geschweige denn quantitiativ unterlegt. Aber das genau machen die Autoren anschliessend. Sie schlagen die folgenden neuen Mechanismen vor:

• "Authors should not submit poor-quality papers
• Authors should become reviewers
• Reviewers should submit well-substantiated reviews
• Reviewers should not favor their friends
• Reviewers should not denigrate competing papers".

Die Autoren machen zwar Vorschläge für die Umsetzung, erklären aber auch, dass viele der Teilmechanismen erst noch 'ausprobiert' werden müssen. Sie schlagen u.a. vor

• die Einführung von Punktesystemen für Autoren, um sie abzuhalten, schlechte Beiträge einzureichen (aber ist nicht jeder Autor überzeugt, dass sein Beitrag gut ist?),
• die Einführung eines 'Marktsystems' für Autoen und Reviewer als eher radikalen Schritt, die Probleme des Vorschlags erwähnen sie aber gleich mit,
• ein Rating System für Reviewer oder
• dass offenlegen der Namen der Reviewer oder
• "adding eBay-style reputations to Google Scholar or arXiv."

Die Schlussfolgerung der Autoren: "We believe the academic community as a whole desires such a system." und "We recognize our work is preliminary and leaves out many important details but nevertheless hope these ideas will serve as the foundation of a fundamental rethinking of the process."

Zusammenfassend erscheint die Analyse zu wenig differenziert, die Entwicklung der neune Mechanismen zu wenig durchdacht, um wirklich den Publikationsprozess akademischer Konferenzen neu zu organisieren.

* Crowcroft, J., Keshav, S., and McKeown, N. 2009. Viewpoint Scaling the academic publication process to internet scale. Commun. ACM 52, 1 (Jan. 2009), 27-30.
DOI= http://doi.acm.org/10.1145/1435417.1435430

Bildquelle: Communications of the ACM