Im August wird in Düsseldorf die Conference on Science and the Internet 2012 stattfinden, zu der Christian Spannagel und ich im Januar einen Vorschlag für einen Vortrag/Artikel eingereicht haben. Heute haben wir Rückmeldung dazu bekommen.

Wenn man Beiträge zu wissenschaftlichen Konferenzen (oder auch bei wissenschaftlichen Zeitschriften) einreicht, werden sie häufig erst einmal von anderen Wissenschaftlern begutachtet. Sie entscheiden, ob der Beitrag angenommen oder abgelehnt wird und geben den Autoren Rückmeldung und Hinweise auf Dinge, die noch beachtet werden sollten. Diese Beurteilungen bekommen Außenstehende normalerweise gar nicht zu Gesicht, und dadurch geht natürlich ein Einblick in die Wissenschaftswelt verloren. Damit man einen Eindruck davon bekommt, wie so etwas aussehen kann, veröffentlichen wir einfach einmal die Kommentare.

Review 1

• OVERALL RATING: 1 (weak accept)
• REVIEWER’S CONFIDENCE: 3 (high)
• Relevance: 4 (good)

Der Vortrag wird höchstwahrscheinlich dem in unserem Doktorandenseminar gehaltenen Vortrag des ersten Autors sehr ähneln, was a priori nicht schlecht sein muss. Ich bin dafür, den Beitrag anzunehmen, möchte aber die Autoren um mehr ‚Wissenschaftlichkeit‘ in ihrem Abstract und in ihrem Vortrag bitten, d.h. um kritische Auseinandersetzung mit z.B. dem Konzept „Open Science“. Es reicht definitv nicht aus, nur über ihre eigenen Erfahrungen mit Wikis, Blogs, Twitter, usw. zu erzählen. Auch wichtig: der Abstrakt muss mindestens 2-3 bereits vorhandene Studien nennen! Fazit: die Autoren biiten, die Submission entsprechend zu überarbeiten bzw. dies bei der Vorbereitung des Volltextes des Artikels zu berücksichtigen.

Review 2

• OVERALL RATING: 3 (strong accept)
• REVIEWER’S CONFIDENCE: 4 (expert)
• Relevance: 5 (excellent)

This promises to spark interesting discussions during the conference. Some thoughts and questions that came to my mind: When scholars open up their work spaces for others to see „research/teaching in the making“ who actually listens to this, watches or reads it? From the point of view of the researcher, permitting access to what would otherwise happen behind closed doors offers opportunities for the general public to further develop their understanding of science. But I wonder how many people (that are not from within the same field) actually seize these opportunities. I think the paper could benefit from a discussion of an „audience“ perspective.

Review 3

• OVERALL RATING: 2 (accept)
• REVIEWER’S CONFIDENCE: 2 (medium)
• Relevance: 4 (good)

The authors describe the concept of „Open Science“, which they frame as a participatory process that brings together institutionalized science and civil society. They begin by criticizing current approaches to science communication in the mass media, which they see as unidirectional and too narrowly focused on explaining the outcomes of scientific research to lay audiences, rather than involving the general public in the framing of research agendas. I agree strongly with the authors‘ suggestion to describe failure as a natural part of the scientific process — this may indeed further public understanding of science in a considerable way.

In its current form the paper could do more to a) systematically define Open Science and contrast it with the current, „closed“ scientific paradigm and b) critically reflect what the shortcomings of the proposed and rather idealized new direction of science could be (e.g. What happens to those citizens who aren’t digitally literate? Will research agendas be subjected to (digital) mob rule? Etc). Finally, a discussion of the broader policy dimension of Open Science would be greatly appreciated (How could Open Science be incentivized?).

Der Vorschlag wurde in Summe angenommen :-) Klar, so etwas veröffentlicht man lieber als negative Botschaften, aber man erhält natürlich auch Absagen! Davon bekommt man dann als Außenstehender gar nichts mit, man sieht immer nur die schönen Ergebnisse. Das verzerrt das Bild von der Wissenschaft und von Wissenschaftlern. Vor zwei Jahren habe ich beispielsweise einen Beitrag verfasst, der abgelehnt wurde. Die Rückmeldung sah da so aus:

Review 1

• Overall rating: -1 (weak reject)
• Originalität des Themas (Stellt der Beitrag etwas Neues dar?) 2 (gering)
• Technische Qualität (Genügen der Ansatz und die Methode wissenschaftlichen Ansprüchen?) 2 (gering)
• Lesbarkeit des Beitrags (Wie verständlich ist die Darstellung?) 3 (durchschnittlich)

Das Paper beschreibt ein Verfahren zur schrittweisen Einführung eines Wikis in Hochschulseminaren, basierend auf Erfahrungen im Einsatz mit Wikis an der TU Braunschweig.

Der Beitrag ist solide formluiert und theoretisch gut mit entsprechenden Referenzen begründet.

Er soll eine Anleitung zur Einführung von Wikis in Seminaren an der Hochschule bieten.
Aus technischer wie auch wissenschaftlicher Sicht bietet der Beitrag wenig Neues und auch die Schritte zur Einführung eines technischen Hilfsmittels, wie es ein Wiki ist, wirken eher intuitiv, weshalb der Beitrag hier keine große Relevanz besitzt. Dies betrifft zumindest die ersten der beiden beschriebenen Schritte. Der dritte Schritt, das Wiki nach außen zu öffnen und so „transdisziplinäre Wissensentstehung zu fördern“ erscheint zwar weniger intuitiv, ist jedoch auch laut Aussage des Papers wenig erfolgversprechend. Verwirrend ist hier vor allem, dass die Autoren im Paper zunächst davon ausgehen, dass das Problem in diesem Szenario die Gefahr ist, dass die eigenständige Leistung der Seminarteilnehmer verloren geht.
Ich würde intuitiv erwarten, dass die Gefahr keine Außenstehenden für das Seminar zu gewinnen zu können weitaus größer ist. Zumal ein Wiki rein technisch die Möglichkeit bietet, die Beiträge der einzelnen Studenten zu kontrollieren.

Andere Ergebnisse aus dem Einstz des Wikis neben dem beschriebenen schrittweisen Verfahren, z.B. was die Akzeptanz des Wikis oder einen Effekt auf das Seminar oder die Arbeiten der Studenten selbst betrifft, fehlen.

Eine Betrachtung verwandter Arbeiten aus dem Bereich des Einsatzes von Wikis in e-Learning orientierten Szenarien findet ebensowebig statt, obwohl hier zahlreiche Arbeiten und Erfahrungen existieren.

Kritisch sehe ich zudem, dass der Begriff Wiki stellenweise mit „Web2.0“ gleichgesetzt wird. In Abschnitt 1 wird bspw. der Einsatz eines Wikis unter anderem damit begründet, dass die Studierenden sich bei Verwendung eines Wikis (welches im gegebenen Szenario einen sehr kleinen Nutzerkreis hat) mit den Gefahren und Potenzialen des „Web2.0“ auseinandersetzen und entsprechende Kompetenzen erwerben können. Diese Aussage sollte ggf. entsprechend relativiert werden.

Review 2

• Overall rating: 0 (borderline paper)
• Originalität des Themas (Stellt der Beitrag etwas Neues dar?) 2 (gering)
• Technische Qualität (Genügen der Ansatz und die Methode wissenschaftlichen Ansprüchen?) 2 (gering)
• Lesbarkeit des Beitrags (Wie verständlich ist die Darstellung?) 4 (hoch)

Das Beitrag motiviert den Einsatz von Wikis in Seminaren mit der Notwendigkeit innerhalb des Studiums Teamfähigkeit und die Fähigkeit zur kooperativen Erstellung von Wissensdokumenten zu vermitteln. Als geeignete Mittel werden Wikis angesehen. Der Beitrag beschreibt drei unterschiedliche Stufen des Einsatzes von Wikis, die allerdings zumindest in Stufe 1 und 2 naheliegend sind. Die Stufe 3, die Öffnung des Wikis für die Öffentlichkeit ausserhalb des Seminars, erscheint innovativ basiert aber ganz wesentlich auf Arbeiten u.a. von Spannagel.

Die Schwächen des Beitrags sehe ich im Wesentlichen in drei Punkten:

1. Alternative Ansätze zum Training der kooperativen Texterstellung werden nur unzureichend betrachtet und nicht mit dem eigenen Ansatz verglichen.
2. Eine belastbare vergleichend Evaluation der Ansätze bzw. Beschreibung der Erfahrungen und Aussagen zur Akzeptanz durch die Studierenden fehlt.
3. Erfahrungen aus anderen Projekten/Veröffentlichungen die Wikis in der Lehre einsetzen werden nicht dargestellt und in die Diskussion einbezogen.

Der Beitrag ist gut lesbar, gut struktuiert und theoretisch gut begründet. Der Titel gibt den Inhalt des Beitrages nicht vollständig wieder. Meines Erachtens sollte der Aspekt des Trainings der Teamfähigkeit oder kooperativen Texterstellung berücksichtigt werden.

Review 3

• Overall rating: -1 (weak reject)
• Originalität des Themas (Stellt der Beitrag etwas Neues dar?) 2 (gering)
• Technische Qualität (Genügen der Ansatz und die Methode wissenschaftlichen Ansprüchen?) 2 (gering)
• Lesbarkeit des Beitrags (Wie verständlich ist die Darstellung?) 3 (durchschnittlich)

Der Artikel behandelt den Einsatz von öffentlichen Wikis in der Lehre unter der Fragestellung, ob hierdurch Teamarbeit und das Erstellen gemeinsamer Arbeiten geschult und bewertet werden kann. Ferne wird die Öffnung für Mitarbeit von externen Quellen betrachtet. Mangels aktiver Teilnehmer musste diese Fragestellung ausgeklammert werden.
Insgesamt bleiben leider die Fragestellungen und deren Beantwortungen an vielen Stellen nur an der Oberfläche
und betrachtet beispielsweise die Bewertung von Arbeiten anhand des Entsteheungsprozesses, wofür Wikis durchausgeeignet wären, nicht ausreichend. Auch eine gezielte Befragung der Teilnehmer
der Studie wird nicht angeführt. Diese Evaluation wäre für eine eigene Bewertung zum Einsatz von Wikis sehr hilfreich
gewesen.

Review 4

• Overall rating: 1 (weak accept)
• Originalität des Themas (Stellt der Beitrag etwas Neues dar?) 3 (durchschnittlich)
• Technische Qualität (Genügen der Ansatz und die Methode wissenschaftlichen Ansprüchen?) 3 (durchschnittlich)
• Lesbarkeit des Beitrags (Wie verständlich ist die Darstellung?) 4 (hoch)

Der Beitrag beschreibt den Einsatz von Wikis in Seminaren. Er ist gut geschrieben, gut aufgebaut und nethält einige innovativen Bezüge, auch wenn die Umsetzung heutzutage nicht mehr absolut neu ist und es dafür viele Beispiele an Hochschulen gibt und Publikationen vorliegen, die der Autor leider zum Teil an einigen zentralen Fragestellungen zur Wikinutzung in Seminaren nicht aufnimmt (s.u.). Auch wenn die Fundierungen gut sind und wissenschaftlichen Bezüge, so bleiben daher einige Fragen zur Umsetzung offen. Schnell behebbar ist die Frage: Was ist mit Gruppe gemeint im ersten Satz in 2.1, die gesamte Teilnehmergruppe eines Seminars oder eine Kleingruppe im Seminar, vielleicht hier das soziale Setting noch genauer spezifizieren, denn beides ist möglich.

Gut herausgearbeitet wurden die Vor- und Nachteile im den Abschnitten 2.1 und 2.2, doch werden aktuelle Publikationen zur Wiki Nutzung in Seminaren nicht oder kaum aufgegriffen. Daher wird auf einzelne Aspekte nicht eingegangen, die in anderen Publikationen zur Sprache kommen. Beispielsweise schreiben Studierende nicht unbedingt in ein Wiki, sondern stellen oftmals nur fertige Werke ins Netz. Der Prozess „Als zweite Stufe kann der Lehrende daher dazu übergehen, nicht bloß die Endfassung der Arbeit zu beurteilen. Ein Wiki erlaubt es ihm vielmehr, den gesamten Entstehungsprozess zu begleiten, jederzeit einen Blick auf die Arbeit zu werfen und so Probleme frühzeitig zu erkennen und bei Bedarf einzugreifen.“, auf dessen Vorteile eingegangen wird, findet eben genau oftmals nicht statt und muss über Abgabetermine und Meilensteine initiiert werden. Schön wäre, wenn der Autor hier über konkrete Erfahrungen und Evaluationsergebnisse oder Beobachtungen in seinen Seminaren berichten würde, wie wurde das in Braunschweig gelöst? Trat das Phänomen nicht auf? Ebenso Phänomene, dass Teilnehmende sich nicht gegenseitig einfach so Texte überschreiben, wie die Wikipedia-Forschung und Erfahrungen aus der Praxis zeigen (Vgl. Untersuchungen von Christian Stegbauer zu Wikipedia, die in eLearning-Seminaren bestätigt wurden. Auch die Gutachterin beobachtet dies regelmäßig in Seminaren, in denen Wikis zum Einsatz kommen – wie wird damit umgegangen, tritt dieses Phänomen auf? Hier fehlen leider Evaluationsergebnisse oder Beobachtungen der Autor berichtet hier nur wenig zum konkreten Verlauf in der Praxis. Der Anfang des Papiers ist wirklich gut und fundiert, hinten lässt es den erwarteten Praxis-/Evaluationsteil vermissen. Gut ist jedoch das Abwägen der Vor- und Nachteile, die kritische Debatte, ob Studierende es tatsächlich auch nutzen, unter welchen Bedingungen und ob es – um das Fazit mit dem Beginn des Papers zu verknüpfen – auch die Teamkompetenz steigert, bleibt jedoch offen.

Was mir speziell bei diesen Gutachten auffiel, war die durchaus konstruktive und für mich vollkommen nachvollziehbare Kritik – und als jemand, der sich damals nur nebenbei mit dem Thema E-Learning beschäftigt hatte, war ich schon stolz, keinen kompletten Verriss bekommen zu haben.

Ich selbst habe also eher positive Erfahrungen mit Gutachten gemacht, aber von Kollegen weiß ich, dass das ganz anders aussehen kann. Sie klagen mitunter über widersprüchliche Gutachten (der eine findet einen Teil grausig, der andere lobt ihn), Pauschalkritik, Antwort in zwei, drei knappen Sätzen oder irgendwie unvereinbare Hinweise („Gehen Sie ausführlicher auf diesen und jenen Aspekt ein, aber überschreiten Sie auf keinen Fall die vorgegebene Zeichenzahl“).

Wie sieht eure Erfahrung damit aus?