Gestern flatterte eine Absage von der Konferenz #DeLFI2013 in meinen E-Mail-Eingang. Ich hatte dort einen Beitrag eingereicht. Rückmeldungen von GutachterInnen soll man ja hinnehmen wie sie sind, aber ein bisschen irritiert bin ich doch.
Der Artikel
Es wird mir zum einen die Realitätsnähe des Beitrags negativ ausgelegt und zum anderen die stellenweise subjektive Sprache mit der Anmutung eines Erfahrungsberichts bemängelt. Ich bin irritiert, weil laut Call for Papers neben reinen Forschungsbeiträgen ausdrücklich Anwendungsbeiträge erwünscht waren (Zitat: „Anwendungs- und Industriebeiträge stellen aktuelle e-Learning Anwendungen vor und werten Erfahrungen mit ihrer Nutzung aus.“). Ich wundere mich außerdem, weil ich den Beitrag ausdrücklich im Konzept Scholarship of Teaching and Learning (SOTL) bzw. in der Aktionsforschung verortet habe, was zwangsläufig nah dran an der Praxis ist und wo ich als beteiligter Lehrender automatisch aus meiner eigenen Perspektive berichte. Na, was soll’s…
Lest doch einfach selbst und bildet euch euer eigenes Urteil. Ich stelle den Artikel gerne zur Verfügung (CC-BY) und ergänze ihn gleich um die Kommentare der GutachterInnen. Ist auch ganz spannend, sich bloß die Spannbreite der Beurteilungen anzuschauen ;-)
Gutachten 1
Beitrag der Einreichung
Der Beitrag untersucht die Nutzung eines Wiki in gemeinschaftlich damit erarbeiteten Seminarbeiträgen. Das Wiki war dabei auch öffentlich für Kommentare zugänglich. In 2 Seminaren werden Befunde zu Wiki als Seminar-unterstützendes Werkzeug, zu Öffentlichkeit der Beiträge und zur Steigerung der Teamfähigkeit erhoben, dargestellt und diskutiert.
Beurteilung des Beitrags
- Inhaltliche Qualität (20%): 6
- Bedeutung (10%): 4
- Originalität (20%): 4
- Thematische Relevanz (10%): 8
- Darstellung (10%): 8
- Empfehlung (30%): 6
- Gesamtpunkte (von 10) : 5.8
Kommentare für die Autoren
Da die Untersuchung an realen Seminaren durchgeführt wurden ergeben sich sowohl Stärken als auch Schwächen in den Aussagen.
Positiv ist sicherlich, dass es sich um reale Seminare handelte und die Ergebnisse unter dem „Druck“ der erfolgreichen Seminarteilnahme entstanden.
Die Realitätsnähe stellt jedoch methodisch Herausforderungen dar, die die Bedingungen schwer kontrollierbar machen.
So ist unklar, inwiefern die beiden Durchläufe tatsächlich eine replizierte Studie darstellen. Dies tritt insbesondere auch in Abb. 1 zu Tage, welche die doch sehr unterschiedlichen „Arbeitsstile“ aufzeigt. Sämtliche Einschätzungen werden subjektiv von den Teilnehmern per Fragebogen erhoben. Es gibt keine Einordnungen zur Nutzertypologie, was besonders zur Teamfähigkeit und zur Frage, wie man die Öffentlichkeit sieht, nützlich gewesen wäre (DISC, NEO FFI oder ähnliche Instrumente).
Das Einbeziehen der Öffentlichkeit war mehr oder weniger zufällig und evtl. auch deswegen eingeschränkt. Nützlich wären hier Angaben über die Anzahl und auch die Art der öffentlichen Beiträge. Gab es eher Hinweise, echte Diskussionen, Teilbeiträge, und woher kamen all diese?
Dass hier eine Wiki-Plattform genutzt wurde, ist nur eine Form des kollaborativen Arbeitens. Eine Differenzierung zu anderen Möglichkeiten wird kaum dargestellt. Sie schreiben, dass sich die Teilnehmer trafen, um dann zu schreiben. Das hätten diese doch auch mit einer üblichen Textverarbeitung tun können, nur war ihnen jetzt eben das Wiki vorgeschrieben…
Da die Teilnahme am Wiki-Seminar freiwillig war, wäre interessant zu wissen, wie die Quote der Teilnehmer zu denen, die dann doch lieber eine andere Seminarform wählten war.
Zu Fragestellungen des Urheberrechts und zu Plagiarismus wird keinerlei Aussage getroffen.
Gutachten 2
Beitrag der Einreichung
Evaluation (n = 25) zweier Wiki-Seminare
Beurteilung des Beitrags
- Inhaltliche Qualität (20%): 2
- Bedeutung (10%): 2
- Originalität (20%): 4
- Thematische Relevanz (10%): 8
- Darstellung (10%): 4
- Empfehlung (30%): 3
- Gesamtpunkte (von 10) : 3.5
Kommentare für die Autoren
Folgende Punkte sind problematisch:
– der theoretische Hintergrund wird schwach bis gar nicht ausgeführt.
– es sind Unterschiede zwischen den beiden Seminaren vorhanden, wie die weitere prozesseorientierte Analyse zeigt. Trotzdem werden beide Seminare zu einer Stichprobe zusammen gefügt.
– die Lehrenden-Perspektive = Verfasser-Perspektive.
– sehr subjektive Sprache („Hoffnung“) und Sichtweise. Der Beitrag gewinnt dadurch eher die Anmutung eines Erfahrungsberichts als die einer wissenschaftlichen Arbeit.
– kleine Stichprobe, die keine Überprüfung von Hypothesen zulässt.
– überwiegend subjektive Daten ohne Bezug zu anderen Datenquellen
Gutachten 3
Beitrag der Einreichung
Eine relativ bedeutsame Änderung in der Anfertigung von Seminararbeiten wird hier aus Sicht der Studierenden als auch der Lehrperson geschildert. Der erste Sprung zur kollaborativen Abfassung von Seminararbeiten wurde bereits intensiv
beforscht. Er ergibt sich eigentlich logisch aus der gängigen wissenschaftlichen Praxis der kollaborativen Aufschreibung von Forschungsergebnissen. Der zweite Schritt, dazu öffentlich verfügbare und zugängliche Web-Werkzeuge zu verwenden, lässt sich aus der Diskussion um die sogenannte Science 2.0 verstehen, die für mehr Transparenz auch bei der
Entstehung und Nachvollziehbarkeit von Forschungsleistungen sorgen will. Eine Einbindung solcher Techniken in die Lehre ist damit zumindest aus dieser Debatte heraus wünschenswert.
Beurteilung des Beitrags
- Inhaltliche Qualität (20%): 6
- Bedeutung (10%): 6
- Originalität (20%): 6
- Thematische Relevanz (10%): 8
- Darstellung (10%): 8
- Empfehlung (30%): 7
- Gesamtpunkte (von 10) : 6.7
Kommentare für die Autoren
In dem Papier werden nach einer Einleitung zunächst die beiden betriebswirtschaftlichen Seminare beschrieben und dann die Form der Datenerhebung. Anschließend erfolgt die Auswertung und die Diskussion der Ergebnisse. Für die Studierende war die Technik kein Problem und auch die Öffentlichkeit stellte keine größere Herausforderung dar. Anscheinend ist aber die Kollaboration problematisch, da die zielorientierte Methodik der Studenten dem offensichtlich entgegensteht. Der Lehrende (und Autor) zieht eine insgesamt positive Bilanz.
Insgesamt macht die Arbeit und die Darstellung einen recht ordentlichen Eindruck. Natürlich kann man eine solche Arbeit um viele Aspekte ergänzen, die hier keine Berücksichtigung gefunden haben, z.B. die Auswirkungen auf die
Prüfungsordnungen und Gesetzgebung, oder die langfristigen Auswirkungen auf die Gestaltung der eigenen Lehre bei kumulativer Verfügbarkeit der Lern- und Lehrleistungen. Die Ergebnisse zeigen einen eher pragmatischen Umgang mit den neuen Lehrtechnologien und -methoden, der natürlich auch durch den experimentellen Einmal-Effekt herrühren kann. Ich empfehle die Arbeit zur Annahme aufgrund der soliden Durchführung.
Gutachten 4
Beitrag der Einreichung
Der Beitrag beschreibt die Erfahrungen mit dem Einsatz von Wiki-Technologie und -Arbeitsweise zum Schreiben einer Seminararbeit in Grupen.
Beurteilung des Beitrags
- Inhaltliche Qualität (20%): 8
- Bedeutung (10%): 8
- Originalität (20%): 8
- Thematische Relevanz (10%): 10
- Darstellung (10%): 10
- Empfehlung (30%): 9
- Gesamtpunkte (von 10) : 8.7
Kommentare für die Autoren
Ein sehr gut strukturiert geschriebener Beitrag mit interessanten Fragen und Ergebnissen, die (Vor)Urteile und Erwartungen zu korrigieren vermögen. Die Ergebnisse sind quantitativ untermauert und offen sowie kritisch reflektiert
dargestellt. Ich verspreche mir eine interessante Diskussion zum Beitrag.
Mir sind wenige Kleinigkeiten aufgefallen, die man noch verbessern könnte.
transdisziplinär: Sollte definiert werden. Warum transdisziplinär, und nicht interdisziplinär oder multidisziplinär? Sonst eher weglassen.
Für Studierende verspricht Wiki Produktivitätsgewinne: Was meinen Sie damit? Das leuchtet mir nicht von vornherein ein.
Satz mit Fehler: …. so codiert, dass sihm der zum ….
Noch ein Tippfehler …. nach der eigentlich nicht beabsichtigte Nutzung (n fehlt).
Moin Oli!
Schön, dass Du auch dieses Mal wieder Deinen Artikel und den Inhalt der Gutachten hier verbloggst. Ich habe mal wieder eine Frage vorweg. Gibt es irgendwo eine Übersicht der Definition/Auslegung der Begutachtungskriterien (Inhaltliche Qualität, Bedeutung, Originalität, Thematische Relevanz, Darstellung, Empfehlung) und der Charakteristiken an denen eine Bewertung innerhalb der einzelnen Kriterien festgemacht wird?
Cheers,
Matthias
Wenn es sie frei zugänglich gibt, bin noch nicht darüber gestolpert.
Aktionsforschung arbeitet vorwiegend qualitativ und kasuistisch (eine positive rückmeldung kann genügen, um die optimierende wirkung eines verfahrens zu belegen). Die Aktionsforschung ist für die Praxis zwar sehr ergiebig, aber für den Forscher sehr mühsam, langwierig und die gesammelten Daten sind von der Zahl her bescheiden. Da die Interpretation der qualitativen Daten in einem intersubjektiven Diskurs mit dem Leser verläuft, ist der Forscher auf die Bereitschaft und die Fähigkeit des Rezipienten angewiesen, sich auf diese Intepretationen einzulassen. Vorwiegend quantitativ arbeitende Wissenschaftler können den Wert von Aktionsforschung nur selten erkennen. Aktionsforscher publizieren in der Regel wenig, denn ihre empirische Forschungen nehmen sehr viel Zeit in Anspruch und die Ergebnisse sind nicht sofort ersichtlich. Weil mir das gerade einfällt: http://de.wikipedia.org/wiki/Aktionsforschung#Aktionsforschung_in_P.C3.A4dagogik_und_Didaktik
Ich hatte das Papier bereits gesehen— verschiedene hier von dir reflektierte Fragen sind hochaktuell (z.B. für die gegenwärtig stark diskutierte weitere Entwicklung der deutschen Wikiversity). Jean-Pol Stimme ich vollkommen zu was die begrenzte Aufnahme- und Erkenntnisfähigkeit vieler (sog.) Wissenschaftler anbetrifft. Der subjektive Standpunkt, der hier bemängelt wird,kommt mir persönlich sogar noch viel zu kurz. Ich hätte es vorgezogen, wenn du bei der Erzählperspektive konsequent von der dritten in die erste Person gewechselt wärest. ich habe nicht alle Gutachten gleich aufmerksam gelesen, aber jedenfalls fiel es mir leicht, einen gewissen Hochmut in diese Gutachten zu interpretieren. Das ist dir vermutlich auch aufgefallen. Ich finde das höchst schädigend. Was dein Papier ansonsten anbetrifft, ist es lesbar und eben nicht verschraubt, so dass es auch für weitere Kreise lesbar sein wird. Ich schreibe und veröffentliche grundsätzlich nicht auf Deutsch, weil meine persönlichen Erfahrungen ähnlich sind. Im angelsächsischen Wissenschaftsbetrieb ist die Vielfalt der Arten, Stile, Interessen, Zielgruppen und Methodologien deutlich höher und damit die Toleranz gegenüber eventuell als exzentrisch (also irgendwie, irgendwo außerhalb „der Mitte“) angesiedelter Veröffentlichungen sichtlich und spürbar größer. Schade eigentlich, aber es muss ja Gründe geben, warum die deutsche Wissenschaftsgemeinde außer in Spezialbereichen bei der Weltentwicklung genauso (nämlich wenigstens zwei Jahre) hinterher hinkt, wie in vielen anderen Bereichen des öffentlichen Lebens und der öffentlichen Wissenschaft. Lediglich in der Industrie sieht es anders aus, aber da kann man nicht mehr wirklich von einer nationalen Industrie sprechen. Vielleicht ist das auch die Lösung für die „deutsche Wissenschaft“.
Inhaltlich fand ich besonders den letzten Teil von Abschnitt fünf aufregend, nämlich den Spin-Off Effekt [„Die stets offentlich zugänglichen Stadien der Texte waren hilfreiches Anschauungsmaterial fur einen Kurs zum wissenschaftlichen Arbeiten, der zeitgleich zu einem der Seminare stattfand“]; und die von dir bestätigte Zurückhaltung, was die positiven Effekte für kooperatives Arbeiten und Selbstbeteiligung anbetrifft (die ich auch bestätigen kann, nach mehr als einem Jahr Arbeiten mit Wikiversity), ist in diesen Wochen Ausgangspunkt eines Papiers, dass ich mit zwei Wissenschaftlerinnen aus Deutschland und England zu eben diesem Thema schreibe!
Also, direkte Empfehlung: englische Version herstellen und woanders einreichen. Gerne bei einem der beiden internationalen Journale, bei denen ich Mitherausgeber bin… (Int. J. of Innovation in Education / Int. J. of Learning and Change).
…übrigens deine auf diesem Blog geübte Praxis der Veröffentlichung von ansonsten „geheimen“, oder wenigstens in der Regel in transparenten Prozessen des Wissenschaftsbetriebs, sollte und könnte Schule machen. Es klingt als hättest du hier etwas erfunden, Einen eigenen Zweig von offener Wissenschaft / Open Science. Jedenfalls kannst du aus diesem Prozess mit den vorliegenden Daten selbst eine schöne neue Veröffentlichung machen mit dem interessanten Titel „Besides the point?“. Die Herausforderung ist natürlich (wie eigentlich immer in der Wissenschaft, obwohl das kaum mehr einer sagt), deine subjektive Haltung, Verletzungen, Verwunderung usw. zu objektivieren und zu reflektieren. Aber dass das anbetrifft hast du mittlerweile ja schon einige Übung!
@Marcus Im netz besteht die große chance für die wissenschaftler, kollektive reflexion anzuregen und zu organisieren. Nicht ein paar mitarbeiter, sondern tausende, wenn man das richtig angeht!
@marcus, besten Dank für den Tip zu diesem blog.
Die Idee, den wissenschaftlichen Artikel + die Gutachten transparent zu veröffentlichen und eine breitere Diskussion zB über diesen Blog zu starten, finde ich großartig. Ich war im Februar in New York auf der TOC (Tools of Change for Publishing). Einen riesigen Zulauf hatte der Konferenzbeitrag des Gründers von http://academia.edu – einer kollaborativen Plattform, einer Wissenschaftscommunity mit über 3 Mio researchern (nach eigenen Angaben). Hier können wissenschaftliche Artikel hochgeladen werden, Tags zu eigenen Themenschwerpunkten vergeben, Du kannst Dich in der community vernetzen, Du siehst in analytics, wer Dein Profil aufgerufen hat usw.
Ich arbeite als Wissenschaftlerin in einem Forschungsprojekt hier in Deutschland, schreibe meinen PhD jedoch an einer englischen Universität in London (mit marcus als supervisor ;-)) und habe ebenfalls die Erfahrung gemacht, dass im angelsächischen Bereich nicht so engstirnig nur die breite Mitte zählt. Gerade mit polarisierenden Themen gewinnt man dort und erhält eine anregende, positiv geführte Diskussion.
Hallo Oliver,
sehr interessante Idee, diese „Veröffentlichung“.
Mich würde interessieren, wie viel Zeit hast du (netto/brutto) für den wiss. Beitrag selbst benötigt, und wie viel Zeit für diesen Blogartikel (oder einen Durchschnitts-Blogartikel). [Das soll nicht in Zusammenhang stehen, mich würde nur gern interessieren wie viel Zeit „andere“ so aufwenden, für bestimmte (Schreib/Denk)Tätigkeiten]
viele Grüße
Stephan
Ich weiß nicht so genau, wie ich Deinen Artikel einordnen soll. Fraglos ist es gut, einen weiteren Einblick in Publikationsprozesse zu erhalten und vielleicht sollten Review-Systeme eine solche Funktionalität bieten „make my received reviews public“. Vielleicht würde ich die sogar eher lesen als die Artikel selbst, wenn ich mich für den ein oder anderen Track entscheiden müsste ;)
Aber was bewirkt er hinsichtlich der „Reduse, Reuce, Recycle“-Möglichkeiten? Ich selbst hatte überlegt, einen halben Artikel zur Delfi schnell noch fertig zu schreiben und wenigstens erst einmal die Reviewer-Kommentare abzuholen, später dann „ernsthaft“ irgendwo anders einzureichen. Aber das habe ich dann auch nicht geschafft.
– Willst Du Deinen Artikel hinsichtlich der Kommentare noch einmal überarbeiten? Bspw. eben den theoretischen Hintergrund ausweiten, die Vergleichbarkeit der Seminare stärker hervorheben, im nächsten Seminardurchlauf alles besser machen… damit der Beitrag besser wird? Das war ja ursprünglich auch Ziel der Reviews: Qualitätssicherung in Forschung und deren Darstellung (was es heute ist, ist ein Geheimnis, das wir nicht-Forschenden nicht verraten ;) )
– Oder denkst Du nicht, dass Du ihn noch einmal einreichen willst und bringst Deine Irritation und Dein „Na, was soll’s…“ eben in diesen Blogpost zum Ausdruck? Dann fände ich das glaube ich nicht soooo gut, denn so unverständlich sind die Reviewer-Kommentare nicht. Auch wenn du Aktionsforschungsähnlich die Ergebnisse der Seminar beschreibst braucht es (und gerade dann) eine gute Grundlage, um die Ergebnisse dahingehend auszuwerten, was sie anderen Lehrenden mit auf den Weg geben können. Zudem denke ich, dass sich der Anwendungsbezug im CfP vielleicht eher auf Software-Anwendungen bezogen hat, die Reviewer hier vielleicht überrascht waren, dass mit Wikis hier jetzt nicht wirklich neue Software-Anwendungen aufgetreten sind.
ReCycle heißt, es gibt Itterationsschleifen. Und vielleicht war die Delfi hier auch schlichtweg die nicht optimale Konferenz
Ich habe den Artikel jetzt gelesen: mein einwand: letztlich ist deine auswertungsmethode quantitativ. Bei der geringen menge deiner studenten und bei deinem aktionsforschungsansatz wären – zumindest ergänzend – qualitative erhebungsmethoden (z.b. offene fragebögen, interviews, teilnehmende beobachtung) ergiebiger. Aber ich bin schon länger „aus dem geschäft“ und nicht auf dem letzten stand.
@jean-pol Ich kann deinen Einwand nachvollziehen—an der Notwendigkeit, quantitative und qualitative Ansätze zu trennen hat sich meiner Auffassung nach nichts geändert. Was evtl. fehlt ist eine Diskussion der Methode (warum diese, keine andere) bzw. ein Abschnitt „Stand der Forschung“, in der aufgezeigt wird, was vergleichbare Arbeiten (nach Zielsetzung, Zielgruppe, Hypothesenbildung usw.) für Methoden verwenden usw. — da ist mir ein Artikel bekannt, aus einer Wiki-Konferenz (Guth, 2007), mehr hätte man evtl. finden können, aber Oliver hat sich ja in seiner Einleitung geäußert, wo er seinen Ansatz verortet u. das letzte Gutachten hat auch die Stärken der Arbeit aus meiner Sicht gut erkannt (und gelobt). Jetzt fällt mir auf, wenn ich richtig gelesen habe: weder zur Diskussion der Methode noch zum Stand der Forschung gab es Gutachter-Kommentare. Daraus kann man mindestens schließen, dass der Ozean der Wissenschaft immer noch genau so ausgedehnt endlos und unerforscht ist, wie immer…und dort segelt Oliver T. nun mit seinem kleinen Boot herum…Ahoi!
@Marcus
Nein, Hochmut ist mir nicht aufgefallen. Vielleicht meinst du, die Rückmeldungen waren direkt auf den Punkt? Das schätze ich eigentlich eher.
Wirklich verletzt bin ich eigentlich auch nicht. Eigentlich habe ich mich wirklich nur gewundert, warum Anwendungsbeiträge gefordert sind, dann aber genau daran Kritik geübt wurde.
Und das mit dem Beitrag in Englisch: Ein Fan von bloßen Übersetzungen bin ich nicht, aber nachdenken kann ich über einen „neuen“ Beitrag – wenn ich Luft finde.
@Stephan
Ich kann ehrlich nicht mehr abschätzen, wie viel Zeit für den Artikel draufgegangen ist, weil er in Etappen entstanden ist. Die Daten stammen noch aus den Jahren 2010 und 2011, da habe ich sie bereits für das Seminar ausgewertet. Da musste ich mich dieses Jahr für den Artikel aber noch einmal reinlesen. Das Programm in R hat mich ein paar Stunden gekostet. Der Text selbst – keine Ahnung. Ich führe da kein Buch. Ich saß diverse Wochenenden dran, wobei ich da auch nicht durchgängig gearbeitet habe.
Bei Blogbeiträgen schwankt es. Manche gehen ruckzuck, sagen wir eine halbe Stunde, manche dauern auch bedeutend länger; zum einen, weil der Text länger wird, zum anderen, weil das Verschriftlichen mancher Gedanken einfach mehr Zeit in Anspruch nimmt.
@Anja
Jetzt bin ich wieder etwas irritiert. Kam es so rüber, als würde ich die Rückmeldungen der GutachterInnen nicht wertschätzen? Das ist nicht der Fall! Ich war lediglich über das verwundert, was ich im Blogbeitrag geschrieben habe. Naja, und über die Bandbreite der Rückmeldungen. Es wirkt halt seltsam, wenn dir fehlende Objektivität angekreidet wird und offenbar die Beurteilungen des Beitrags selbst sehr subjektiv zu sein scheinen.
Am Artikel wollte ich aber nicht mehr arbeiten, darum habe ich ihn online gestellt. Das war kein Gnatz, sondern ich wollte das Thema einfach vom Tisch haben. Die Daten stammen noch aus den Jahren 2010 und 2011, als ich noch an einem Lehrstuhl gearbeitet habe, waren also schon überreif. Ich kann momentan keine ergänzenden Daten sammeln, weil ich nicht mehr an einem Lehrstuhl arbeite. Ich könnte mich zwar an einem Lehrstuhl einklinken und das nochmal machen, aber nur in meiner Freizeit. In genau der ist der Beitrag ja entstanden, da meine aktuelle Stelle 0,0% für die Forschung vorgesehen ist. Das was ich mache, ist mein reines Privatvergnügen, und momentan ist meine Zeit anders priorisiert.
Und als Ergänzung: „Probeeinreichungen“ finde ich etwas problematisch. Das wäre ja in etwa so, als würde ich erst einmal bei ein paar Firmen vorstellig werden, bei denen ich aber gar nicht arbeiten will, sondern bloß das Bewerben üben möchte. Das kostet Unternehmen ja unnötig Zeit und Geld. Die Sache ist hier natürlich etwas anders gelagert, klar, aber ich hätte irgendwie Bauchschmerzen dabei.
@Jean-Pol
Den Schuh ziehe ich mir gerne an, aber nicht ganz ;-) Ich habe sowohl drei Freitextfelder in den Fragebögen platziert und habe das auch im Text erwähnt (Seite 6).
Zwei davon beschäftigten sich mit der Wahrnehmung der Studierenden zum Wikieinsatz (Was war besonders gut? Was bedenklich?), das habe ich knapp zusammen gefasst – ich hatte nämlich eigentlich mit viel mehr Rückmeldungen gerechnet, dass das Arbeiten mit der MediaWiki-Syntax umständlich sei. Zu meiner Überraschung was das aber wirklich nicht das Problem.
Das dritte Feld war ganz offen zum Thema „Öffentlichkeit“ (Was ich dazu noch loswerden will). Da wurde aber kaum etwas angegeben.
Ich habe außerdem speziell nach dem zweiten Seminar in der Abschlussveranstaltungen mit den Studierenden über das Format des Seminars gesprochen. Ich habe beispielsweise den Studierenden die unterschiedlichen Verläufe des Textzuwachses gezeigt und auch gefragt, weshalb sie auch auf meine Hinweise hin nicht eher mit dem Schreiben begonnen haben. Dafür hatten sie aber selbst keine Erklärung. Der Hinweis im Text, eine Kommentarfunktion am Rand (wie bei Word) wäre sinnvoll gewesen, stammt aus einem solchen Gespräch. Problem nur: Ich habe das nicht aufgezeichnet oder anders dokumentiert. Die Nachprüfbarkeit geht dann gegen Null, und da habe ich mir das lieber gespart.
Der klare Fokus auf die quantitativen Aspekte hatte darüber hinaus – zumindest aus meiner Sicht – einen ganz pragmatischen Grund: Die Artikel für die DeLFI waren auf maximal 12 Seiten beschränkt. Ich hätte also alles „anreißen“ können oder mich gezielt einem Schwerpunkt widmen. Ich habe mich für Letzteres entschieden und selbst da musste ich mich beschränken. Ich habe noch andere Items erhoben, auf die ich im Artikel gar nicht eingehe. Die Entscheidung mag schlecht gewesen sein.
Aber: Die Daten habe ich wenigstens zusätzlich zur Verfügung gestellt (siehe Fußnote 5 auf Seite 6). Gibt’s das sonst häufig, dass jemand auch seine Datensätze mitliefert, damit andere sie weiterverwenden oder die Berechnungen überprüfen können? Die Antworten zu den Freitextfeldern findest du da übrigens auch drin.
@Marcus An deiner antwort sehe ich, dass ich mit meinem einwand nicht ganz daneben lag. Die qualität von forschungsergebnissen hängt und fällt mit der erhebungsmethode.
@Oliver: Danke, Oliver! Ich bin mit deiner antwort vollauf zufrieden. Ich sehe, dass du dir als aktionsforscher tatsächlich viele gedanken über die für aktionsforscher typischen empirischen forschungsmethoden gemacht hast! Ein bisschen mehr qualitative belege (zitate aus gesprächen, z.b.) und ich wäre gar nicht auf meinen einwand gekommen!:-)
Mein Artikel von 2009, „From Crisis To Creativity: Undergraduates Craft Their Own Learning Modules„, ist ein Beispiel für die Verbindung von quantitativen und qualitativen Daten im Rahmen eines Aktionsforschungs-Ansatzes, mit deutlicher Bevorzugung der qualitativen Daten (Aussagen von Studierenden usw.). Wenn ich recht erinnere, habe ich die quantitativen Daten (ebenso wie den gesamten Abschnitt zum Thema „Diversity“—das war Spezialthema des Heftes) eingefügt nach Feedback von Gutachtern (veröffentlicht in: Int. J. of Innovation in Education, Vol 1 (1) 2009, pp. 96–119).
@Marcus Ich habe den artikel überflogen. Schade, dass ich nicht mehr forsche! Das wäre eine tolle grundlage gewesen! C’est la vie…
@Oliver: „Gibt’s das sonst häufig, dass jemand auch seine Datensätze mitliefert, damit andere sie weiterverwenden oder die Berechnungen überprüfen können?“
Nein, mir noch nie untergekommen (außer in Abschlussarbeiten, dort natürlich Standard). Klingt wie eine gute Idee, gerade in den Wirtschaftswissenschaften. Wenn das konsequent gemacht werden müsste, gäbe es auch vielleicht weniger Veröffentlichungen dafür aber bessere…Man könnte das zentral organisieren, z.B. bei Online-Zeitschriften, das wäre eine gute Nutzung des Netzes. In einigen Naturwissenschaften Standard (z.B. experimentelle Teilchenphysik).
Hallo Oliver,
ich hatte nicht bezweifelt, dass Du eherenwerte Ziele mit dem Blogpost verfolgst ;) Mein Kommentar war wohl eher laut gedacht auf die Frage: Welche Ziele könnte man – oder vielleicht auch mal ich – damit verbinden, die Reviewer-Kommentare zu veröffentlichen und welche sollte man nicht verfolgen. Gerade vor dem Hintergrund, dass Du thematisch „darüber hinweg“ bist, verstehe ich umso mehr, dass Du dann auch Artikel und Kritikpunkte öffnest.
Und auch die „Probeeinreichungen“ möchte ich etwas abschwächen: Ich habe den Artikel nicht eingereicht, weil mir nicht zugetraut hatte, unter der übrigen Zeit einen Beitrag hinzubekommen, der eine Chance hat. Reviewer-Kommentare wie „Vollkommener Schrott“ bringen mir ja nichts. Dazu muss man ja immer ein wenig damit rechnen, dass der Reviewer dahinter kommt, wer den Artikel geschrieben hat. Und dann sollte es mir nicht peinlich sein. Es sollte also schon eine Mindestqualitätsstufe erreicht sein. Und dennoch erwische ich mich immer wieder, dass man bei Einreichungen auch daran denkt, wo der Artikel noch eine Chance hätte, wenn man es nicht schafft.
Aber noch einmal zum Sinn und Zweck der Veröffentlichung der Reviewer-Kommentare ein Gedankenexperiment: Würde man die Kommentare auch veröffentlichen, wenn der Artikel angenommen ist? Auch dann sind durchaus kritische Kommentare dabei und die wären dann zu einem akzeptierten Artikel und ggf. vor der Konferenz als Diskussionsgrundlage bekannt. Klar ist es jetzt ganz einfach zu sagen „na klar würde ich das auch machen“ – aber wirklich in jedem Fall?
@Anja
Du meinst etwa so etwas? http://www.olivertacke.de/2012/03/16/wie-sieht-ein-wissenschaftliches-gutachten-aus/
Natürlich braucht man bestätigungen. Aber wirklich voran (wissenschaftlich) bringt die kritik (falsifikationismus, karl popper). Oliver scheint am fortschritt seiner erkenntnis interessiert zu sein. Karrieretechnisch sieht es natürlich anders aus. Die menge der publikationen, nicht die qualität ist entscheidend.
@jeanpol
Woran ich interessiert bin, weiß ich gerade selbst nicht so genau. Midlife Crisis?
Mit Blick auf die „Karriere“ im Wissenschaftsbetrieb erhielt ich jedenfalls die folgende Rückmeldung auf Twitter: ‚Ah ok. Mutig finde ich es, weil das Paper nun eben „verbrannt“ ist und aus wissenschaftlicher Sicht ja „wertlos“ (weil öffentlich).‘
Du scheinst trotzdem nicht schlecht voranzukommen: https://www.google.de/#sclient=psy-ab&q=%22Oliver+Tacke%22&oq=%22Oliver+Tacke%22&gs_l=hp.3..0i30l4.3060.8400.0.8733.14.14.0.0.0.0.178.1359.12j2.14.0…0.0…1c.1.14.psy-ab.f6b4sLjn2ns&pbx=1&bav=on.2,or.r_cp.r_qf.&bvm=bv.47008514,d.bGE&fp=e961cbcbaebdf452&biw=1280&bih=906
@oliver zur Verbranntheit des Themas [«wertlos (weil öffentlich)»] — da ha’m wir’s wieder mal, die Lanze gegen Öffentliche Wissenschaft und die stillschweigende Annahme, Wissenschaft müsse eine Geheimgesellschaft sein. Das bringt mich immer auf die Palme. Interessant, dass eine neue Generation von Studierenden, vielleicht wegen des Webs? Social Media? hierfür überhaupt kein Verständnis hat—wie ich stolz aus meinen Seminaren/Vorlesungen/Betreuungen berichten kann. Das sind allerdings mehrheitlich auch keine jungen Menschen, die ihre Karrieren in der Wissenschaft sehen, sondern in Industrie, Lehre, Anwendung, usw. — aber die werden die Gesetze der Zukunft machen, thank God.
@jeanpol das ist ja ein richtig bösartiger URL den Du da eingestellt hast…da hat sich mein Browser gleich verabschiedet und den konnte ich auch nicht rekonstruieren…Bit.ly, Jean-pol, oder http://goo.gl/ bitte!
@Marcus
Sehe ich genauso. Oliver ist die zukunft! Meine (bescheidene) bakanntheit verdanke ich einzig und allein der tatsache, dass ich jede kleinste idee sofort überall eingespeist habe, sofort feed-back erhalten habe und die reformulierung gleich wieder überall eingegeben habe. Das ist für mich wissenschaft. Aber: ich hatte eine feste stelle! Natürlich wurde ich plagiert. Aber die plagiatoren hinkten immer wider hinterher, denn ich war schon wieder ganz woanders!:-))
@marcus
Sorry (URL): das war einfach Olivers Treffer bei google. 7.500 treffer!:-((
@jeanpol … das ist 1/100 deiner Google-Berühmtheit. Also muss Oliver noch viele Jahre twittern und posten… >> http://bit.ly/10xZyqV <> http://bit.ly/10xZMhF << ;-))
@Marcus
Hahaha! Jean-Pol Martin musst du unter anführungszeichen eingeben, also „Jean-Pol Martin“. Dann erhältst du die richtige trefferzahl: 15.700. Also ist Oliver gar nicht so weit von mir!:-))
;-))
Jupp Heynckes ist immer noch einer der wichtigsten Deutschen, jedenfalls heute Vormittag. Da kommen wir alle nicht ran es sei denn wir wechseln die Spur.
@Marcus
Uns interessiert doch unser ruhm in hundert jahren! Und da wird jupp heynckes bestimmt nicht gut aussehen!
Hiho,
so, nach einer Woche anderer Prioritäten jetzt auch mein Kommentar. Vorab: Ich finde es schade, dass dein Beitrag nicht angenommen wurde, und ich persönlich finde ihn auch sowohl inhaltlich als auch qualitativ passend, insbesondere – so, wie du sagst – als Anwendungsbeitrag. Im letzten Jahr hatte ich einen Forschungsbeitrag eingereicht (der auch als solcher gemeint war), und er wurde dann als Anwendungsbeitrag angenommen (abgestuft?). Für mich ist das natürlich okay gewesen. Wenn du ihn aber sowieso explizit als Anwendungsbeitrag eingereicht hast, ist die Kritik an den Forschungsmethoden eher unpassend.
Ich habe aber auch den Eindruck, dass manche Reviewer an alle Beiträge die Perspektive des „Forschungsbeitrags mit quantitativen Methoden“ anlegen und so wertvolle Anwendungsbeiträge bzw. qualitativ-methodische Beiträge eine schlechtere Chance haben. Eine Lösung hab ich dafür auch nicht, höchstens diejenige, dass man realisieren kann/sollte, dass man immer in bestimmte Systeme mit eigenen Wertmaßstäben hinein einreicht und dementsprechend das System, in das man einreicht, auswählten sollte. Gerade in deinem Fall hätte ich aber die DeLFI (oder die GMW) für adäquat empfunden. Manchmal ist es auch einfach „Pech“, an welche Reviewer man gerät. Tja, auch die Wissenschaft ist nicht vor dem Einfluss des Zufalls gefeit. ;-)
Liebe Grüße,
das dunkelmunkel :-)
@Christian
Danke dir!
Hallo, ich muss Christian widersprechen. Ich habe auch sicher 5 Jahre oder mehr Reviews gemacht für die DeLFI. Ich hätte den Beitrag auch abgelehnt, aus einfachen Grund, dass die DeLFI eine eher „technische“ eLearning Konferenz ist. Erfahrungsberichte so verstehe, dass diese aus „technischer“ Sicht sein sollten. Da passen auch Einführung neuer Technologien oder Akzeptanz neuer Technologien dazu. Aber WiKis sind einfach weit weit weg von neu. Kann sein dass sie noch aktuell Thema sind und erforscht werden, dann passt es eher in die GMW. Dort wird immer alles was technisch angekommen ist besprochen. Für mich jetzt sehr persönlich gesagt ist ein Beitrag über die Kreidetafel und einem Wiki aus technologischer oder innovativer Sicht nicht so ein großer Unterschied. Bei der ersten DeLFI an der ich teilgenommen habe 2007 war Wiki ein Thema, aber da war es schon aus technischer Sicht keine Innovation.
Sicher drücke ich mich etwas hart aus, aber ich finde die Forschung sollte auch mal weiter kommen und nicht nur an Wikis hängen bleiben.
@Mo
Danke für deine Rückmeldung! Ich kann dein Argument voll und ganz nachvollziehen, allerdings scheint genau mit der „Profilpassung“ keine/r der GutachterInnen ein Problem gehabt zu haben.
@mosworld — Zur nächsten Technologie zu hetzen ohne vorhandene Technologien mit Massenbasis verstanden, erforscht und wirklich in die Anwendung integriert zu haben ist einer der häufigeren Vorwürfe gegen Informatiker in der Praxis (der Lehre, der Industrie und andernorts). Wie aktuell Wikis als Technologie sind, kann man z.B. hier lesen (ComputerWeekly Okt 2012). Mit Wissensmanagement bei Shell kenne ich mich gut aus—und die Firma gehört nicht zu den IT-rückständigen Orten der Welt, um es milde auszudrücken. Bei der Lehre bleibend: an meiner Hochschule, ebenfalls nicht für ihre Rückständigkeit im E-Learning-Bereich oder in der IT berühmt, kennt natürlich jeder Wiki, vom Studenten bis zum Verwaltungsangestellten—aber wirklich ausnutzen, einsetzen usw. tun es die wenigsten. Der Grund ist nicht, um das vorwegzunehmen, das alle auf eine viel bessere Technologie warten, sondern dass die vorhandenen Werkzeuge noch nicht verstanden sind. Die Didaktik steckt in den frühen 1980 Jahren fest (warum auch immer), neue Technologien ändern das nicht.
@Marcus
1. Ich stelle fest, ich muss wirklich mal den Kommentarbereich per PlugIn aufmöbeln :-)
2. Die Diffusion von Neuem ist tatsächlich ein problematisches Feld, das bestätigt etwa Gunter Dueck ja auch immer wieder – aus der Sicht eines Praktikers. Ist genau dieser Fall nicht ein schönes Beispiel für Schwierigkeiten der Transdisziplinarität, der sich die Öffentliche Wissenschaft stellen muss?
PS. das Neue an dem Shell-Ansatz ist, nebenbei gesagt, natürlich nicht das Wiki, sondern der Hybrid-Ansatz mit Microblogging (als Technologie ebenfalls nicht wirklich heiss). D.h. Wiki + Instant Messaging. Vorsprung durch Portfolio-Ausnutzung existierender (und stabiler) Technologien. Didaktisch ist übrigens das die Richtung in die Oliver gegangen ist und warum sein Aufsatz auch etwas Neues repräsentiert. Wenn man Wiki in der „Altwaren“ Schublade hat kann man das natürlich nicht merken.
@Oliver (2.) Absolut! Leider scheinen die Wirtschaftswissenschaften in Deutschland sich immer stärker zu isolieren…aber das ist eine andere Geschichte für einen anderen Thread.
Comments: disqus.com (gilt auch für Christian Spannagel)…bei Dutzenden von Kommentaren kommt das einfach besser!
Bin durch Anjas Twitterei auf diesen Post aufmerksam geworden, komme jedoch erst jetzt dazu, meinen Senf beizutragen.
Ich finde es löblich, dass du Artikel und Gutachten veröffentlicht hast. Ich habe meine Erfahrungen aus Peer-Review-Verfahren bislang nur zusammengefasst und nicht wortwörtlich wiedergegeben (bspw. hier http://ckummer.wordpress.com/2013/02/15/partial-least-squares-students-intentions/ – Abschn. Lessons learned), werde aber nach diesem Post die Veröffentlichung des nächsten Feedbacks in Erwägung ziehen.
Den Ausschlag für meine Wortmeldung gibt letztlich, dass ich unlängst über etwas ähnliches gebloggt habe, nämlich darüber, dass Konstruktions- oder Aktionsforschung schwer zu veröffentlichen ist (hier stimme ich mit Jean-Pol Martin überein), wenn sie sich nicht mit methodischer Nabelschau beschäftigt – meine Gedanken dazu habe ich hier zusammengefasst: http://ckummer.wordpress.com/2013/04/14/how-to-publish-design-based-research/. Gleiches wenn auch abgeschwächt gilt meiner Ansicht auch für den englischen Sprachraum.
Wie dem auch sei, danke für den Anstoß auch die Gutachten zu veröffentlichen.