Schreiben ist Denken

Quelle: University of Florida

Diese Woche stellten Forscher der University of Florida fest, dass KI zwar ein wertvoller Helfer sein kann, menschliche Wissenschaftler in vielen wichtigen Bereichen jedoch nicht ersetzen kann.

Die Forscher testeten, wie gut beliebte generative KI-Modelle wie ChatGPT von OpenAI, Copilot von Microsoft und Gemini von Google verschiedene Phasen des Forschungsprozesses bewältigen konnten. Sie ließen diese KI-Systeme sechs Phasen der akademischen Forschung durchlaufen – Ideenfindung, Literaturrecherche, Forschungsdesign, Dokumentation der Ergebnisse, Erweiterung der Forschung und Erstellung des endgültigen Manuskripts – und beschränkten dabei jegliche menschliche Intervention. Dabei entdeckten sie eine Mischung aus Fähigkeiten und Einschränkungen.

Dennoch gab das japanische Unternehmen Sakana diesen Monat bekannt , dass ein von seinem „KI-Wissenschaftler“ verfasstes Papier den Peer-Review-Prozess bei einem Workshop einer führenden Konferenz zum maschinellen Lernen bestanden habe. Dies sei möglicherweise das erste Mal, dass ein vollständig KI-generiertes Papier den Peer-Review-Prozess bestanden habe.

Das Unternehmen erklärte: „Wir glauben, dass die nächste Generation von KI-Wissenschaftlern eine neue Ära der Wissenschaft einläuten wird. Die Tatsache, dass KI ganze Artikel erstellen kann, die die Peer-Review auf internationalen Konferenzen zum Thema maschinelles Lernen bestehen, ist ein sicheres Zeichen für künftigen Fortschritt. Doch das ist erst der Anfang. KI wird sich weiter verbessern, möglicherweise sogar exponentiell. Irgendwann wird KI wahrscheinlich in der Lage sein, Artikel auf menschlichem Niveau oder sogar darüber zu erstellen.“

Der Vergleich der KI-Wissenschaft mit der Humanwissenschaft sei nicht das ultimative Ziel, sagt Sakana. „Wichtig ist, dass die Entdeckungen der Human- und der KI-Wissenschaft zum menschlichen Wohlstand beitragen, beispielsweise durch die Behandlung von Krankheiten und die Aufklärung der Gesetze des Universums.“

Karin Verspoor, Dekanin der School of Computing Technologies der australischen RMIT University, kommentierte Sakanas frühere Entwicklungen im vergangenen Jahr und wies darauf hin, dass Sakanas KI-Tool den gesamten Lebenszyklus eines wissenschaftlichen Experiments zu Kosten von nur 15 US-Dollar pro Artikel durchführen könne – weniger als das Mittagessen eines Wissenschaftlers. Eine von Verspoors Bedenken ist, dass zukünftige KI-Systeme, wenn KI-generierte Artikel die wissenschaftliche Literatur überschwemmen, auf KI-Ergebnissen trainiert werden und dadurch zunehmend ineffektiver bei Innovationen werden könnten.

Die Auswirkungen auf die Wissenschaft gehen jedoch weit darüber hinaus. „Es gibt bereits jetzt kriminelle Akteure in der Wissenschaft, darunter ‚Papierfabriken‘, die gefälschte Arbeiten produzieren. Dieses Problem wird sich noch verschärfen, wenn eine wissenschaftliche Arbeit mit 15 US-Dollar und einer vagen Ausgangssituation erstellt werden kann. Die Notwendigkeit, einen Berg automatisch generierter Forschungsergebnisse auf Fehler zu überprüfen, könnte die Kapazitäten echter Wissenschaftler schnell überfordern.“

Eine Rezension von Miryam Naddaf in Nature beleuchtet letzte Woche den zunehmenden Einsatz von KI im Peer-Review-Prozess. „KI-Systeme verändern das Peer-Review-Verfahren bereits – manchmal mit Unterstützung der Verlage, manchmal unter Verstoß gegen deren Regeln. Verlage und Forscher testen KI-Produkte, um Fehler in Text, Daten, Code und Referenzen von Manuskripten zu identifizieren, Gutachter zu konstruktiverem Feedback zu führen und ihre Texte zu verbessern. Einige neue Websites bieten sogar komplette, KI-erstellte Rezensionen mit nur einem Klick an.“

Der Artikel zitiert Carl Bergstrom, Evolutionsbiologe an der University of Washington in Seattle. Er sagt, wenn Gutachter beginnen, sich auf KI zu verlassen, um den Großteil des Schreibens von Rezensionen zu überspringen, riskieren sie, oberflächliche Analysen zu liefern. „Schreiben ist Denken“, sagt Bergstrom.