ArXiv verbietet Forschern die Einreichung KI-generierter Slop Papers

ArXiv, eine der angesehensten Plattformen für wissenschaftliche Preprint-Forschung, führt strengere Durchsetzungsmaßnahmen ein, um dem wachsenden Problem zu begegnen, dass minderwertige, KI-generierte Inhalte ihre Server überschwemmen. Die akademische Gemeinschaft ist zunehmend besorgt über Arbeiten, die erhebliche Mengen dessen enthalten, was Forscher als „KI-Slop“ bezeichnen – Text, der von großen Sprachmodellen ohne ordnungsgemäße menschliche Überprüfung, Verifizierung oder Qualitätskontrolle generiert wurde.

Die Plattform hat neue Disziplinarrichtlinien angekündigt, die Forscher für die Integrität ihrer Beiträge zur Rechenschaft ziehen sollen. Nach diesen erweiterten Richtlinien müssen Autoren, die Beiträge mit „unwiderlegbaren Beweisen“ dafür einreichen, dass sie die Ergebnisse der LLM-Generierung nicht angemessen überprüft haben, mit schwerwiegenden Konsequenzen rechnen. Zu diesen Beweisen gehören halluzinierte Verweise – Zitate auf nicht existierende Arbeiten oder Studien – und Meta-Kommentare, die versehentlich von Systemen der künstlichen Intelligenz hinterlassen wurden und bei der Bearbeitung hätten entfernt werden sollen.

Laut Thomas Dietterich, dem Leiter der Informatikabteilung von ArXiv, wird es Forschern, die wegen der Einreichung solch minderwertiger Arbeiten für schuldig befunden werden, für ein ganzes Jahr verboten, neue Arbeiten auf die Plattform hochzuladen. Dies stellt eine deutliche Steigerung der Moderationsbemühungen von ArXiv dar und zeigt das Engagement der Plattform für die Aufrechterhaltung wissenschaftlicher Standards. Die einjährige Sperre dient sowohl als Bestrafung als auch als Abschreckung für andere Forscher, die in ihren wissenschaftlichen Beiträgen Abstriche machen könnten.

Über das vorübergehende Verbot hinaus hat ArXiv eine zusätzliche Anforderung eingeführt, die zukünftige Einreichungen für Wiederholungstäter deutlich schwieriger machen wird. Sobald Forscher nach ihrer einjährigen Sperre wieder berechtigt sind, Arbeiten einzureichen, müssen sie sicherstellen, dass alle neuen Einreichungen zunächst an einem „seriösen, von Experten begutachteten Ort“ angenommen werden. Diese zusätzliche Anforderung hindert Forscher effektiv daran, ArXiv als primären oder einzigen Ort für die Veröffentlichung ihrer Arbeit zu nutzen, und zwingt sie dazu, sich einem strengen Peer-Review bei etablierten Fachzeitschriften zu unterziehen, bevor sie ihre Forschungsergebnisse auf der Preprint-Plattform veröffentlichen.

Dieser doppelte Strafansatz spiegelt die Ernsthaftigkeit wider, mit der ArXiv das Problem KI-generierter akademischer Inhalte betrachtet. Die Plattform hat ihren Standpunkt durch offizielle Stellungnahmen deutlich gemacht: Im Verhaltenskodex der Organisation wird ausdrücklich darauf hingewiesen, dass Autoren Verantwortung für die Inhalte übernehmen müssen, die sie unter ihrem Namen veröffentlichen. Durch die Unterzeichnung einer Einreichung erklären Forscher, dass sie jedes Element ihrer Arbeit gründlich geprüft und verifiziert haben, von der Methodik über Schlussfolgerungen bis hin zu Zitaten.

Der Schritt erfolgt zu einer Zeit, in der sich die akademische Gemeinschaft mit beispiellosen Herausforderungen im Zusammenhang mit künstlicher Intelligenz auseinandersetzt. Da große Sprachmodelle immer ausgefeilter und zugänglicher geworden sind, haben einige Forscher damit begonnen, sie zur Erstellung ganzer Abschnitte von Aufsätzen zu verwenden, manchmal ohne angemessene menschliche Aufsicht. Während KI-Tools beim Verfassen erster Inhalte, beim Organisieren von Ideen oder sogar bei der Literaturrecherche hilfreich sein können, können sie auch überzeugend klingende, aber völlig erfundene Informationen generieren – ein Phänomen, das als „Halluzination“ bekannt ist.

Das Problem halluzinierter Referenzen ist besonders akut geworden. Ein LLM könnte selbstbewusst eine Arbeit zitieren, die plausibel klingt, aber nie wirklich geschrieben wurde, oder Zitate von Forschern zuordnen, die diese Aussagen nie gemacht haben. Für ahnungslose Leser können diese falschen Zitate in die Irre führen und zukünftige Forschungen kontaminieren, die auf den betrügerischen Referenzen aufbauen. Darüber hinaus haben einige Forscher entdeckt, dass KI-generierte Metakommentare – interne Notizen oder Systemaufforderungen – versehentlich in den endgültigen Versionen der eingereichten Beiträge zurückgelassen wurden, was offensichtlich macht, dass der Autor den maschinell generierten Inhalt nicht ordnungsgemäß überprüft hat.

Der Durchsetzungsmechanismus von ArXiv basiert auf der Wachsamkeit der Community und der Überprüfung durch Moderatoren. Die Plattform ermutigt andere Forscher, verdächtige Arbeiten zu kennzeichnen, und das Moderatorenteam von ArXiv wird Behauptungen untersuchen, dass die Arbeiten Hinweise auf eine unzureichende LLM-Überprüfung enthalten. Angesichts der Menge an Beiträgen, die täglich bei ArXiv eingereicht werden – täglich gehen Tausende aus allen wissenschaftlichen Disziplinen ein – stellt dies ein bedeutendes Unterfangen dar, das sowohl technologische Lösungen als auch menschliches Urteilsvermögen erfordert.

Die Auswirkungen dieser Richtlinie gehen über einzelne Forscher hinaus. Universitäten, Forschungseinrichtungen und Förderagenturen müssen möglicherweise überdenken, wie sie Forschungsergebnisse bewerten und Anreize setzen. Wenn Forscher mit erheblichen Konsequenzen rechnen müssen, wenn sie KI-generierte Arbeiten an große Preprint-Plattformen senden, wird der Druck größer, strenge Standards einzuhalten. Dies könnte letztendlich dem gesamten wissenschaftlichen Unternehmen zugute kommen, da sichergestellt wird, dass die Forschungsaufzeichnungen zuverlässig und vertrauenswürdig bleiben.

Die Richtlinie wirft jedoch auch wichtige Fragen dazu auf, wie zwischen angemessenem Einsatz von KI-Tools und unangemessener Schlamperei unterschieden werden kann. Viele Forscher nutzen zu Recht KI-Schreibassistenten, um Klarheit, Grammatik und Organisation zu verbessern. Der Hauptunterschied liegt in der Überprüfung und Verantwortlichkeit – Forscher, die KI-Tools verwenden, sollten die Ergebnisse sorgfältig prüfen, alle Behauptungen auf Fakten überprüfen und sicherstellen, dass Zitate korrekt sind. Die Richtlinie von ArXiv richtet sich an diejenigen, die diese Überprüfungsarbeit offensichtlich nicht durchgeführt haben, und nicht an diejenigen, die KI als legitimes Forschungsinstrument verwenden.

Die Ankündigung stieß in der akademischen Gemeinschaft auf allgemeine Zustimmung, obwohl einige Bedenken hinsichtlich der Umsetzung und möglicher Fehlalarme äußerten. Wie können Moderatoren definitiv beweisen, dass ein Autor LLM-generierte Inhalte „nicht überprüft“ hat? Was ist mit Grenzfällen, in denen KI-generierter Text zufällig korrekt ist? ArXiv muss klare Richtlinien entwickeln und sein Moderationsteam ausreichend schulen, um diese Entscheidungen fair und konsistent zu treffen.

In Zukunft könnte diese Richtlinie andere akademische Plattformen und Zeitschriften dazu inspirieren, eigene Richtlinien für KI-generierte Inhalte festzulegen. Da künstliche Intelligenz zunehmend in den Forschungsprozess integriert wird, muss die akademische Gemeinschaft differenzierte Ansätze entwickeln, die das Potenzial der KI nutzen und gleichzeitig vor ihren Risiken schützen. Das entschlossene Vorgehen von ArXiv stellt einen wichtigen Schritt in diese Richtung dar und sendet eine klare Botschaft, dass Abkürzungen und Nachlässigkeit echte Konsequenzen haben und dass die Integrität der wissenschaftlichen Aufzeichnungen weiterhin an erster Stelle steht.