KI-Detektor von Turnitin: höher

Sie haben noch /5 Artikel übrig.Eröffnen Sie ein kostenloses Konto oder melden Sie sich an.

Laut Annie Chechitelli, Chief Product Officer des Unternehmens, weist das KI-Tool zur Schreiberkennung von Turnitin eine höhere Falsch-Positiv-Rate auf, als das Unternehmen ursprünglich behauptet hatte. Als das Produkt im April auf den Markt kam, gab Turnitin bekannt, dass die Falsch-Positiv-Rate weniger als 1 Prozent beträgt. Nun hat das Unternehmen die neue Falsch-Positiv-Rate auf Dokumentebene nicht bekannt gegeben.

„Wir bleiben unserer Strategie treu, gegenüber der Bildungsgemeinschaft transparent über unsere Erkenntnisse und Fortschritte zu sein“, schrieb Chechitelli. Turnitin führt die Diskrepanz auf den Unterschied zwischen den Tests, die das Unternehmen im Labor durchgeführt hat, und den Erfahrungen der Benutzer in der realen Welt zurück.

Wenn das KI-Erkennungstool von Turnitin meldet, dass die Wahrscheinlichkeit, dass eine Schrift von einer Maschine geschrieben wurde, bei weniger als 20 Prozent liegt, ist die Häufigkeit falsch positiver Ergebnisse höher, heißt es in der Erklärung. Jetzt fügt das Unternehmen ein Sternchen mit einer Meldung hinzu, die Zweifel an solchen Ergebnissen aufkommen lässt.

Das KI-Erkennungstool von Turnitin erstellt zwei Statistiken – eine auf Dokumentebene und eine auf Satzebene. Laut Chechitelli liegt die Falsch-Positiv-Rate auf Satzebene bei etwa 4 Prozent.

Doch das Tool scheint besondere Probleme mit Texten zu haben, die KI-generierte und von Menschen geschriebene Prosa vermischen. Der Aussage zufolge befinden sich beispielsweise mehr als die Hälfte (54 Prozent) der falsch positiven (von Menschen geschriebenen) Sätze direkt neben von KI geschriebenen Sätzen. Mehr als ein Viertel (26 Prozent) der falsch positiven Sätze befinden sich zwei Sätze von einem KI-geschriebenen Satz entfernt.

Das Unternehmen plant, in den kommenden Monaten weitere Experimente und Tests durchzuführen.

„Im Rahmen unserer kontinuierlichen Verbesserung, während sich [große Sprachmodelle] und das KI-Schreiben weiterentwickeln, können sich unsere Metriken ändern“, schrieb Chechitelli. „Wir verstehen, dass wir uns als Bildungsgemeinschaft auf Neuland befinden.“

Da Institutionen mehr Wert darauf legen, Studierende zu den bestmöglichen Ergebnissen nach dem Abschluss zu führen, bieten sie Karriereservices an

Kartik Chandra richtet eine Botschaft an den Jahrgang 2023: Ihre Worte sind jetzt wichtiger denn je.

Die Technologie verspricht, benachteiligten Schülern dabei zu helfen, die für den Erfolg erforderlichen Fähigkeiten zu entwickeln.

Akademiker, die eine Pause vom Feuerwerk an KI-Informationen und heißen Ideen suchen, starten Sommerworkshops.