Neue Studie zu Chat-GPT: Gutachter erkennen KI-Texte nicht

Texte von künstlicher Intelligenz sind mittlerweile so gut, dass sie Gutachter täuschen können.

24. Oktober 2023, 23:39 | Von: Christian Hollmann

Die KI-Texte von Chat-GPT können Gutachter täuschen

Eine neue Studie zeigt, dass selbst erfahrene Gutachterinnen und Gutachter nicht immer zwischen wissenschaftlichen Arbeiten unterscheiden können, die von Menschen oder von künstlicher Intelligenz (KI) verfasst wurden. Die Studie wurde von einem Team aus Tiermedizinern der Stiftung Tierärztliche Hochschule Hannover (TiHo) und Forschenden aus verschiedenen europäischen Institutionen durchgeführt.

Nur die Hälfte der Texte wurden richtig erkannt

Für die Studie wurden 50 Abstracts und Einleitungen mit Referenzen für drei Forschungsbereiche der veterinärmedizinischen Neurologie generiert: Entzündungen des Gehirns, Epilepsie und kanine Geruchserkennung. Die Abstracts wurden von ChatGPT, einem KI-Sprachmodell, und von Menschen verfasst.

Die Abstracts wurden dann von 30 Gutachterinnen und Gutachtern bewertet, die sich auf veterinärmedizinische Neurologie spezialisiert haben. Die Gutachterinnen und Gutachter sollten anhand der Abstracts entscheiden, ob sie von einem Menschen oder von ChatGPT verfasst wurden.

Die Ergebnisse zeigten, dass die Gutachterinnen und Gutachter bei Abstracts, die von ChatGPT verfasst wurden, immer häufiger Fehler machten, wenn sie sich nicht auf den jeweiligen Forschungsbereich spezialisiert hatten. Bei Abstracts für den Bereich Epilepsie konnten die Gutachterinnen und Gutachter die Herkunft nur in 60 % der Fälle richtig bestimmen. Bei Abstracts für den Bereich kanine Geruchserkennung lag die Trefferquote sogar nur bei 50 %.

Gibt es bald mehr Plagiate?

Die Studie zeigt, dass KI-Sprachmodelle wie ChatGPT mittlerweile so gut sind, dass sie selbst erfahrene Gutachterinnen und Gutachter täuschen können. Wie können Wissenschaftler jetzt noch Plagiate erkennen? Wahrscheinlich reichen die herkömmlichen Methoden bald nicht mehr aus, um einen 100% selbst geschriebenen Text von einem KI-Text zu unterscheiden.

Quelle: Stiftung Tierärztliche Hochschule Hannover, 19.10.2023, Mensch oder ChatGPT? Unterschiede zwischen tiermedizinischen Fachartikeln schwer feststellbar.

Leadsleader ist eine spezialisierte Online-Marketing Agentur in den Bereichen SEO, SEO Beratung und Google Ads. Wir steigern die Sichtbarkeit Ihrer Website und reduzieren Ihre Google Ads Kosten. Zusätzlich bieten wir praxisnahe Live-Webinare an.

Autor

Christian Hollmann

SEO & KI Experte

Christian ist ein Spezialist für SEO und Künstliche Intelligenz. Er konzentriert sich darauf, Unternehmen zu helfen, ihre Online-Präsenz zu maximieren und zukunftsorientierte KI-Lösungen in ihre Marketingstrategien zu integrieren.