Veröffentlicht von ChatGPT, der Chat-Roboter der amerikanischen Firma OpenAI ist in voller Munde. Das Tool beantwortet mit Hilfe von künstlicher Intelligenz viele Fragen, die durch eine Google-Suche mühsam recherchiert werden müssen. Dabei ist die Rückmeldung in der Regel einfach verständlich, umfangreich und wer mit dem Chat-Bot schreibt bekommt das Gefühl, auf der anderen Seite säße ein Mensch. Damit das technisch funktioniert, musste das Programm zunächst umfangreich antrainiert werden. Dafür hat der Bot als Input sämtliche öffentlich verfügbaren Quellen des Internets durchforstet, von einfachen Websites ohne qualitativen Anspruch bis hin zu wissenschaftlichen Papern. Dass der Bot einem eine Menge Recherche-Arbeit abnimmt, sehen viele zu Recht als Vereinfachung der sonst aufwendigen Recherche. Klar, die eine oder andere Formulierung wirkt ab und zu etwas holprig, mit einem bisschen Nachbearbeiten lässt sich aber auch das überwinden. Nun kommen erste Stimmen auf, die sagen, dass sie klassische Recherche gar nicht mehr betreiben, da ihnen ChatGPT das vermeintlich abnimmt.
Ist die Recherche über ChatGPT mit klassischer Recherche vergleichbar?
Hier entsteht jedoch ein echtes Problem. Wer schon einmal eine wissenschaftliche Arbeit schreiben durfte, weiß, wie wichtig die Angabe von verlässlichen Quellen ist, um eine Aussage zu unterstützen. Das geht so weit, dass wissenschaftliche Paper besonders dann gut als Quelle geeignet sind, wenn sie ge-peer-reviewt sind und wenn es alternative Quellen gibt, die die Aussage reproduzierbar unterstützen. Fragt man ChatGPT, nachdem ein schöner Antworttext zu einer Frage ausgespuckt wurde, nach der Quelle für die Aussagen, kommt unter anderem Folgendes zurück:
ChatGPT gibt hier also an, verschiedene Quellen durchforstet zu haben, um eine Antwort zusammengebastelt zu haben. Trotzdem kann die KI aber die Quelle dazu selbst nicht mehr nachvollziehen, geschweige denn diese anzeigen. So bleibt es schwer und intransparent, die Qualität der Aussage zu überprüfen oder zu verifizieren. Bei recht einfachen Fragen lässt sich das durch eine unkomplizierte Google-Recherche recht schnell selbst noch einmal überprüfen. Wie sieht es jedoch bei komplexeren Sachverhalten aus? Zur Beurteilung der Seriosität einer Quelle sagt ChatGPT das hier:
Wer ChatGPT danach fragt, wird auf die Risiken der Nutzung hingewiesen
Wie selbstkritisch ist ChatGPT? Dieser Frage kann man einfach nachgehen, indem man ChatGPT selbst danach fragt:
Hier gibt ChatGPT drei Gefahren aus, die mit seiner Nutzung verbunden sein können. In der ersten Antwort gibt ChatGPT das Thema der Ungenauigkeit an und empfiehlt, die Inhalte noch einmal mit anderen Quellen abzuprüfen – ohne die Ursprungsquellen selbst zuverlässig angeben zu können. Wie viel Aufwand sich dadurch letztlich einsparen lässt, selbst noch einmal Quellen zu durchforsten, um einen vertrauenswürdig recherchierten Text zu erhalten, muss jeder für sich selbst entscheiden.
Unter Punkt 2 wird angegeben, dass der Informationsstand 2021 ist. Aktuelle Informationen lassen sich also nicht mit dem Tool erfragen und neue Erkenntnisse fließen in Sachverhalten ebenfalls nicht ein. Diesen Punkt kann man in diesem frühen Status des Tools meiner Meinung nach jedoch vernachlässigen, denn wir alle wissen, dass es sich aktuell noch um eine Test-Phase handelt. Ich gehe davon aus, dass mit der Zeit immer aktuellere Informationsstände realisiert werden. Das sollte man zum heutigen Zeitpunkt jedoch auf dem Schirm haben.
In Punkt 3 wird ein weiteres Problem genannt, das KIs aktuell noch aufweisen. Es gibt Verzerrungseffekte, sogenannte Bias, die beim Antrainieren der KIs entstehen können. Wenn beispielweise eine Bilderkennung mit vielen Gesichtern von Menschen der gleichen Hautfarbe konfrontiert wird, aber kaum mit denen einer anderen Hautfarbe, so können diskriminierende Effekte auftreten (ein Interview dazu hier, eine Dokumentation dazu hier).
Sollte ich den Chatbot also gar nicht benutzen?
Trotz der Risiken der Verwendung von ChatGPT, auf die ich hier hinweise, kann das Tool bei richtiger Verwendung eine echte Bereicherung sein. Durch die zahlreichen Quellen, die das Programm zur Anlernung erfasst hat, kann es eine hilfreiche Unterstützung beim Brainstorming zu einem Thema sein. Zu vielen Fragen werden wichtige und viele Aspekte kompakt ermittelt und ausgegeben. Außerdem wird der Text vorab gegliedert und Formulierungsvorschläge gemacht. So entsteht schnell ein Entwurf eines Textes, der eine entsprechende Nachbearbeitung erfordert (Quellen recherchieren, Formulierungen optimieren, etc.). Wer sich in einem Thema genügend informiert fühlt, kann sich so zusätzlich schnell Textbausteine generieren lassen, um einen umfassenderen Text zu verfassen.