SOFA @ re:publica
Wie ihr vielleicht schon auf unseren Kanälen in den Sozialen Medien festgestellt habt, ist das SOFA Team diese Woche in Berlin bei der re:publica – der Messe für die digitale Gesellschaft und wir berichten für euch live vor Ort. Dieses alljährliche Festival findet heuer von 27. bis 29. Mai statt und hat dieses Jahr das Motto „Who cares?“. Jeder Tag hier ist vollgepackt mit Vorträgen und einige davon wollen wir euch etwas näherbringen.
Die sechs großen Themenfelder, die auf der re:publica behandelt werden sind: Politik & Gesellschaft, Medien & Öffentlichkeit, Wissenschaft & Technologie, Wirtschaft & Arbeit, Kunst & Kultur sowie Bildung & Lernen. Und genau zu diesem letzten Programmpunkt habe ich heute den Vortrag „Wir haben ChatGPT zum Abi geschickt“ vom Autor und Redakteur Christian Schiffer besucht. Christian Schiffer behandelt vor allem die Themen Netzpolitik, Netzkultur und digitale Medien und arbeitet beim Bayrischen Rundfunk. Viele seiner Artikel setzen sich mit Künstlicher Intelligenz, allen voran dem Programm ChatGPT von OpenAI auseinander und er steht dieser Technologie durchaus kritisch gegenüber. Außerdem hat er ein Buch mit dem klingenden Titel „Die Wahrheit ist (n)irgendwo da draußen: Was der neue Ufo-Hype über uns Menschen verrät“ geschrieben.
Künstliche Intelligenz im Praxistest
Schon zuvor wurde ChatGPT bei auf Herz und Nieren geprüft und das Programm musste zum Beispiel ein Jura Examen in Minnesota schreiben. Auch ein amerikanischer Medizin Test wurde der KI vorgelegt. Jedoch sind US-amerikanische Tests oft standardisiert und beinhalten Multiple Choice Fragen. Die Prüfungsaufgaben bei einer Matura bzw. dem Abitur werden aber anders gestellt und erfordern offene Antworten. Für sein Experiment hat Christian Schiffer ChatGPT den ultimativen „Endgegner“ Test für Schüler:innen in Österreich und Deutschland vorgelegt: er hat diese KI Software das bayrische Abitur, sprich das Äquivalent zur österreichischen Matura schreiben lassen. Um diesen Praxistest durchzuführen, hat Herr Schiffer mit den Computerlinguist:innen vom AI & Automation Lab beim Bayrischen Rundfunk zusammengearbeitet. Das Team hat dann der gratis Version, ChatGPT 3.5 die Originalfragen des bayrischen Abiturs aus dem Jahr 2022 präsentiert. Die KI musste Prüfungsfragen in den Fächern Deutsch, Mathematik, Informatik, Geschichte und Ethik beantworten. Lehrer:innen von bayerischen Gymnasien haben anschließend diese Abschlussprüfung korrigiert und bewertet. Und wie hat sich die Software nun geschlagen? Kann sie mit den deutschen Schüler:innen mithalten oder diese sogar übertreffen?
Das Ergebnis
Die kurze Antwort zuerst: eigentlich nicht. Insgesamt waren die Bewertungen eher ernüchternd. In Deutsch hat die KI nur ein Drittel der ersten Aufgabestellung beantwortet und die zweite Frage mangels Vorwissen gänzlich unbeantwortet gelassen. Die Note vom Deutsch Lehrer Patrick Dorn hierfür war eine 5+, wobei zu erwähnen ist, dass in Deutschland die schlechteste Note eine 6 ist. Sein Urteil: mangelhaft. In Mathematik gab es eine 4- und in Geschichte eine passable 3 +. Man sollte meinen, dass die KI in Informatik eine tolle Leistung abliefern kann. Jedoch bewertet der Lehrer Hermann Kees die Leistung mit einer 5. ChatGPT hat beim Programmieren keine Kreativität gezeigt, hat Programmiersprachen vermischt und auch das Wissen in den Reproduktionsaufgaben schlecht wiedergegeben. Zur Verteidigung merkte der Informatik Lehrer an, ChatGPT sei ja auch nicht vorbereitet gewesen. Schüler:innen lernen für diese Abschlussprüfungen lange im Vorhinein. Zu guter Letzt meint der Gymnasiallehrer Winfried Kober, dass die KI in Ethik nur eine 4- verdient hat, weil sie „um den heißen Brei herumgeredet hat“ und von zwei Fragestellungen bloß eine beantwortet hat. Der Lehrer ergänzt, das sei ein klassischer Schülerfehler. Alles in allem hat ChatGPT nicht bestanden.
Das große Aber
Die teilnehmenden Gymnasiallehrer waren von diesem Resultat nicht überrascht. Christian Schiffer meint aber, dass dieses Ergebnis nur das widerspiegelt, was er bereits zuvor über die KI wusste. ChatGPT ist „nur so schlau, wie die Frage, die man ihm stellt“. Da man der KI die originalen Prüfungsfragen vorgelegt und die Fragen nicht so gestellt hat, wie diese Software sie verlangt – also „gepromptet“ hat, war das Ergebnis mangelhaft. Hätte man aber „mit der KI geredet, damit sie einen versteht“ und hätte man „kluge Fragen“ gestellt, hätte sie gute Chancen gehabt. Schiffer sagt, bei ChatGPT ist nichts automatisch und „man kriegt das raus was man reinsteckt“. Doch das war nicht das Ende des Experiments. Seit kurzem gibt es die kostenpflichtige neue Version – ChatGPT 4.0 und der Test wurde mit den Fragen des bayrischen Abiturs 2023 wiederholt. Die Weiterentwicklung der Software und die Geschwindigkeit dieser waren enorm und die KI konnte ihre Note in jedem Fach verbessern. Schiffer ergänzt, dass er diese schnelle Entwicklung als beängstigend empfindet. Außerdem kritisiert er, dass diese bezahlte Version – sie kostet 20 € im Monat – nur für manche Schüler:innen zur Verfügung stehen wird und hier die soziale Gerechtigkeit leiden wird. Wohlhabendere Schüler:innen werden die bessere KI Version, also den „besseren Nachhilfelehrer“ haben und daher besser abschneiden. Doch Christian Schiffer bleibt dabei: die beste Antwort und die beste Arbeit, bekommt man mit dem besten Prompt, unabhängig von der Version.
Wird jetzt alles leichter?
Da sich ChatGPT so rasant verbessern konnte und in so kurzer Zeit „dazugelernt“ hat, bedeutet das, dass Schüler:innen es zukünftig viel einfacher haben werden? Schiffer vergleicht das mit dem Taschenrechner, den man an Schulen bis heute, ab einer gewissen Stufen, verwenden darf. Die Technik löst nicht alle Probleme, die Anforderungen werden nur größer und man wird mehr gefordert. Er sagt, „die Aufgaben haben sich an die Situation angepasst“. Und so könnte sich ein Schulalltag mit KI auch weiterentwickeln. Es geht nicht darum Künstliche Intelligenz zu verbieten, zu verteufeln, sie zu ignorieren. Sondern darum den Schüler:innen beizubringen, wie sie am besten damit umgehen können und wie sie die besten Antworten rausbekommen. Auch das ist eine Herausforderung und auch das will gelernt sein.
Und die Nutzer:innen?
Im Publikum sitzen auch einige Schüler:innen, die an der gleichzeitig stattfindenden TINCON Messe teilnehmen. Ein paar von ihnen stellen Christian Schiffer spannende Fragen, zum Beispiel wie die Schulen die KI den verbieten könnten oder warum man bei dem Test die Abitur Fragen aus zwei verschiedenen Jahren verwendet hat. Viele von ihnen sind gekommen, um zu hören, wie sich ihr schulisches Dasein verändern könnte. Ich habe nach dem Vortrag kurz mit der Schülerin Sophie aus Berlin gesprochen. Sie hat bisher noch nicht viel mit ChatGPT gearbeitet und ist sich auch nicht sicher, ob sie das in Zukunft tun möchte. Eine Gruppe von drei Jungs aus Berlin sieht das anders und hat sich bereits Hausarbeiten von der KI schreiben lassen.
Grenzen der KI
Viele von euch haben bestimmt auch selbst schonmal eine Version von ChatGPT von OpenAI ausprobiert oder ihr nutzt sie sogar regelmäßig, um euch beim Studium zu unterstützen. Zweifelsohne kann KI-Technologie die Arbeit erleichtern oder zumindest unterstützen. Jedoch hat sie im Moment auch noch ihre Grenzen und wir sollten uns noch nicht unkritisch darauf verlassen. Wie Christian Schiffer in seinem Artikel „Warum erzählt KI so viel Bullshit? Und was kann man dagegen tun?“ beschreibt, fehlt dieser Technologie unter anderem der gesunde Hausverstand. Außerdem liefert die KI zurzeit teilweise Informationen, die nicht stimmen können und tatsächlich falsch sind. Wenn ihr die Fakten also nicht anderweitig überprüft, lauft ihr Gefahr, Fake News zu verbreiten.
Hinzu kommt, dass die KI von Vorurteilen belastet ist, schließlich basiert ihr Wissen auf dem, was ihr die Menschen beigebracht haben. Wie David Beck in der Tagesschau der ARD beschreibt, ist die KI leider nicht so neutral und vorurteilsfrei, wie wir das gerne annehmen würden. Nicht nur, dass sie von vorrangig männlichen Entwicklern kreiert wurde, ihr Wissen basiert auch auf der Geschichte und diese wurde von Männern aus meist westlichen Kulturkreisen geschrieben. Weiters werden ChatGPT und Co täglich mit Informationen von den User:innen gefüttert und die sind nun mal menschlich und daher auch nicht frei von Vorurteilen. Die KI lernt jeden Tag durch alles, was wir ihr einspeisen dazu, entwickelt sich rasant weiter, aber hinterfragt ihr „Gelerntes“ nicht.
KI in Österreich
Solange man sich dieser Einschränkungen bewusst ist, spricht aber nichts dagegen, sich diese neue Technologie zu Nutze zu machen. Sicher wird die Künstliche Intelligenz unsere Welt nachhaltig verändern und auch den Bildungsbereich drastisch beeinflussen. Wie der Kurier schon Anfang des Monats berichtet hat, überprüft man in Österreich derzeit, ob Schülerinnen und Schüler in Zukunft weiterhin neben der mündlichen und schriftlichen Matura die derzeit verpflichtenden Vorwissenschaftliche Arbeiten (VWAs) schreiben sollen. Da natürlich viele Maturant:innen diese Arbeiten mit Hilfe von KI verfassen, was den Lerneffekte minimiert und was immer schwieriger zu beweisen sein wird, muss diese Überprüfung verändert werden. Kaum ein junger Mensch würde wohl nicht die KI zu Rate ziehen oder die Hausübung gänzlich „künstlich“ schreiben lassen. Das führt diese Art der Überprüfungen jedoch ad Absurdum. Sollen Lehrer:innen dann nur noch abtesten wie gut ihre Schüler:innen die künstliche Intelligenz nutzen können? Der Bildungsminister Martin Polaschek (ÖVP) diskutiert gemeinsam mit einer Expertengruppe, bestehend aus Schüler:innen, Lehrer:innen, Direktor:innen und anderen KI Expert:innen über eine Abschaffung oder Änderung dieses Aspektes der Matura.
Fazit
Mit Spannung können wir alle verfolgen, wie sich unsere Welt sowohl im privaten, beruflichen und schulischem Kontext verändern wird. Dass die KI aber nicht mehr aufzuhalten ist und einiges auf den Kopf stellen wird, ist eine Tatsache. Die re:publica ist auf jeden Fall eine großartige Veranstaltung am Puls der Zeit, die schonmal einen kleinen Ausblick darauf gibt. Freut euch in den nächsten Tagen auf viele Artikel und Videos zu diesem und anderen Themen auf der SOFA Website: https://www.sofa-magazin.at und auf den social network Kanälen: https://www.instagram.com/sofamagazin/ und https://www.linkedin.com/company/sofa-magazin/.