KI korrigiert Klausuren

«Trainingsdaten für KI sind das Gold des 21. Jahrhunderts», sagt der Informatikstudent Nicola Dall’Acqua. Während er im elften Stock des Fachhochschulturms der OST in St.Gallen sitzt, verheissen die Wolken, die sich über dem Westen von St.Gallen in gräulichen Nuancen aufbäumen, selbst eine gewisse Goldgräberstimmung. Vor sich hat er einen Laptop mit dem PDF seiner Bachelorarbeit, die er zusammen mit Sylvester Homberger für die ETH verfasst hat.

Hintergrund ist, dass die ETH der Schweizer KI Apertus beibringen will, handschriftliche naturwissenschaftliche Zeichensysteme zu erkennen. Bei Apertus handelt es sich um das vollständig offene, transparente und mehrsprachige Modell, das Forschende der EPFL, der ETH Zürich und des Schweizerischen Supercomputing-Zentrums CSCS in Lugano entwickelt haben.

Nicola Dall’Acqua arbeitet neben seinem berufsbegleitenden OST-Studium am ETH AI Center und hat Berührungspunkte zu Apertus. Sein Vorgesetzter, Dr. Gerd Kortemeyer, fragte ihn, ob er in seiner Bachelorarbeit einen Beitrag zur Weiterentwicklung der Schweizer KI leisten wolle. Sein Kommilitone Sylvester Homberger, der neben seinem Studium bei PostFinance als Informatiker tätig ist, war auf der Suche nach einem Thema – und so fanden sie zusammen.

Fraglich bleibt, welche Algorithmen und Trainingsdaten bei den Modellen von OpenAI, Anthropic oder Google am Werk sind. Aufgrund dieser Entwicklung verfolgen zunehmend mehr Dozierende den Ansatz, dass Studierende im ersten Jahr mit Papier und Bleistift den Lösungsweg herleiten müssen. «Damit sollen sie unter Beweis stellen, ob sie die grundlegenden Konzepte verstanden haben», sagt Kortemeyer. Doch die Bewertung von hunderten handschriftlichen Prüfungen ist mit grossem Aufwand verbunden. «Die KI soll die Funktion einer zusätzlichen Hilfsassistenz übernehmen», sagt er. Sie korrigiert Prüfungen und verteilt Punkte, wobei Hilfsassistierende, Dozierende und Studierende weiterhin eingebunden werden. Die Note vergibt eine Professorin oder ein Professor. 

Die ETH hat bereits einen Automatismus entwickelt, der die Computerschrift in eine Art Handschrift umwandelt. Die Qualität ist auf den ersten Blick erstaunlich. Dall’Acqua dreht im OST-Sitzungszimmer den Laptop und zeigt ein Dokument, das handschriftlich aussieht. «Doch die Textzeilen sind gerade», sagt sein Kommilitone Homberger und fährt mit dem Finger der Zeile entlang. Jedes A sieht wie das andere aus. Die Software erzeugt bei gleichem Input immer das gleiche Ergebnis. Variabilität Fehlanzeige. Diese ist jedoch charakteristisch für die menschliche Handschrift: Schreibt ein Mensch, gibt es bei jedem Buchstaben feine Unterschiede. Zudem schreibt jede Person anders, sodass die Handschrift persönlich ist. «Unsere Forschungsfrage war, ob sich das Regelbasierte mittels generativer KI aufbrechen lässt», sagt Dall’Acqua. Zudem sollte ein wiederholbares und messbares Verfahren zur Beurteilung des Realitätsgrades von generierter Handschrift entwickelt werden.

In ihrer Bachelorarbeit haben die Studenten mithilfe generativer KI drei Ansätze verfolgt und getestet.

• Document Augmentation: Hierfür wurden KI-generierte handschriftliche Dokumente durch generative KI-Modelle bearbeitet, um die Handschrift realistischer zu gestalten, ohne den Inhalt zu verändern.
• Document Subsection Augmentation: Hierbei wurden nur die problematischsten Abschnitte – beispielsweise mathematische Formeln – von Dokumenten durch generative Modelle bearbeitet, um spezifische Aspekte wie die Darstellung von Formeln zu verbessern.
• Font Generation: Dieser Ansatz zielte darauf ab, neue handschriftliche Schriftarten mithilfe von generativer KI zu erzeugen, um die Variabilität der Handschriften zu erhöhen.

Homberger und Dall’Acqua unterzogen alle drei Ansätze einer Qualitätskontrolle. Damit sollte primär das Phänomen der Halluzinationen reduziert werden. «Halluzinationen sind im Bereich mathematischer Formeln ein Problem», sagt Homberger. Dall’Acqua zieht folgendes Fazit ihrer Arbeit: «Alle drei Ansätze sind interessant, liefern aber noch unzureichende Ergebnisse. Probleme wie die zu geraden Textzeilen bleiben bestehen.»