Messen zukünftig KI-Agenten unsere Kompetenzen?

Zukünftig messen KI-Agenten unsere Kompetenzen? Das ist nicht nur für das Bildungssystem revolutionär, sondern deutet enormes Business Potenzial für alle Unternehmen

Doch der Reihe nach:

Panos Ipeirotis, Professor an der New York University (NYU), teilte kürzlich einen interessanten Erfahrungsbericht zur Kompetenz-Messung durch KI (Link in der Slideshow unten erwähnt).

Wie viele (Hoch-)Schulen steht auch die NYU vor der Herausforderung, dass Kompetenzmessung mit KI völlig revolutioniert wird. Die so beliebten Arbeiten und Essays sind unbrauchbar geworden, weil Lernende mit KI in kurzer Zeit einen inhaltlich guten Text schreiben können, ohne auch nur den Ansatz des Inhaltes zu verstehen.

Die naheliegende Lösung ist: mündliche Prüfungen. Doch diese sind in der Vorbereitung, Durchführung und Nachbereitung sehr zeitintensiv.

Hier kommt KI ins Spiel.

Prof. Dr. Ipeirotis zeigt in seinem Erfahrungsbericht, wie KI-Agenten eingesetzt wurden, um mündliche Prüfungen skalierbar zu machen:

Ein relativ simples KI-Agenten System (auf Basis von ElevenLabs für Sprache und einem LLM für die Interviewlogik) führte die Studierenden durch ein strukturiertes Gespräch. Zuerst mussten sie ihr eigenes Projekt erklären und konkrete Entscheidungen begründen, wobei der Agent dynamisch vertiefende Rückfragen aus den jeweiligen Antworten generierte. Anschliessend folgte ein zweiter Teil mit Fallfragen bzw. Transferaufgaben aus den Kursinhalten.

Auf Basis der Antworten erstellte dann ein “Council” von drei KI-Agenten (Claude, Gemini und ChatGPT) ein qualitatives Feedback sowie eine Benotung, indem sie zuerst das Transkript eigenständig beurteilten und anschliessend untereinander korrigierten.

Als Back-up wurde die Prüfung per Audio und Webcam aufgezeichnet, doch sowohl die Prüfung als auch die Beurteilung fand rein durch die KI statt.

Resultat des Experiments: Die KI-Lösung war besser zu einem Bruchteil der Kosten

Erkenntnis 1: KI kostet 0.5% von dem, was ein Professor gekostet hätte

An diesem Experiment haben 36 Studierende teilgenommen. Bei einer durchschnittlichen Prüfungszeit von 25 Minuten hätte das für den Professor einen Aufwand von 15 Stunden bedeutet. Je nach Tagessatz wären so für die Hochschule schon nur für die Durchführung Kosten von ca. USD 2’000 - 4’000 entstanden. Die KI hat dieselbe Arbeit für USD 15 gemacht, inkl. Benotung und ausführliche, qualitative Rückmeldung.

Erkenntnis 2: KI kann nicht nur besser abfragen, sondern auch besser beurteilen

Gemäss dem Professor waren die Feedbacks und Beurteilungen besser als wenn er es gemacht hätte. So war das qualitative Feedback so spezifisch, handlungsorientiert und stark verknüpft mit tatsächlichen Prüfungsleistungen wie er selbst unter den Zeitrestriktionen nie hinbekommen hätte. Prof. Dr. Ipeirotis verglich auch die Benotung der KI mit seinem Eindruck. Dabei stellte er fest: die KI hat die Prüfungen konsistenter (und damit fairer) beurteilt, als er das getan hätte.

Das generelle Fazit vom Experiment: Die Lösung ist zukunftsfähig. Die Umsetzung hat noch etwas Verbesserungspotenzial (Stimme der KI, Randomisierung der Fragen, Zeitbudget in der die Geprüften Antworten können etc.)

Der Take-Away über das Bildungssystem hinweg:

Die Auswirkung von dieser Innovation auf den Bildungsmarkt ist bereits enorm. Und dabei dürfen wir nicht vergessen, dass der Bildungsmarkt nur schon im DACH-Raum ungefähr EUR 275 Mrd. gross ist.

Doch dieses Experiment zeigt das Potenzial von KI über den Bildungsmarkt hinaus. Ähnliche Anwendungen sind überall dort denkbar, wo wir auf Basis von Sprache eine Diagnose stellen wollen: Sei dies im Rekrutierungsprozess, in der Kultur- bzw. Organisationsentwicklung, im Audit-Prozess, im (Sales) Coaching und vielem mehr.