Fraunhofer-Institut für Arbeitswirtschaft und Organisation IAOKontrollraum für die KI
Künstliche Intelligenz
Wie lassen sich Anwendungen der Künstlichen Intelligenz im Berufsalltag überwachen? Und was braucht es, um im Zweifel korrigierend eingreifen zu können? Solche Fragen ergründen Forschende des IAT der Universität Stuttgart im Projekt »KI-Cockpit« – in drei spannenden Anwendungsfeldern.
Im Neurolabor des Fraunhofer IAO muss es heute schnell gehen: Gemüse wird geschnitten, Salatteller werden angerichtet, Burger gebraten. Die Finger macht sich dennoch niemand schmutzig, denn die Küche, in der hier geschuftet wird, existiert nur in der digitalen Welt. Sie ist die virtuelle Bühne eines Computerspiels, bei dem es darum geht, viele Aufgaben parallel zu bewältigen – per Tastendruck auf dem Controller.
Dass es sich nicht um ein normales Computerspiel handelt, verraten die zahlreichen Geräte, an die die Spielerin – oder besser: die Probandin – an diesem Nachmittag angeschlossen ist. Ein Gerät misst ihre Hirnströme, ein anderes ihren Puls, ein weiteres ihre Augenbewegungen. »Die Daten sollen uns zeigen, wie Gehirn und Körper arbeiten, während sie Aufgaben lösen, und wie ausgelastet unser Gehirn bei verschiedenen Arbeitsintensitäten ist«, sagt Dr. Nektaria Tagalidou. Die Psychologin leitet das Projekt »KI-Cockpit« am Institut für Arbeitswissenschaft und Technologiemanagement IAT der Universität Stuttgart gemeinsam mit dem Medieninformatiker Michael Bui. Zusammen wollen sie die Frage beantworten, wie der Mensch KI-Anwendungen in der betrieblichen Praxis kontrollieren und die Kontrolle über mehrere Prozesse behalten kann.
Eine Frage der Belastung
Die Versuche mit der virtuellen Fast-Food-Küche im Team »Applied Neurocognitive Systems« des IAT und des Fraunhofer IAO sind allerdings nur ein erster Schritt in Richtung einer Antwort. Die Erkenntnisse aus den physiologischen Daten sollen auch bei den Projektpartnern des »KI-Cockpits« Anwendung finden. Im Kern geht es dabei um die Frage, unter welchen Bedingungen Menschen am besten in der Lage sind, KI-Entscheidungen zu kontrollieren. Wie schnell sie eingreifen, wenn Algorithmen zu falschen Entscheidungen führen und es im Extremfall um die Sicherheit von Menschen geht.
»Wenn Menschen überfordert sind oder im Gegenteil dazu unterfordert, könnten sie eine potenziell gefährliche Situation entweder gar nicht wahrnehmen oder gedanklich abschweifen. Vor allem in sicherheitsrelevanten Branchen geht es darum, für die KI-Operatoren das richtige KI-Cockpit zu gestalten und damit einhergehend auch ihre kognitive Belastung zu berücksichtigen«, sagt Tagalidou.
Die Angst, die Kontrolle zu verlieren
Seit Algorithmen im Arbeitsalltag und im Privaten mehr und mehr Entscheidungen treffen, wird die Diskussion um die Kontrolle der Künstlichen Intelligenz lauter. Die Technologie schafft viele Möglichkeiten, schürt aber auch die Angst, die Kontrolle zu verlieren. Im Mai 2024 verabschiedete die Europäische Union das weltweit erste Regelwerk für Künstliche Intelligenz. Darin ist unter anderem festgelegt, dass KI-Systeme mit hohem Risiko – zum Beispiel bei kritischer Infrastruktur oder medizinischen Diagnosen – unter menschlicher Aufsicht arbeiten müssen. Außerdem sollen die Systeme für Anwenderinnen und Anwender transparent arbeiten. Genau darum geht es beim Projekt »KI-Cockpit«, das vom Bundesministerium für Arbeit und Soziales (BMAS) gefördert wird.
Oft ist bei menschlicher Kontrolle von einem imaginären »roten Knopf« die Rede, mit dem Menschen die Künstliche Intelligenz stoppen können. »Um diesen geht es auch bei uns, besonders bei zeitkritischen Entscheidungen«, sagt Bui. »Aber zusätzlich zum roten Knopf versuchen wir, noch weitere Kontrollsysteme zu entwickeln.« Diese seien wichtig, um herauszufinden, wie das autonome Arbeiten der KI kontrolliert und unter welchen Bedingungen es eingeschränkt werden kann.
Breite Anwendung
Gemeinsam mit der Hochschule Aalen und drei Projektpartnern entwickelt das Projektteam jeweils ein KI-Cockpit. »Unterschiedlicher könnten die drei Partner nicht sein, aber für alle ist das Cockpit hochrelevant«, sagt Tagalidou.
Das Unternehmen Chemistree bringt mit einer Plattform Arbeitssuchende und Arbeitgeber zusammen. In diesem Bereich kann auch eine KI zu Verzerrungen und Diskriminierungen führen. »Wenn die Menschen im Unternehmen über das Cockpit auf diskriminierende Prozesse hingewiesen werden, können sie die erforderlichen Maßnahmen ergreifen«, sagt Bui.
Eingreifen, wenn ein Fehler passiert
Bei Starwit Technologies geht es darum, eine KI-gestützte Verkehrsleitplanung für Kommunen zu entwickeln. Die Künstliche Intelligenz kann zum Beispiel Gefahrensituationen wie Gegenstände auf der Fahrbahn erkennen oder durch geschickte Verkehrslenkung dazu beitragen, Staus zu vermeiden. Im KI-Cockpit soll ein Mensch die Entscheidungen der KI nachvollziehen und kontrollieren können. »Nur dann kann er schnell manuell steuernd eingreifen, wenn ein Fehler passiert«, sagt Tagalidou.
Die Caritas Dortmund sucht nach Möglichkeiten in der Pflege, KI-Systeme einzusetzen, um die Beschäftigten bei der täglichen Arbeit zu unterstützen. Denkbar wären zum Beispiel Systeme, welche die aufgenommene Flüssigkeitsmenge der Bewohnerinnen und Bewohner eines Altenheimes registrieren, oder Algorithmen, welche die Essensbestellungen der Kundinnen und Kunden an deren individuelle Wünsche anpassen. »Auch hier ist Kontrolle besonders wichtig, weil bei Fehlern Menschen zu Schaden kommen können«, sagt Bui.
Ein KI-Cockpit sei vergleichbar mit einem Cockpit im Flugzeug. Auch dort liefen viele Prozesse automatisch ab. »Aber es braucht immer einen Piloten, der im Zweifelsfall eingreift«, sagt Tagalidou. Denn eine Kurskorrektur soll am Ende nur der Mensch vornehmen.
»Wir wünschen uns eine KI, die dem Wohl der Menschen dient«
Wie kontrollieren wir KI im unternehmerischen Alltag? So lautet die Kernfrage des Projekts »KI-Cockpit«. Doch was bedeutet das für die Projektpartner konkret? Wir haben sie gefragt.
Anett Hübner
Anett Hübner
Geschäftsführerin von Starwit Technologies
»Das Wichtigste bei einer KI sind nicht die Algorithmen, sondern die Trainingsdaten, mit denen sie gefüttert wird. Dafür müssen wir in Deutschland zunächst einmal die Hürde des Datenschutzes meistern, das ist bei uns der Knackpunkt.
Zum Glück haben wir in Carmel im US-Bundesstaat Indiana ein Testfeld, in dem wir unsere Verkehrsleitplanung erproben können. Carmel ist eine Stadt, die durch Verdichtung eine echte Innenstadt aufbauen und gleichzeitig Mobilität für alle effizient gestalten möchte. Hierzu werden unter anderem Kreisverkehre in der Verkehrsplanung intensiv genutzt, und gleichzeitig wird ein Maximum an Daten verwendet, um Entscheidungen zu treffen und Auswirkungen zu testen.
Diese Daten werden durch Verkehrskameras erhoben, und mit unserer Software können wir dort unsere Lösungen entwickeln. In Carmel untersuchen wir unter anderem, ob und wie es funktioniert, dass die KI Anomalien, etwa einen Unfall, registriert und dann automatisch geeignete Maßnahmen auslöst.
Das KI-Cockpit soll dafür sorgen, dass Menschen die Entscheidungen der KI nachvollziehen und kontrollieren können. Dafür wollen wir Autonomiestufen festlegen. Was muss der Pilot wie oft kontrollieren? Und in welchen Bereichen hat sich die KI über einen bestimmten Zeitraum als so zuverlässig erwiesen, dass sie allein arbeiten darf? Auch diese Autonomiestufen müssen wir immer wieder in Frage stellen, immer wieder nachjustieren. Ohne den Menschen funktioniert auch die KI-gestützte Verkehrsleitplanung nicht.«
Ansgar Funcke
Ansgar Funcke
Vorstandsvorsitzender der Caritas Dortmund
»Zur Caritas gehören 25 000 Einrichtungen. In ihnen arbeiten Menschen, zu 80 Prozent Frauen, die sich für eine besondere Tätigkeit entschieden haben. Sie arbeiten sehr nah am Menschen, ihnen bedeutet diese Mensch-zu-Mensch-Interaktion viel.
Bei den Themen Digitalisierung oder Künstliche Intelligenz reagieren manche daher abwehrend und denken reflexhaft: ›Oh Gott, ich möchte nicht, dass hier ein Roboter über den Flur fährt.‹ Für uns ist daher die Akzeptanz seitens der Mitarbeitenden von großer Bedeutung.
Gemeinsam mit der Hochschule Aalen haben wir einen Schlüssel gefunden, der ein Gamechanger sein kann: die partizipative Forschung. In unseren Modelleinrichtungen sind die Pflegenden die Expertinnen und Experten. Sie sagen, was sie brauchen, was funktioniert und was nicht. Und weil sie mitentscheiden können, schafft das sehr viel Akzeptanz. Wenn ich mit den Arbeitsgruppen spreche, bin ich immer wieder begeistert davon, wie sie sich austauschen, wie aufgeregt und positiv sie sind. Das ist Motivation pur.
Bislang stand die Digitalisierung in der Pflege nicht im Fokus. Wir arbeiten verstärkt daran, das zu verändern. Nicht, damit die Künstliche Intelligenz den Job übernimmt, sondern damit sie unseren Mitarbeitenden dabei hilft, ihren Job besser zu machen. Wir wünschen uns eine KI, die dem Wohl der Menschen dient.«
Rosmarie Steininger
Rosmarie Steininger
Geschäftsführerin von Chemistree
»Wir möchten im Einklang mit den KI-Gesetzen der Europäischen Union arbeiten. Das bedeutet, wenn unsere KI Bewerberinnen und Bewerber mit Unternehmen auf Personalsuche matcht, soll es möglichst fair zugehen. Menschen sollen die KI kontrollieren, damit diese keine Diskriminierungen verursacht.
Das wirft sehr viele Fragen auf. Welche Kriterien können wir nutzen, um Fairness zu messen? Was ist fair, und wer entscheidet darüber? Welche Abweichungen lassen wir zu?
Wir haben uns dafür entschieden, Daten, die laut Datenschutzgrundverordnung als hochsensibel gelten, nicht zu erheben. Daher bleiben uns als Fairnesskriterien Alter, Geschlecht und Muttersprache. In unserem KI-Cockpit wird dann zum Beispiel überprüft, ob der Anteil der Bewerberinnen und Bewerber einer Alterskohorte auch dem Anteil auf der Vorschlagsliste für eine offene Stelle entspricht.
Sollte es dort langfristig größere Abweichungen geben, ist das ein Hinweis darauf, dass etwas nicht stimmt. Dann müssen wir uns die Regeln und Daten, mit denen unsere Algorithmen arbeiten, genauer anschauen. Das System darf dann nicht mehr unbeaufsichtigt agieren.
Problematisch wird es nämlich, wenn eine Gruppe von Menschen systematisch benachteiligt wird. Das wird das KI-Cockpit verhindern.«