XAI kann tiefere Einblicke in KI-Systeme bieten und somit zur deren Absicherung und Zertifizierung beitragen. Auch wenn eine volle Absicherung nur durch erklärbare KI eher unrealistisch ist, wird XAI als wertvolles Instrument angesehen. Die Fraunhofer-Institute IAO und IPA haben in einem Whitepaper den Status quo und die Potenziale von XAI analysiert.
Die Absicherung und Zertifizierung von Künstlicher Intelligenz (KI) sind essenziell, um das Vertrauen in die Leistungsfähigkeit von KI-basierten Produkten und Services zu gewährleisten. Eine vielversprechende Methode dafür bietet die erklärbare Künstliche Intelligenz oder XAI. Durch XAI können tiefere Einblicke in die Funktionsweise von KI-Systemen gewonnen werden. Denn Methoden der XAI können die Logiken, auf deren Basis Entscheidungen und Datenverknüpfungen in KI-Modellen erfolgen, nachvollziehbar machen.
XAI ist jedoch ein junges Forschungsfeld, dessen Potenziale und Herausforderungen noch nicht vollständig erschlossen sind. Forschende an den Fraunhofer-Instituten für Arbeitswirtschaft und Organisation IAO und für Produktionstechnik und Automatisierung IPA haben deshalb den aktuellen Stand sowie die Potenziale von XAI im Kontext der Absicherung und Zertifizierung von KI analysiert und ihre Ergebnisse in einem neuen Whitepaper veröffentlicht.
XAI könnte erheblichen Mehrwert für die Entwicklung sicherer KI-Systeme bieten. Bereits im frühen Entwicklungsstadium können XAI-Methoden genutzt werden, um Fehler und Verzerrungen (Biases) in der Modellentwicklung zu identifizieren und das Verständnis der zugrunde liegenden Datenbasis zu verbessern. In späteren Entwicklungsphasen kann mittels XAI überprüft werden, ob das trainierte KI-Modell und die zugehörige Datenbasis rechtlichen Vorgaben und relevanten Normen entsprechen. In diesem Schritt könnte XAI ebenfalls genutzt werden, um offensichtliche Zusammenhänge im KI-Modell erkennbar zu machen, die dann wiederum als Grundlage der Zertifizierung des Modells dienen kann. Im Schadensfall kann XAI helfen, die rechtliche Verantwortung zu klären. In der Studie wurden die Potenziale von XAI für die gerade genannten Anwendungsfälle näher erforscht.
Eine umfassende Absicherung von KI durch XAI, insbesondere durch vollständige globale Erklärungen von Modellen, schätzen Expertinnen und Experten als unrealistisch ein. Die Vielzahl der Methoden und die Schwierigkeit, passende Tools für spezifische Anwendungsfälle auszuwählen, stellen Herausforderungen dar. Zudem sind viele Methoden für die Zielgruppen ungeeignet und schwer verständlich. Eine vollständige Erfassung aller relevanten Informationen, die zu einer KI-Entscheidung führen, wird als nicht erreichbar angesehen. Dennoch kann XAI einen positiven Beitrag zur Absicherung und Zertifizierung leisten – allerdings nur in Kombination mit menschlichen Prüferinnen und Prüfern.
Die Weiterentwicklung von XAI und deren Integration in Zertifizierungsprozesse erfordert eine interdisziplinäre Anstrengung. Eine stärkere Industrie- und Praxisorientierung könnte helfen, XAI-Methoden für bisher untererforschte Bereiche wie Zeitreihendaten oder Large Language Models (LLMs) zu entwickeln.
Nur durch die Zusammenarbeit von Forschung, Industrie und öffentlichen Akteuren können effektive und vertrauenswürdige Zertifizierungsstandards entwickelt werden, die den Herausforderungen moderner KI-Systeme gerecht werden und deren gesellschaftliche Akzeptanz fördern.
Fraunhofer-Institut für Arbeitswirtschaft und Organisation IAO