Verschiedene Verordnungen wie die Datenschutz-Grundverordnung (DSGVO) und die Verordnung über künstliche Intelligenz (KI-VO) formulieren Anforderungen an automatisierte Entscheidungsprozesse und KI-Systeme. Eine Frage, die in Folge dieser Vorschriften geklärt werden muss, ist, wie KI-Produkte überprüft werden sollen. Methoden aus dem Forschungsfeld Explainable Artificial Intelligence (XAI, dt.: erklärbare künstliche Intelligenz) werden häufig als mögliche Lösungen für solche Überprüfungen vorgeschlagen. XAI-Methoden bieten Chancen für Erkenntnisgewinne in der Forschung oder Modelloptimierungen in der Anwendung. Es gibt jedoch Limitationen und Probleme der Methoden, die einen sicheren und vertrauenswürdigen Einsatz in Bewertungsverfahren und für den digitalen Verbraucherschutz in Frage stellen.

Dieses Whitepaper zeigt aktuelle Probleme bei der nachgeschalteten (post-hoc) Berechnung von Erklärungen für KI-Systeme auf. Desweiteren werden die Implikationen dieser Probleme für Bewertungsverfahren und die technische Unterstützung des digitalen Verbraucherschutzes dargestellt. Die Publikation richtet sich an ein Fachpublikum mit Hintergrundwissen über KI im Allgemeinen und Erfahrungen im Bereich XAI. Hiermit sollen unter anderem Expertinnen und Experten, die in Gremienarbeit an praktischen Umsetzungen der Anforderungen der KI-VO arbeiten, sensibilisiert werden