Datum 06.05.2021

Künstlich Intelligente (KI) Systeme spielen eine immer größer werdende Rolle als automatisierte Entscheidungs- und Kontrollsysteme in verschiedenen, zum Teil sicherheitskritischen Anwendungsbereichen. Hierzu gehören u. a. autonome Fahrzeuge und biometrische Zugangskontrollsysteme. Neben den immensen Chancen, die sich durch den Einsatz von KI-Technologie eröffnen, ergeben sich gleichzeitig zahlreiche, qualitativ neue Probleme hinsichtlich u. a. der Sicherheit, der Robustheit und der Vertrauenswürdigkeit. Um diesen Problemen angemessen zu begegnen, wird eine Rahmenstruktur für die Prüfung von KI-Systemen benötigt, die neben Prüfstrategien und -werkzeugen auch entsprechende Standards umfasst. Diese Strategien, Werkzeuge und Standards sind aktuell noch nicht hinreichend für den praktischen Einsatz verfügbar.

Basierend auf einem gemeinsam vom BSI, vom Verband der TÜVs (VdTÜV) und vom Fraunhofer HHI ausgetragenen internationalen Expertenworkshop im Oktober 2020 wurde nun, zusammen mit zahlreichen nationalen und internationalen Experten, ein Whitepaper zum aktuellen Stand, offenen Fragen und zukünftig wichtigen Aktivitäten bezüglich der Prüfbarkeit von KI-Systemen verfasst. Das Whitepaper beleuchtet verschiedene Aspekte der Sicherheit von KI-Systemen, u.a. deren Lebenszyklus, Online-Lernverfahren, qualitativ neue Angriffe, mögliche Verteidigungsmaßnahmen, Verifikation, Prüfung, Interpretation und Standardisierung. Bei all diesen Betrachtungen wird deutlich, dass es zahlreiche Zielkonflikte zwischen den gewünschten Eigenschaften eines operativen KI-Systems einerseits und den Eigenschaften des KI-Modells, der ML-Algorithmen, der Daten und weiteren Randbedingungen gibt, die letztlich die Skalierbarkeit und Generalisierbarkeit von sicher prüfbaren KI-Systemen beschränken. Basierend auf zwei grundlegenden Strategien zur Verbesserung der Prüfbarkeit, Sicherheit und Robustheit von KI-Systemen, d.h. einerseits der Schaffung verbesserter Rahmenbedingungen und andererseits der erhöhten Investition in Forschung und Entwicklung, werden Lösungsvorschläge und -ideen zur Mitigation der bekannten Probleme benannt, bewertet und Folgeschritte vorgeschlagen.