Navigation und Service

Projekt P464

Die Sicherheit von Systemen basierend auf Künstlicher Intelligenz (KI) ist ein aktiver und schnelllebiger Forschungsbereich. Hinsichtlich der systematischen Absicherung und Prüfung von KI-Systemen bestehen derzeit noch viele offene Fragen und ungelöste Probleme. Im Rahmen des Projektes "Sicherheit von KI-Systemen: Grundlagen" hat das BSI mehrere Studien zu diesem Themenkomplex in Auftrag gegeben.

Ziele waren, den aktuellen Stand der Forschung zu erfassen, Handlungsempfehlungen auf Basis der Literatur abzuleiten und die Lesenden für offene Probleme der Forschung zu sensibilisieren. Die Studien werden vom BSI unter anderem als Grundlage für Beratungsdienstleistungen und die Entwicklung von Prüfkriterien für KI-Systeme verwendet. Insgesamt wurden drei Studien durchgeführt:

  1. Security of AI-Systems: Fundamentals - Adversarial Deep Learning In dieser Studie hat das BSI die Sicherheit von Neuronalen Netzen untersucht. Ein Ergebnis der Studie ist ein Literatur-basierter Handlungsleitfaden in dem Maßnahmen gegen Evasion-, Poisoning-, Backdoor- und Privacy-Angriffe sowie Methoden der Zertifizierung und Verifikation von Neuronalen Netzen vorgestellt und bezüglich Limitationen bewertet werden.
  2. Security of AI-Systems: Fundamentals - Provision or use of external data or trained models Die Studie beschäftigt sich ebenfalls mit Sicherheitseigenschaften von Neuronalen Netzen. Der Schwerpunkt liegt jedoch auf Situationen, bei denen Daten oder Modelle aus externen Quellen verwendet oder für externe Quellen bereitgestellt werden. So ist ein Schwerpunkthema zum Beispiel das sogenannte "Transfer-Learning". Auf Grundlage der Literatur und praktischen Untersuchungen werden offene Herausforderungen auf dem Forschungsgebiet identifiziert. Darüber hinaus enthält die Studie Empfehlungen zur Verbesserung der Sicherheit von Systemen des maschinellen Lernens und der damit verbundenen Entwicklungsprozesse.
  3. Security of AI-Systems: Fundamentals Security Considerations for Symbolic and Hybrid AI Die Publikation beschäftigt sich mit Sicherheitseigenschaften von symbolischer KI und hybriden KI-Systemen, bei denen symbolische KI mit anderen KI-Methoden (z.B. Neuronalen Netzen) verknüpft wird. Die Studie erfasst den aktuellen Stand der Forschung mit einem Fokus auf sicherheitsrelevante Aspekte.