Bundesamt für Sicherheit in der Informationstechnik

M 3.94 Messung und Auswertung des Lernerfolgs

Verantwortlich für Initiierung: IT-Sicherheitsbeauftragter, Personalabteilung

Verantwortlich für Umsetzung: Personalabteilung, Vorgesetzte

Die Lernerfolge im Bereich Informationssicherheit sollten zielgruppenbezogen gemessen und ausgewertet werden, um festzustellen, inwieweit die in den Sensibilisierungs- und Schulungsprogrammen beschriebenen Ziele erreicht sind (siehe M 2.312 Konzeption eines Schulungs- und Sensibilisierungsprogramms zur Informationssicherheit und M 2.557 Konzeption eines Schulungsprogramms zur Informationssicherheit ). Dadurch ist es möglich, ein detailliertes Gesamtbild zu erhalten und so punktuelle Korrekturmaßnahmen durchzuführen, wenn einzelne Ziele nicht erreicht wurden.

Die Personalabteilung verfügt oft über gute Erfahrungen in der Auswertung von Schulungsmaßnahmen. Daher ist es empfehlenswert, sich an dieser Vorgehensweise zu orientieren und sich dafür mit der Personalabteilung abzustimmen.

Um den Lernerfolg zu testen, können die folgenden Möglichkeiten genutzt werden:

Dokumentation durchgeführter Sensibilisierungs- oder Schulungsmaßnahmen

Die Dokumentation aller Maßnahmen inklusive einer Kurzbeschreibung der Inhalte und der Durchführungszyklen geben einen ersten Überblick über den Umfang und die betroffenen Zielgruppen der durchgeführten Aktivitäten.

Dokumentation der Teilnehmerzahlen an Sensibilisierungs- oder Schulungsmaßnahmen

Die Dokumentation der Teilnehmerzahlen von Schulungen oder die Anzahl der von Sensibilisierungsmaßnahmen erreichten Mitarbeiter pro Abteilung, Bereich, Standort, etc. liefern einen Hinweis auf die erzielte Durchdringung der Maßnahmen in der Institution.

Anzahl der Anfragen an Ansprechpartner in Sicherheitsfragen (siehe M 3.46 Ansprechpartner zu Sicherheitsfragen )

Wenn nach Schulungs- oder Sensibilisierungsmaßnahmen die Anzahl der Kontakte zu den Ansprechpartnern in Sicherheitsfragen steigt, kann das als Indiz für eine stärkere Sensibilität der Mitarbeiter gewertet werden, aber auch als Folge des gestiegenen Bekanntheitsgrades der Einrichtung.

Schulungsbewertungen

Einen ersten qualitativen Überblick über die Schulungserfolge geben standardisierte Schulungsbewertungsbögen, wie sie üblicherweise am Ende einer Veranstaltung durch die Teilnehmer ausgefüllt werden. Neben Fragen zum Ablauf, der Veranstaltungsorganisation oder der Vorgehensweise des Referenten können hier Fragen zur Nutzenbewertung durch die Teilnehmer eingearbeitet werden.

Test zum Schulungsabschluss

Während oder nach einer Schulungsveranstaltung durchgeführte Wissenstests sind in der Praxis erprobte Methoden zur Lernerfolgskontrolle. Angepasst auf die jeweiligen Veranstaltungsinhalte können dabei Fragen nach erlerntem Wissen, aber auch Fragen zur Einschätzung beschriebener Situationen die Grundlage bilden.

Wissenstest in zeitlichem Abstand

Um den Verlauf von Lernkurven nach Schulungsveranstaltungen zu ermitteln, können nach dem Ende einer Schulung zu festgelegten Zeitpunkten weitere Tests durchgeführt werden. Da hier ein direkter Bezug zur Veranstaltung fehlt, kann es schwierig sein, die Teilnehmer dazu zu motivieren, Wissensfragen zu beantworten. Um dem entgegenzuwirken, kann dieser Test auch in Quiz-Form durchgeführt werden, z. B. mit Preisen für die Teilnehmer.

Mitarbeiterbefragungen

Durch Mitarbeiterinterviews mit standardisierten Fragebögen können Informationen darüber gesammelt werden, ob auch nicht-schulische Sensibilisierungsmaßnahmen wirksam sind.

Anzahl von Regelverstößen

Eine weitere Variante zu bewerten, ob eine Maßnahme erfolgreich war, ist, die Anzahl von Regelverstößen vor und nach den Sensibilisierungsmaßnahmen zu zählen. Dazu können Verantwortliche auch bewusst und kontrolliert Sicherheitslücken platzieren und dann beobachten, wie Mitarbeiter damit umgehen. Hierzu eignen sich beispielsweise:

  • Fremdpersonen ohne Mitarbeiterausweis, die unbegleitet in der Institution herumlaufen,
  • DVD s, CD s oder USB -Sticks, die an verschiedenen Stellen in der Institution ausliegen,
  • E-Mails, die mit Anhang oder Links auf unbekannte Webseiten, aber mit vertraut klingenden Absenderadressen an die Mitarbeiter versendet werden oder
  • Türschließfunktionen, die blockiert werden.

Wichtig ist hierbei, die Ergebnisse nie als Fehlverhalten einzelner Mitarbeiter zu deuten, sondern als Ergebnisse von Gruppen.

Social-Penetration-Tests / Social-Engineering-Audits

Um einen Lernerfolg im Rahmen der Social-Engineering-Vorbeugung zu prüfen, empfiehlt es sich, Social-Penetration-Tests bzw. Social-Engineering-Audits durchzuführen. Hierbei wird in der Rolle eines externen Angreifers versucht, Fehlverhalten von Mitarbeitern auszunutzen und Informationen zu erlangen, mit deren Hilfe der Tester zu den vorgesehenen Angriffszielen kommt.

Diese Art von Audits sind jedoch immer umstritten, da Mitarbeiter, die ohne ihr Wissen als Angriffsziel ausgewählt wurden, die Auswertung nach einem erfolgreichen Angriff als Vertrauensbruch oder Bloßstellung ansehen könnten. Auf der anderen Seite liefern solche Audits gute Einblicke, inwieweit Informationssicherheit wirklich gelebt wird. Daher ist der Einsatz dieser Methode im Einzelfall zu prüfen und gemeinsam mit der Personalvertretung und dem Management abzuwägen.

Praktische Übungen

Als Alternative zu den beschriebenen Social-Penetration-Tests können auch praktische Übungen eingesetzt werden. Hier sind unterschiedliche Varianten möglich, die einen Überblick über das Sensibilisierungs- und Schulungsniveau geben. Im Nachgang zu Schulungen können Übungssequenzen aufgebaut werden, in denen Situationen spielerisch dargestellt sind, zum Beispiel ein Social-Engineering-Angriff. Die Aufgabe für freiwillige Teilnehmer aus der Gruppe würde darin bestehen, auf diesen Angriff zu reagieren. Eine anonyme Bewertung der Übung durch den Seminarleiter gibt Aufschluss über den Lernerfolg vorangegangener Maßnahmen.

Tools und Spiele

Lernspiele oder -tools jeglicher Art bieten in den meisten Fällen ebenfalls die Möglichkeit, Spielergebnisse oder Ergebnisentwicklungen auszuwerten.

Prüffragen:

  • Wird der Lernerfolg von Sensibilisierungs- und Schulungsprogrammen quantitativ und qualitativ überprüft?

Stand: 14. EL Stand 2014