KI – aber sicher!

In dieser Sitzung erhaltet ihr aktuelles praktisches Wissen über die Bewertung von Softwarearchitekturen mit Schwerpunkt auf KI-basierter Software, im Hinblick auf Sicherheits- und Datenschutzanforderungen und darüber, wie man eine unsichere Architektur mit Hilfe von Schutzmaßnahmen und Best Practices verbessern kann, die aus dem OWASP AI Security and Privacy Guide und den aktuellen Top 10 der Sicherheitsprobleme von maschinellen Lernsystemen (OWASP Machine Learning Security Top 10) abgeleitet sind.

Wir werden Schwachstellen von maschinellen Lernsystemen betrachten, wie: Input Manipulation Attack, Data Poisoning Attack, Model Inversion Attack, Membership Inference Attack, Model Theft, AI Supply Chain Attacks, Transfer Learning Attack, Model Skewing, Output Integrity Attack, und Model Poisoning

... und Sicherheits- und Datenschutzziele und -techniken, wie: Nutzungsbeschränkung und Zweckbestimmung, Fairness, Datenminimierung und Speicherbegrenzung, Transparenz, Datengenauigkeit, Zustimmung.

In Breakout-Gruppen werden praktische Übungen mit Open-Source-Tools zur Sicherheitsanalyse von Architekturen und deren Implementierungen durchgeführt, darunter SonarQube und das Threat Dragon Tool. Ihr schlüpft in die Rolle des Angreifers und greift die (bewusst unsicher entwickelte) Webanwendung „Google Gruyere“ an. Auf diese Weise erwerbt ihr konzeptionelle und praktische Kenntnisse der IT-Sicherheit auf Architekturebene und im Kontext der Softwareentwicklung.

Als Werkzeug zum praktischen Einsatz in der Sicherheitsanalyse von Web-basierten Architekturen dient u. a. die Penetration-Testing-Infrastruktur Kali Linux.

Das Tutorial besteht zu ca. 50 Prozent aus praktischen Aktivitäten, die ihr in Kleingruppen unter Anleitung des Dozenten durchführt. Durch das praktische und interaktive Konzept könnt ihr Softwaresicherheit aus eigener Anschauung erleben.

Maximale Teilnehmendenzahl: 20

Zielpublikum: Architekten, Entwickler, QA-Manager, Projektleiter
Voraussetzungen: Grundlegendes Verständnis von Softwaresicherheit
Schwierigkeitsgrad: Basic