BreAkIng Bad: Hacking the AI Act

BreAkIng Bad:

Hacking the AI Act

Ein gemeinsames Projektseminar mit dem Zentrum für interdisziplinäre Studienangebote (ISA) der Universität Hamburg im Wintersemester 2023 / 2024, gefördert durch Data Literacy Lehrlabor

 

Ein gemeinsames Projektseminar mit dem Zentrum für interdisziplinäre Studienangebote (ISA) der Universität Hamburg im Wintersemester 2023 / 2024, gefördert durch Data Literacy Lehrlabor

Zielsetzung der Lehrveranstaltung „Breaking Bad Hacking the AI Act“ war die kritische Auseinandersetzung der Studierenden mit dem EU AI-Act, welcher zum Zeitpunkt der Veranstaltung in der Entwurfsfassung vorlag. Die EU will mit dem AI-Act den Einsatz von künstlicher Intelligenz regulieren, um die Gesellschaft vor möglichen Risiken zu schützen. Um aufzudecken, ob und inwiefern der AI-Act dies erfüllen kann, haben die Teilnehmenden angelehnt an das Konzept des „Ethical Hackings“ Beratungskonzepte erstellt, die mögliche Schwächen im AI-Act wirtschaftlich ausnutzen und damit aufdecken könnten.

Konkret sollten KI-Lösungsansätze für fiktive Geschäftsszenarien entwickelt werden, die die Unschärfen und Interpretations-Möglichkeiten des EU AI-Acts adressieren. Diese Lösungsszenarien sollten in der Rolle eines fiktiven AI-Beratungsunternehmens erarbeitet und dem potenziellen Kunden vorgestellt werden. Diese sollten zeigen, wie der AI-Act mit minimalem Aufwand erfüllt wird und dabei wirtschaftlicher Profit und Inkaufnahme von gesellschaftlichem Risiko maximiert werden können.

In der ersten Phase der Lehrveranstaltung wurden Grundlagen zu den Themen künstliche Intelligenz, Regulatorik und digitaler Ethik mit Hilfe von Online-Kursen sowie in regelmäßigen Präsenztreffen vermittelt. In Workshops mit dem Transferpartner iDIGMA GmbH bekamen die Studierenden außerdem Einblicke in Unternehmenspraktiken wie Risikomanagement und die Operationalisierung von Gesetzen. Darauf aufbauend haben sie als „Advocatus Diaboli“ anhand eines konkreten KI-Systems eine Skizze für ein Beratungskonzept entworfen.

Die Beratungskonzepte wurden als Handreichung und Foliensatz ausgearbeitet. Daneben bestand auch die Möglichkeit, Prototypen für das KI-System mit Jupyter Notebooks zu entwickeln, Marketing-Kampagnen oder andere Hilfsmittel zu konzeptionieren oder detaillierte Profit-Risiko-Kalkulationen durchzuführen. Mit der Auflösung des „Advocatus Diaboli“-Szenario am Ende der Lehrveranstaltung konnten aus den identifizierten gesellschaftsschädlichen, aber legalen Praktiken des Beratungskonzepts Maßnahmen für einen verantwortungsvollen Umgang mit künstlicher Intelligenz abgeleitet werden.

Die Lehrveranstaltung wurde von Dr. Michaela Regneri und Lucas Memmert geleitet.

Zielsetzung der Lehrveranstaltung „Breaking Bad Hacking the AI Act“ war die kritische Auseinandersetzung der Studierenden mit dem EU AI-Act, welcher zum Zeitpunkt der Veranstaltung in der Entwurfsfassung vorlag. Die EU will mit dem AI-Act den Einsatz von künstlicher Intelligenz regulieren, um die Gesellschaft vor möglichen Risiken zu schützen. Um aufzudecken, ob und inwiefern der AI-Act dies erfüllen kann, haben die Teilnehmenden angelehnt an das Konzept des „Ethical Hackings“ Beratungskonzepte erstellt, die mögliche Schwächen im AI-Act wirtschaftlich ausnutzen und damit aufdecken könnten.

Konkret sollten KI-Lösungsansätze für fiktive Geschäftsszenarien entwickelt werden, die die Unschärfen und Interpretations-Möglichkeiten des EU AI-Acts adressieren. Diese Lösungsszenarien sollten in der Rolle eines fiktiven AI-Beratungsunternehmens erarbeitet und dem potenziellen Kunden vorgestellt werden. Diese sollten zeigen, wie der AI-Act mit minimalem Aufwand erfüllt wird und dabei wirtschaftlicher Profit und Inkaufnahme von gesellschaftlichem Risiko maximiert werden können.

In der ersten Phase der Lehrveranstaltung wurden Grundlagen zu den Themen künstliche Intelligenz, Regulatorik und digitaler Ethik mit Hilfe von Online-Kursen sowie in regelmäßigen Präsenztreffen vermittelt. In Workshops mit dem Transferpartner iDIGMA GmbH bekamen die Studierenden außerdem Einblicke in Unternehmenspraktiken wie Risikomanagement und die Operationalisierung von Gesetzen. Darauf aufbauend haben sie als „Advocatus Diaboli“ anhand eines konkreten KI-Systems eine Skizze für ein Beratungskonzept entworfen.

Die Beratungskonzepte wurden als Handreichung und Foliensatz ausgearbeitet. Daneben bestand auch die Möglichkeit, Prototypen für das KI-System mit Jupyter Notebooks zu entwickeln, Marketing-Kampagnen oder andere Hilfsmittel zu konzeptionieren oder detaillierte Profit-Risiko-Kalkulationen durchzuführen. Mit der Auflösung des „Advocatus Diaboli“-Szenario am Ende der Lehrveranstaltung konnten aus den identifizierten gesellschaftsschädlichen, aber legalen Praktiken des Beratungskonzepts Maßnahmen für einen verantwortungsvollen Umgang mit künstlicher Intelligenz abgeleitet werden.

Die Lehrveranstaltung wurde von Dr. Michaela Regneri und Lucas Memmert geleitet.

Group

Gruppenbild mit den Teilnehmenden der Lehrveranstaltung “BreAkIng Bad: Hacking the AI Act” sowie der Leitung der Lehrveranstaltung und den iDIGMA-Kollegen.

Group

Gruppenbild mit den Teilnehmenden der Lehrveranstaltung “BreAkIng Bad: Hacking the AI Act” sowie der Leitung der Lehrveranstaltung und den iDIGMA-Kollegen.

Anwendungsszenario „SYSTEM ZUR VIDEOÜBERWACHUNG MIT KI-AUSWERTUNG“

Bearbeitet durch: Carmen Chang, Annabell Günther, Nicole Hartmann.

Dieses fiktive Anwendungsszenario handelt von einem System zur Videoüberwachung mit KI-Auswertung: Betreiber eines Einkaufszentrums planten die Implementierung eines KI-gestützten Kamera-Systems, welches automatisiert potenzielle körperliche Konflikte und Gefahren von und zwischen Besuchern erkennen sollte. Entsprechende Warnungen sollten bei Erkennung automatisch an einen Sicherheitsdienst vor Ort gemeldet werden, der dann in persönlicher Präsenz den Zwischenfall klärt. Der Bedarf einer solchen Lösung entstand im Kontext rückläufiger Kundenzahlen bedingt durch die Zunahme von kriminellen und gewalttätigen Vorfällen im Bereich des Einkaufszentrums.  

Im Rahmen der Bearbeitung dieses Anwendungsfalls ist eine Checkliste für Projekte im KI-Umfeld in Unternehmen, die hier zum Download bereitsteht

Die Checkliste kann als Hilfsmittel für Beratungsvorhaben dienen, die eine AI-getriebene Lösung im Fokus haben. 

Anwendungsszenario „SYSTEM ZUR VIDEOÜBERWACHUNG MIT KI-AUSWERTUNG“

Bearbeitet durch: Carmen Chang, Annabell Günther, Nicole Hartmann.

Dieses fiktive Anwendungsszenario handelt von einem System zur Videoüberwachung mit KI-Auswertung: Betreiber eines Einkaufszentrums planten die Implementierung eines KI-gestützten Kamera-Systems, welches automatisiert potenzielle körperliche Konflikte und Gefahren von und zwischen Besuchern erkennen sollte. Entsprechende Warnungen sollten bei Erkennung automatisch an einen Sicherheitsdienst vor Ort gemeldet werden, der dann in persönlicher Präsenz den Zwischenfall klärt. Der Bedarf einer solchen Lösung entstand im Kontext rückläufiger Kundenzahlen bedingt durch die Zunahme von kriminellen und gewalttätigen Vorfällen im Bereich des Einkaufszentrums.  

Im Rahmen der Bearbeitung dieses Anwendungsfalls ist eine Checkliste für Projekte im KI-Umfeld in Unternehmen, die hier zum Download bereitsteht

Die Checkliste kann als Hilfsmittel für Beratungsvorhaben dienen, die eine AI-getriebene Lösung im Fokus haben.