Stefan: 0:09

Hallo und herzlich willkommen zum Cofin Pro Tech Podcast. Mein Name ist Stefan Groß. Ich bin seit einem knappen Jahr bei Cofin Pro und darf heute der Host sein für diese Spezialfolge zum Thema EU-AI-Act. haben den EU-AI-Act in unserer letzten Folge mal kurz angerissen wo es um ging, da war es sehr technisch und heute wollen wir den AI-Act ein bisschen weiter beleuchten. Mein Gast ist wieder, so wie auch in der letzten Folge, Patrick Geschwendner. Hallo Patrick, stell dich doch kurz vor. Hallo

Patrick: 0:43

schön wieder hier zu sein. An alle Zuhörer, die beim letzten Mal noch nicht dabei waren. bin Patrick Schwendner, seit auch etwa einem Jahr bei Cofin Pro. Einer unserer Experten für KI und Ich beschäftige mich jetzt schon seit knapp zwei Jahren mit dem EUER Act. Welche Auswirkungen hat das? Was bedeutet denn das für mich als Entwickler als Bank? Aber auch um nochmal die zum MLOps-Podcast zu schlagen, wie kann ich das Ganze denn auch technisch so ein bisschen unterstützen, um die ein oder andere Anforderung damit dann zu erfüllen?

Stefan: 1:14

alle, die die letzte Folge noch nicht gehört haben oder die generell sich mit dem Thema noch nicht so gut auskennen, genau ist denn eigentlich der EU-AI-Act und bedeutet das jetzt für die Finanzbranche im Besonderen und für uns als Entwickler?

Patrick: 1:29

der EU-EI-Act ist jetzt erstmal eine EU-weite Regularie, die erste weltweit, die versucht, das Thema KI zu regulieren. EU-EI-Act ist jetzt am 1. August erstmal in Kraft getreten, bedeutet, Für mich im ersten Schritt ist erstmal nichts, in sechs Monaten treten jetzt die ersten Verbote in Kraft von Behördenbeauftragten, Social Scoring, KI, die Leute benachteiligen sollen, alle diese Dinge werden verboten Zwölf Monate der nächste Schritt und dann in 24 Monaten, in zwei Jahren die komplette Umsetzung Aber was ist denn jetzt eigentlich das Ziel von diesem ganzen EU-Ereignis? Und ich vergleiche es immer ganz gern mit einem Flugzeug. Damals Flugzeug wahnsinnig neu, Mensch viel auf den Straßen unterwegs, lange auf dem Wasser unterwegs, aber die Lüfte kannte er noch nicht. Und so musste jetzt erst mal Vertrauen geschaffen werden bei der Bevölkerung, um in so ein Flugzeug einzusteigen und damit zu fliegen. Und wie hat man das gemacht? Man hat Sicherheitsmechanismen eingeführt. Man hat überprüft ob die Triebwerke alle gut funktionieren, die Türen dicht sind, dass da der Druck vorhanden ist, der da sein muss. Und so hat man nach und nach das Vertrauen in der Bevölkerung für Flugzeuge hergestellt. Und heute, ich glaube, jeder von uns saß schon mal in irgendeiner Art und Weise in einem Flugzeug. Und genauso ist es bei der Technologie. Aus unserer Erfahrung, je disruptiver so eine Technologie ist, desto mehr Vertrauen muss geschafft werden. Und wir merken das jetzt auch in der... Die Bevölkerung KI, viele Ängste. Ich könnte meinen Job verlieren könnte weitreichende Entscheidungen für mich treffen, gerade in der Bankenwelt. Ich kriege vielleicht meinen Kredit nicht. Was passiert denn dann mit mir? All diese Sachen versucht jetzt eben der AI zu regeln und Vertrauen in der Welt herzustellen.

Stefan: 3:19

Dass die EU sich in der Hinsicht so hervorsticht als Erste und sowas in Kraft tritt. ja, KI, wie du schon sagst Vertrauen ist nicht da. Ich denke viel davon kommt auch vom Unwissen. Und ich muss auch für mich selber sagen, ja, ich habe mich mit so einem Chat-GPT vielleicht auseinandergesetzt, so ein großes Verständnis von was ist eigentlich KI, Im Detail habe ich jetzt nicht, also ich auch selber muss sagen, für mich ist viel davon einfach eine Blackbox und ich kann es vielleicht benutzen, aber da hört es auch schon auf. Und wie macht denn der AI-Actor der muss ja irgendwo auch was haben, wo er definiert, ist denn jetzt eigentlich eine KI?

Patrick: 3:58

Genau, und das macht er auch. Vielleicht einmal kurz einen Abstecher zur klassischen Softwareentwicklung, wie wir sie heute haben. Heute, der Entwickler Der programmiert Anweisungen explizit und das System führt genau diese Anweisungen aus, die der Entwickler programmiert hat. Und mit KI ändert sich das ein bisschen. Plötzlich schreibt nicht mehr der Entwickler diese Anweisungen, sondern diese KI lernt aus Daten eigenständig diese Anweisungen und ist dann fähig diese auch auszuführen. Das ist im Grunde genommen das, was KI beschreibt. Darunter fallen Dinge wie, wie du gerade schon gesagt hast, den GPT-4, das Modell hinter Chat-GPT, aber auch einfache Sachen, lineare Regressionen die wir schon seit Jahrzehnten erfolgreich anwenden.

Stefan: 4:44

Das heißt, du es gibt da tatsächlich Unterschiede in diesen KIs. Jetzt ist ja schön, wir haben einen Begriff für alle. Werden die jetzt alle gleich behandelt die verschiedenen KIs?

Patrick: 4:52

Nein, natürlich nicht. da war insbesondere Ende letzten Jahres große Diskussion um diese sogenannte General-Purpose-AI zum Beispiel, also KI mit großen Anwendungsfeldern Chat-GPT-Felder rein, es ist ein Sprachbord, es lässt Bilder generieren, es lässt sich eigene Texte schreiben, all diese Sachen Modelle, die in den sehr großen Downstream Möglichkeiten haben, dass man in sehr, sehr vielen Use Cases einsetzen kann, werden zum Beispiel nochmal gesondert behandelt. Aber auch dann natürlich, nicht von jeder KI geht das gleiche Risiko aus. Eine lineare Regression, wie gerade schon gesagt, ist seit Jahren erfolgreich in der Anwendung Mathematiker werden es wissen sind sehr sehr einfach zu erklären ich kann sehr sehr einfach und gut nachvollziehen wie dieses modell zu seiner entscheidung kam Warum sollte ich da jetzt neue zusätzliche Regeln schaffen, wo du doch gerade gesagt hast, die Blackbox ist ja eigentlich wo ganz anders in so einem Chat-GPT. Da gibt es dann durchaus Unterschiede

Stefan: 5:50

hattest am Anfang gesagt, du stellst das ganze Konzept dir so ein bisschen wie ein Flugzeug vor. Ja, dort gibt es verschiedene Richtlinien an die Triebwerke, an wie sicher müssen die Türen sein, was für einem Druck muss allen bestimmten Sachen standgehalten werden. Das ist was, das ist für mich irgendwie jetzt auch greifbar. Aber wie kann man denn sowas dann auch auf eine KI anwenden?

Patrick: 6:10

Genau, und da beschreibt der EU-EI im Grunde genommen, ich nenne es gern 5 plus 1 Themen, mit er dieses Vertrauen möchte. Das ist zum einen die Fairness. Ich möchte irgendwie sicherstellen, dass so ein KI-Modell fair ist, dass es mich nicht auf irgendeine Art und Weise benachteiligt weil ich einer Ethnie angehöre, weil ich in einer bestimmten Straße wohne. All das soll eben sichergestellt werden, dass das nicht der Fall ist. Wie stellt man größtmöglich Vertrauen her? Indem ich es erklären kann, indem ich verstehe, was es denn bedeutet. Also ich möchte Transparenz herstellen. Wie funktioniert mein Modell welche Kriterien waren denn jetzt ausschlaggebend dass ich beispielsweise diesen Kredit bekommen habe oder auch vor allem nicht bekommen habe und hier ganz, ganz wichtig zu verstehen. Erklärbarkeit heißt nicht Nachrechenbarkeit. Ich muss jetzt nicht eins zu eins nachrechnen können, wie dieses Modell zu seinem Ergebnis kam, aber ich muss es erklären können. War ausschlaggebend, dass ich einen Dispo-Kredit von 10.000 Euro habe und und und. dritte Punkt, die Zuverlässigkeit. Ich habe es im letzten Podcast schon mal kurz angesprochen, Ein KI-Modell das heute funktioniert, muss noch lange nicht morgen, übermorgen nächstes Jahr noch funktionieren. Diese Dinge muss ich sicherstellen, dass es auch in der Zukunft noch genauso gut funktioniert wie heute. Und dann natürlich die Themen Datenschutz und Cybersicherheit. KI funktioniert nur mit Daten und Cybersicherheit auch ein riesengroßes Thema. Andere Regularien rund um DORA widmen sich dem Ganzen auch schon.

Stefan: 7:40

die letzten beiden Punkte, die sind auch schon durchreguliert gerade im Banking-Umfeld gibt es ja dort schon einige Das heißt, die werden jetzt auch nicht so detailliert im AI-Act nochmal aufgebohrt oder gibt es dort auch nochmal eine größere Anpassung?

Patrick: 7:57

Der AI-Eck an sich bohrt diese beiden Punkte nochmal ziemlich auf, aber wie du gerade schon gesagt hast, Wir sind in Banken in einem sehr regulierten Umfeld und das kommt uns zugute, sodass wir rund um Datenschutz Cybersicherheit nicht mehr allzu viel machen müssen. Wir müssen hier und da noch die eine oder andere Stellschraube drehen Richtung Data Governance, eine Versionierung von Trainingsdaten, von Validationsdatensets, um diese Transparenz herzustellen, denn mein Modell funktioniert. Und... Jetzt hatte ich gerade auch schon eine kleine gesagt, ich nenne es immer ganz gern 5 plus 1 Sicherheitsmechanismen Das eine ist die Fairness, die Transparenz die Zuverlässigkeit, der Datenschutz die Data Governance Die Cybersicherheit Und das Plus Eins ist diese menschliche Überwachung. der EU-Eig vor, ich brauche so eine menschliche Überwachung beziehungsweise ich kann damit sogar mein Risiko senken. Einfaches Beispiel. Kreditentscheidung bleiben wir bei diesem Beispiel. hat der Mensch die Möglichkeit, alles nochmal zu überprüfen, jederzeit in diesen Prozess einzugreifen, versteht der Mensch diesen ganzen Prozess. Das ist natürlich ein viel, viel geringeres Risiko, als wenn diese KI autonom arbeitet und selbstständig jede Entscheidung trifft. Das ist so dieses Plus Eins, das explizit genannt ist aber mit dem ich dann doch durchaus mein Risiko ein bisschen senken kann.

Stefan: 9:17

Das heißt, dass eine KI dann eben nicht der beratenden Funktion unterwegs ist und nur sagt, hey, ich hätte hier den Vorschlag, vielleicht noch aus welchen Gründen, dann ist immer noch ein Mensch hintendran, der dann auch den Vorschlag verwerfen kann.

Patrick: 9:30

Zum Beispiel, genau.

Stefan: 9:32

hattest jetzt aber anfangs gesagt, diese KI-Modelle werden nicht alle gleich behandelt richtigerweise weil wir haben sowohl irgendwas, was offensichtlich ist und irgendwie beweisbar, wo kommt die Entscheidung her und wir haben sowas wie ein Chat-GPT, wo ein neuronales Netz drin ist, was eine Blackbox ist, wo es nicht so ist, die zählen jetzt also die Sachen, diese ganzen Punkte, die du gerade genannt hast, Die zählen für alle diese gleich. Kann ja nicht sein. Das heißt, wie werden sie denn eigentlich anders

Patrick: 10:07

müssen wir jetzt nochmal so ein bisschen eine Sache unterscheiden. Der AI-Akt reguliert sowohl das KI-Modell an sich, als auch das gesamte System drumherum. Und da hat jetzt auch die EBA gesagt, Von diesen modellen gehen nur von diesen großen modellen diesen neuronalen netzen die Sogenannten nicht parametrischen modellen da gehen neue risiken von aus die gilt es zu berücksichtigen da muss ich begründungen treffen Welches Modell habe ich denn ausgewählt? Warum habe ich dieses Modell ausgewählt? Da muss ich besonders diese Transparenz zusätzlich herstellen. All diese Dinge. Anforderungen an mein ganzes System drumherum dass dieses System zuverlässig funktioniert, dass es cybersicher ist. Diese Dinge muss ich für das System selbst natürlich sicherstellen. Und auch da, wie ich schon mal gesagt, gilt es hier und da Stellschrauben für KI zu drehen Testkonzepte anzupassen und, und, und. Aber auch dann muss ich nicht alles für jedes KI-System machen. Ein einfacher Chatbot für eine Terminbuchung sollte offensichtlich andere Anforderungen haben als... KI, das mir mein Kreditrisiko bestimmt. Und hier unterscheidet das der EU-Ereignis in vier Stufen. Die erste habe ich schon mal ganz eingangs kurz erwähnt Verbotene KI, Social Scoring, all diese Dinge, die in sechs Monaten umgesetzt sein müssen, dürfen nicht mehr angewendet werden. Die nächste Stufe darunter, sogenannte Hochrisiko-KI-Modelle, Kreditrisikobestimmung, Durchsetzung von Strafverfolgungsmaßnahmen, zu Bildung, KI, die in diesen Bereichen eingesetzt werden, die haben diese hohen Anforderungen Ich brauche ein eigenes Risikomanagementsystem, ich muss eine gute Data Governance haben, ich muss meine Trainingsdaten, meine Validierungsdaten, meine Ergebnisse alle archivieren, dokumentieren. Ich muss diese, wie gerade gesagt, diese Modellauswahl für diese besondere Klasse an Modellen begründen. All das hat wahnsinnig viele Anforderungen Transparenz herstellen, wahnsinnig viel Dokumentationsaufwand, meine Prozesse dahingehend anpassen. Und da stecken 80 bis 90 Prozent der Anforderungen aus dem EU-Ereigneteren. Eine Stufe drunter mit gemäßigtem Risiko. reicht es wenn ich dem Nutzer klar mache, Du hier gerade mit einer KI, im Chatbot irgendwo deutlich machen, hier KI. nochmal eine Stufe drunter Risiko wo dann die meisten Use Cases tatsächlich drunter fallen würden. Erstmal keine Anforderungen, wobei ich durchaus auch empfohlen ist, einen Code of Conduct anzuwenden, dass man sich auf ethische Sachen verpflichtet vielleicht auch erstmal überlegt, Statt das nächste kompliziertere Modell zu nehmen, einfach ist manchmal auch besser und nicht einfach blindlings irgendwas zu machen, vielleicht an den Daten, ein Feature Engineering Gutes zu machen, sich zu überlegen wie geht man grundsätzlich mit solchen Continuous Training Methoden einfach das ist durchaus sinnvoll Für diese Dinge empfohlen.

Stefan: 13:14

heißt, diese vier Kategorien gibt es, damit ist auch spezifiziert, was genau fällt in welche Sache rein und damit haben wir Mehr oder weniger alle KI-Modelle in irgendeiner Form abgedeckt. wissen jetzt ungefähr, was eine KI ist, wir wissen jetzt ungefähr, was alles sind, auf die sich der EU AI Act fokussieren möchte. Aber sind die jetzt überhaupt alle für mich wichtig? Also wenn ich jetzt sage, ich benutze halt mein Irgendwo in meiner Anwendung. Ich habe doch überhaupt gar keine Kontrolle darüber, wie dieses Model funktioniert. Ich habe da ja überhaupt keine Handhabe Ich kaufe mir ja quasi ein.

Patrick: 13:54

Sehr gute Frage. Da darauf an, welche Rolle habe ich denn in meinem ganzen KI-Lebenszyklus? Die meisten Anforderungen fallen für den sogenannten Provider an, derjenige, der die KI bereitstellt. Im Fall von ChatGPT wäre es OpenAI Microsoft. Ich darf jetzt natürlich aber nicht einfach so dieses Modell nehmen und bei mir auf den Markt bringen. Ich, CofinPro, hol mir jetzt JetGPT und bringe nach außen unter der Marke CofinPro. In dem Moment werde ich selbst zum Provider. Es sei denn, Microsoft hat mir das ausdrücklich erlaubt dass ich das darf. Eine weitere Ausnahme zu dem Ganzen ist, ich mache Änderungen zu diesem Modell, den ursprünglichen Zweck verändert. ist jetzt bei einem General-Purpose-AI-Modell schwieriger andere, kleinere Modelle ist es durchaus möglich, durch Feintuning, durch ein zusätzliches Modell durch ein Dieses Modell zu verändern dadurch selbst zum Provider zu werden. Sprich ich muss auch aufpassen, wenn ich mir KI einkaufe, bin ich nicht automatisch von sämtlichen Anforderungen befreit

Stefan: 15:00

Aber ich höre raus, wenn ich es mir einkaufe, dann sind durchaus weniger Dinge, die auf mich zutreffen und ich kann einen Großteil von den Sachen vielleicht auch einfach Dementsprechendem Provider in die Schuhe schieben mich selber nicht größer darum kümmern. habe ich denn dann eigentlich tatsächlich zu tun, mich an diese ganzen Sachen zu halten?

Patrick: 15:21

erste Punkt ist, der EU-EI ist, wie schon auch erwähnt, ein europaweit geltendes allgemeingültiges Gesetz rund um KI. Und es legt den Fokus sehr, sehr stark auf Gesundheit und auf Menschenrechte Es aber vor allem bei Banken es nicht ganz diese Risiken mit ab. Ein Beispiel, ein Trading-Algorithmus laut EU-AI aktuell eher, mit geringem Risiko einzuwerten. Also Anforderungen, ich muss irgendwie dem Nutzer klarmachen, hier, du agierst mit und das war's. Im schlimmsten Fall kann das für mich aber als Bank massive Auswirkungen haben, vor allem in der Bilanz Und diese Risiken muss ich irgendwie abdecken und irgendwie gekennentlich machen. Also darüber machen, über eine eigene Risikodefinition mich, Risikodefinition, wie ordne ich denn anhand dieser Risikoklassen Fairness Transparenz ein. Und sagt dann auch zum Beispiel ganz klar die BaFin, macht das, wir haben auch Anforderungen an euch, beispielsweise in bankkritischen Prozessen, vom AI-Act. Maßnahmen und die Anforderungen entsprechen aber nachher wieder denen, die auch der EU-AI-Act stellt.

Stefan: 16:37

heißt, AI Act schaut sich eher die Privatperson an, schaut, dass die entsprechend geschützt ist und für Konzerne Banken was auch immer, müssen dann selber auch nochmal schauen, Dass sie nicht sehr versehentlich mitgeschartet werden, beziehungsweise dass sie vielleicht diese Ansätze, die der EU-AI-Act für die hat, auch für sich selber nutzen und dahingehend weitermachen, auch wenn sie dort eben nicht regulatorisch getrieben sind oder, wie du schon sagst durch die Bankenaufsicht teilweise dann doch. Und dann kann ich meine KI einfach einsetzen als Bank, wenn ich da so ein bisschen drauf aufgepasst habe.

Patrick: 17:16

Natürlich noch nicht. Der nächste wichtige Punkt ist meine Infrastruktur Cybersicherheit ist ein großer Punkt, Datenschutz ist ein großer Punkt. Im letzten Podcast schon mal kurz erwähnt KI-Entwicklung funktioniert nur mit Produktionsdaten. Ich muss irgendwie sicherstellen, dass ich diese Entwicklung mit solchen Produktionsdaten vielleicht auch mit persönlichen Daten, die von der DSGVO geschützt sind, dass ich meine Infrastrukturen da anpasse. Ich muss meine Organisation anpassen. Ich muss neue Verantwortlichkeiten festlegen. Wer ist denn jetzt? Verantwortlich wenn mein modell morgen nicht mehr so gut funktioniert wie es heute und gestern getan hat all diese dinge muss ich neu definieren muss meine organisation darauf drauf umbauen und das ist spannend gerade da oft zentral bereitgestellt wird, in den Fachabteilungen entwickelt wird, eine zentrale IT übergeben wird und dann oftmals die IT-Abteilungen auch raus sind. All diese Dinge funktionieren mit KI nicht mehr, weil eben diese Anweisungen nicht explizit programmiert sind und nicht sich an einem Prozess orientieren Sondern weil so ein Mutterleben auch Fehler macht.

Stefan: 18:26

Ja. ansonsten ist natürlich auch wichtig, dass die Entwickler und Mitarbeiter... Wissen wie sie sinnvoll mit so einer KI umgehen, dass sie auch wahrscheinlich wissen, was steht in dem EU-AI-Act drin, was dürfen sie tun, was dürfen sie nicht tun, weil irgendwer muss das Ganze ja am Ende auch entwickeln.

Patrick: 18:44

Genau, zum einen das, aber auch diejenigen die es, Die KI-Nutzen müssen zum einen informiert sein über KI, aber auch über Risiken über Grenzen. Was kann die KI, was kann sie denn nicht darüber informiert sein, um entsprechend bei Ausfällen, bei Fehlern reagieren zu können, das zurückmelden zu können? Auch wichtig bei der Frage... Provider-Deployer, wenn ich so eine KI nur nutze, bin ich nicht von sämtlichen Verantwortlichkeiten entlastet. Auch da muss ich den eigentlichen Provider rückmelden. Hier, wir haben die und diese Auffälligkeit gefunden. Und ich muss auch meinen Mitarbeitern erklären, hier setzt KI ein, das und das, so und so funktioniert es ja. Auch da immer wieder diese Information an den Mitarbeiter, ihr nutzt KI, das sind die Limitationen Person könnt ihr euch wenden wenn euch was auffällt.

Stefan: 19:39

du denn, wo entwickelt sich das Ganze hin? Wir haben jetzt den EU-AI-Act. Denkst du, wird sich in anderen Ländern auch weiter verbreiten? Denkst du das ist jetzt final und damit haben wir jetzt alles reguliert, was AI betrifft Oder was denkst du, wie könnte es in der Richtung weitergehen?

Patrick: 19:57

Schön wäre es wenn wir damit alles reguliert haben. wird einerseits weltweit ganz genau beobachtet, wir machen. Die USA sind gerade in regen Diskussionen für ein eigenes KI-Gesetz. Aber auch Südkorea oder Japan, der asiatische Bereich, beobachtet ganz genau, was wir hier in Europa machen. Und da kann der EU-AI durchaus Vorreiter sein, vielleicht auch für eine weltweite KI-Regulierung, für eine einheitliche. es ist ganz klar, es wird noch nicht alles jetzt final sein. Es wird eine Version 2 geben, vielleicht auch noch eine Version 3, 4, 5. Der Risikokategorien wird sich was ändern. Vielleicht brauchen wir noch eine zusätzliche eine fünfte Kategorie in den Einordnungen von diesen General Purpose AI, die ich genannt habe, wird sich was ändern. Die werden aktuell klassifiziert nach den Floating Point Operations und Da wird sich meiner Meinung nach der Fokus viel, viel stärker auf die Anzahl der Nutzer auf den Effekt ausüben als auf diese reine Floating-Point-Operations. Also da wird es durchaus weitergehen.

Stefan: 20:57

Das heißt, es bleibt auf jeden Fall spannend.

Patrick: 20:59

Definitiv.

Stefan: 21:00

man sich jetzt mit diesem Thema beschäftigen möchte, du dort vielleicht noch Informationen, wo man sich einlesen kann? Ich meine, natürlich könnte man jetzt den EU-AI-Act einfach selber lesen Ich habe nur die Befürchtung dass diese Rechtssprache jetzt nicht für jeden direkt eingängig verständlich ist. Hast du da möglicherweise Tipps

Patrick: 21:17

Also die 284 Seiten würde ich keinem empfehlen, in dieser Art und Weise durchzulesen. Ich kann sehr zwei auf LinkedIn sehr aktive und auch in der EU in Meinungsgruppen sehr stark vertretene Personen empfehlen. Das eine ist der Kai Zenner und das andere ist die Frau Karin Tafur. es immer wieder sehr verständlich und anschaulich Ergebnisse und Anforderungen an den EU AI darzustellen, man sich ganz allgemein für dieses Thema interessiert Wenn es jetzt um Banken finanzspezifische Branchen geht, dann natürlich gerne auf uns als Cofinpro, auf mich, auf unser Team zu kommen. Wir stehen da gerne Rede und Antwort.

Stefan: 21:57

damit würde ich mich bei unseren Zuhörerinnen und Zuhörern verabschieden für heute und danke, dass du hier warst.

Patrick: 22:04

Sehr gerne, mich hat es wieder gefreut.