Fallbeispiele zur Vermeidung von KI-Risiken
Fallbeispiele zur Vermeidung von KI-Risiken
Um sicherzustellen, dass die KI dem Menschen dient, müssen wir das System, den Prozess und die Umgebung der KI-Anwendung aktiv gestalten. Derzeit hinkt die Regulierung den ethischen und technischen Anforderungen hinterher. Diese aber sind unverzichtbar, wollen wir die Risiken der Künstlichen Intelligenz auf ein Minimum reduzieren und den Menschen in den Mittelpunkt stellen. Die umfassenden und breitangelegten Diskussionen zwischen den verschiedenen Interessengruppen stimmen optimistisch. Für die Unternehmen aber sind sie nicht genug. Unternehmen brauchen mehr. Und sie brauchen es jetzt! Wir bei TÜV SÜD setzen uns für einen interdisziplinären Ansatz zur KI-Governance ein und haben dazu klare Prozesse erarbeitet. Mit diesen Prozessen können Unternehmen die Qualität und Vertrauenswürdigkeit von Künstlicher Intelligenz zuverlässig bewerten.
Die Künstliche Intelligenz (kurz: KI), oft auch als Artificial Intelligence (AI) bezeichnet, ist aus unserem Leben nicht mehr wegzudenken. Das gilt im Großen wie auch im Kleinen. Die Technologie steckt in den verschiedensten Anwendungen – von den virtuellen Assistenten unserer Mobiltelefone über Lagermanagementsysteme, die es ermöglichen, dass wir unsere Bestellungen am nächsten Tag erhalten, bis zu prädiktiven Diagnosen, die Leben retten. Laut PwC1 könnte die KI bis 2030 15 Billionen US-Dollar zur Weltwirtschaft beitragen und damit Privatpersonen, Unternehmen und Regierungen noch nie dagewesene Möglichkeiten bieten.
Organisationen auf der ganzen Welt realisieren aktuell, welches unglaubliche Potenzial in der Künstlichen Intelligenz steckt. Die EU beispielsweise kündigte im Dezember 2021 ein neues Förderprogramm an. Das Programm umfasst einen Fördertopf von bis zu 150 Millionen Euro. Es soll KI-Unternehmen2 in ihrer Früh- und Wachstumsphase unterstützen und so bahnbrechende Anwendungen und verwandte Technologien wie die Blockchain und das Internet der Dinge (Internet of Things, IoT) fördern.
Auch die Wirtschaft springt auf den Trend der KI auf. So meldeten 2018 bereits 86% der Unternehmen, dass sie KI-Anwendungen mit einem mittleren bis fortgeschrittenen Entwicklungsstand nutzen und der Meinung sind, dass diese Technologie ihre Geschäftsabläufe künftig wesentlich erleichtern wird3. Für diesen Standpunkt gibt es durchaus einige Belege. Zwar unterscheidet sich das KI-Potenzial von Land zu Land und Branche zu Branche, aber die Interessengruppen erwarten sich von der KI überwiegend positive Auswirkungen in Form von Kostensenkungen, Produktivitätssteigerungen sowie besserer Unternehmensintelligenz und Kundenerlebnissen4.
Die KI bietet also unbestritten Nutzen und Vorteile für Verbraucher wie Unternehmen. Letztere dürfen dabei aber nicht außer Acht lassen, dass die Künstliche Intelligenz auch mit einem besonderen Risiko einhergeht. Führungskräfte stehen in der Verantwortung, sich über die gesellschaftlichen und wirtschaftlichen Risiken der KI zu informieren. Anderenfalls laufen sie Gefahr, sich mit den negativen Folgen der Technologie auseinandersetzen zu müssen.
Wir alle kennen Dystopien, in denen superintelligente, unkontrollierbare Roboter mit Hilfe der Künstlichen Intelligenz die Weltherrschaft übernehmen. Diese Vorstellungen sind zugegebenermaßen weit hergeholt, aber in ihnen steckt – wie das häufig der Fall ist – auch ein Körnchen Wahrheit. Unbeabsichtigte Folgen von KI-Anwendungen wie Diskriminierung oder unklare Entscheidungen können Imageschäden verursachen und Menschen verletzen. Ein Beispiel hierfür ist Tay, der KI-Chatbot von Microsoft, der von Internet-Trollen manipuliert wurde und daraufhin rassistische Propaganda verbreitete5. Ein weiteres Beispiel ist Watson. Das von IBM entwickelte KI-Computerprogramm wurde mit zu wenigen und unzureichend verlässlichen Daten trainiert und gab infolgedessen ungesunde und falsche Behandlungsempfehlungen bei Tumorerkrankungen6.
Bedenken gibt es auch bezüglich der ethischen Nutzung von KI. So kann die Technologie leicht in die falschen Hände geraten oder mit böswilliger Absicht entwickelt werden. Künstliche Intelligenz in den Händen von Regierungen und großen Wirtschaftsunternehmen lässt das Schreckgespenst von Überwachung und Zensur wieder aufleben. Und wer haftet eigentlich im Hinblick auf die Rechte an geistigem Eigentum oder für die gesellschaftlichen Folgen, wenn etwas schief geht?
Diese Bedenken sind, zumindest teilweise, auf ein Phänomen zurückzuführen, das in der Künstlichen Intelligenz als „Black Box“ bekannt ist. Bei der Entwicklung von herkömmlichen Systemen wird ein Satz an Regeln formalisiert und dem System vorgegeben. Die Entwicklung von KI-Systemen stellt dieses Vorgehen auf den Kopf. Beim Machine Learning (deutsch: Maschinelles Lernen, ML) leiten Algorithmen aus einem gegebenen Datensatz Muster und Gesetzmäßigkeiten ab und entwickeln dann Regeln, die selbst für die Entwickler nicht mehr nachvollziehbar sind.
Dr. Saerbeck (CTO Digital Service, TÜV SÜD) hebt die Komplexität von KI-Anwendungen hervor: „Die aktuellen ML-Modelle kodieren Funktionalität in Hunderttausenden oder gar Millionen von Parametern. Was uns derzeit fehlt, ist ein solides Framework, das uns hilft, die Rollen und Auswirkungen der einzelnen Werte zu verstehen. Dies generiert Unsicherheit, denn wir wissen schlicht nicht, unter welchen Voraussetzungen ein bestimmtes Modell nicht funktioniert. AI-Governance ist daher derzeit der einzig gangbare Weg, um KI-Risiken effektiv zu begrenzen und zu managen. Wollen wir die Metriken für KI-Qualität wie zum Beispiel Robustheit, Genauigkeit und Vorhersagbarkeit messen, verlässlich quantifizieren und bewerten, müssen wir unsere Prozesse erweitern und aktualisieren.
Unternehmen sind sich der Risiken von Künstlicher Intelligenz sehr bewusst und lassen sich von diesen teilweise davon abhalten, die Möglichkeiten der Technologie auszuschöpfen. Eines dieser Risiken, die der Einführung von KI im Wege stehen, ist mangelnde Transparenz7.
Dr. Saerbeck sagt dazu: „Vertrauenswürdigkeit ist eine Grundvoraussetzung dafür, dass KI in unternehmenskritischen Anwendungen eingesetzt und das Potenzial der KI voll ausgeschöpft werden kann.“
Was man genau unter Vertrauenswürdigkeit versteht, lässt sich nur schwer in Worte fassen. Im Wesentlichen aber beruht die Vertrauenswürdigkeit auf drei Säulen:
• Einer ordnungsgemäß entwickelten und validierten Technologie, die entsprechend den Regeln und Standards gebaut wurde.
• Die gesamtheitliche Betrachtung. Dies setzt voraus, dass die Inputs (Eingaben) und Outputs (Ergebnisse) sowie die möglichen Auswirkungen bekannt sind und verstanden werden.
• Einer guten Governance und Überwachung mit klar definierten Zuständigkeiten und Verantwortlichkeiten
“KI-Governance ist eine Grundvoraussetzung für das Management der KI-Qualität in Hochrisikoanwendungen. Das Risiko durch eine einzige Kontrollinstanz zu begrenzen, wie in unserem Fall der Fassadeninspektion beispielsweise mittels Überprüfung der Berichte durch einen Experten, ist aufgrund der begrenzten Kapazitäten und der damit verbundenen Kosten keine zufriedenstellende Lösung. Unternehmen müssen sich, insbesondere bei vermeidbaren Fehlern, die Frage stellen lassen, warum sie nicht über ein Governance-Framework verfügen, das alle Aspekte abdeckt.“
– Dr. Martin Saerbeck, CTO Digital Service, TÜV SÜD
Ein angemessenes KI-Qualitätsmanagement in Form einer verbesserten KI-Governance, weniger Data Bias und Überwachung der Modellleistung ist für Unternehmen nach wie vor eine Herausforderung. Derzeit werden mehrere Leitlinien entwickelt, um die Unternehmen bei dieser Aufgabe zu unterstützen. Beispiele sind u. a. die „Ethik-Leitlinien der Europäischen Kommission für eine vertrauenswürdige KI“, ein neuer Rechtsrahmen für die Künstliche Intelligenz, den die EU-Kommission im April 20218 veröffentlicht hat, Asiens erstes Framework zur KI-Governance9 sowie ein in Singapur entwickelter Leitfaden zur KI-Umsetzung und Selbstbewertung von Organisationen (ISAGO10).
Diese Leitlinien bieten laut Dr. Saerbeck einen guten Rahmen, lassen aber praktische Ratschläge für die sichere und zuverlässige Implementierung von KI-Anwendungen vermissen. So legen sie zwar allgemeine Ziele fest wie zum Beispiel Nichtdiskriminierung und Fairness enthalten aber keine Informationen darüber, wie diese Ziele erreicht werden können. Auch was diese Ziele für die Wahl des Algorithmus, die erforderlichen Testverfahren oder die zu erfassenden Metriken bedeuten, all das müssen die Unternehmen selbst herausfinden.
Was versteht man unter smarter Fassadeninspektion?
Bei der Smarten Fassadeninspektion von TÜV SÜD handelt es sich um ein System, das mit Hilfe von Künstlicher Intelligenz Defekte in Gebäudefassaden und deren Ursachen identifiziert. Um Risiken zu vermeiden und um präzise, handlungsorientierte Prüfberichte bereitstellen zu können, baut TÜV SÜD dabei auf ein strenges KI-Qualitätsmanagement.
Chancen:
Risiken:
(3D-Rekonstruktion von Gebäudescans)
Und so funktioniert die Smarte Fassadeninspektion:
Eine Drohne fliegt die gesamte Fassade ab und macht Aufnahmen. Die so erhobenen Daten werden dann von Prüfern mit Hilfe von Künstlicher Intelligenz analysiert. Die Algorithmen übernehmen dabei folgende Aufgaben:
1. Sie schützen das Recht auf Privatsphäre, indem sie die versehentlich von der Drohne fotografierten Personen identifizieren und entsprechend verpixeln.
2. Sie identifizieren Defekte in der Fassade, klassifizieren diese nach Art und Schweregrad und geben sogar Reparaturempfehlungen. Ein Experte prüft die Ergebnisse und gibt Feedback. Dieses dient dann zu kontinuierlichen Verbesserung des KI-Algorithmus.
Fazit:
Die Fallstudie zeigt, wie schwierig es ist, Vertrauen in Künstliche Intelligenz zu schaffen. Die Chancen, die die Smarte Fassadeninspektion bietet, überwiegen die Risiken bei weitem. Fehler jedoch – und das gilt für alle KI-Anwendungen – können für Unternehmen finanzielle Verluste und Imageschäden zur Folge haben. Diese Risiken können und müssen mit Hilfe einer robusten KI-Governance gemanagt werden.
Um mehr Vertrauen in KI zu schaffen, hat TÜV SÜD ein KI-Qualitätsmanagementsystem entwickelt, das Unternehmen ganz allgemein durch die wichtigsten Fragen zu KI-Daten, -Algorithmen und -Modellen führt. Auf der Detailebene zeichnet das System den KI-Lebenszyklus dann genau nach und hilft Unternehmen so, Risiken und Fallstricke in jeder Phase der KI-Entwicklung und -Implementierung zu antizipieren und die in den aktuellen Governance Frameworks festgelegten Anforderungen zu erfüllen.
Unternehmen, die intern Expertenteams aufbauen wollen, um sichere, ethische und transparente KI-Anwendungen zu implementieren, bietet TÜV SÜD Trainingsworkshops zum KI-Qualitätsmanagementsystem. In diesen Workshops lernen Teilnehmerinnen und Teilnehmer die sechs wichtigsten Säulen der KI-Qualität (funktionale Sicherheit, Cybersicherheit, ethische Leitlinien, rechtliche Aspekte und Leistung) sowie deren Merkmale kennen. Sie erhalten Einblicke in zielgerichtete Risikoanalysen und Strategien und erfahren, wie sie diese entlang des gesamten Lebenszyklus ihres KI-Systems umsetzen können. Ziel der Schulung ist, den Teilnehmerinnen und Teilnehmern handlungsorientierte Einblicke zugeschnitten auf den Kontext des jeweiligen Unternehmens zu bieten.
Der Weg hin zu einer vertrauenswürdigen KI ist steinig und lang. Dr. Saerbeck erklärt: „Vertrauen in KI ist keine Eigenschaft, die eine oder ein Einzelner in nur einer Phase des Systemlebenszyklus erreichen kann. Vertrauen in Künstliche Intelligenz kann nur erreicht werden, wenn alle, die an einem KI-System mitwirken, ihren Aufgaben gerecht werden und von Anfang bis Ende, von der ersten Idee bis zur Außerbetriebnahme einer KI-Anwendung, alles tun, um sicherzustellen, dass die erforderliche Qualität erzielt und aufrechterhalten wird. Diese Aufgabe ist auf technischer Ebene alleine nicht zu bewältigen, sondern bedarf einer unternehmensweiten Anstrengung.
Für Unternehmen heißt es bei der KI – mitmachen oder abgehängt werden. Und obwohl die Regulierung noch nicht ausgereift ist, müssen Führungskräfte jetzt damit beginnen, ihre Unternehmen mit praxisorientierten Leitlinien und Grundsätzen zur KI-Governance entsprechend zu positionieren und fit für die KI zu machen.
Lebenslauf Dr. Martin Saerbeck
Als CTO Digital Service von TÜV SÜD zeichnet Dr. Martin Saerbeck für die strategische Forschung und für Initiativen zur Entwicklung neuer digitaler Testlösungen in den Bereichen Künstliche Intelligenz, Robotik und IoT-Technologie verantwortlich. Dr. Martin Saerbeck hat Informatik studiert, in Industriedesign promoviert und entwickelt seit über 15 Jahren Technologielösung für Industrie und Wissenschaft.
1AI could add $15 trillion to the global economy by 2030, PwC via Industry Week
2New EU financing instrument of up to $150 million to support European AI companies, European Commission
3Leadership in the age of AI, Infosys
4In-depth: Artificial Intelligence 2019, AI Statista
5In 2016 Microsoft’s Racist Chatbot Revealed the Dangers of Online Conversation, Spectrum
6How IBM Watson Overpromised and Underdelivered on AI Health Care, Spectrum
720 years inside the mind of the CEO, PwC
8Europe fit for the digital age: Commission proposes new rules and actions for excellence and trust in AI, European Commission
9Singapore’s approach to AI governance, PDPC
10Singapore launches new AI initiatives at World Economic Forum, OpenGov
Ein praktischer Leitfaden zum Aufbau von Wissen für die Beherrschung von KI-Qualität
Mehr erfahren
Ein systematischer Ansatz zur Sicherstellung von KI-Qualität und Compliance
Mehr erfahren
