TÜV SÜD testuje IT bezpečnosť umelej inteligencie

TÜV SÜD podporuje spoločnosti vykonávaním penetračných testov systémov umelej inteligencie. Udržiavanie bezpečnosti sietí prostredníctvom boja proti phishingu, útokom ransomware a DNS hijackingu je už dlho súčasťou každodenného života CISO, pretože útoky prostredníctvom systémov umelej inteligencie sú čoraz bežnejšie. Kyberzločinci používajú metódy ako prompt injection a model inversion. Zameriavajú sa tiež na citlivé údaje a obchodné tajomstvá spoločností. Penetračné testy umelej inteligencie zabezpečujú integritu, spravodlivosť a robustnosť systémov umelej inteligencie.

Penetračné testy umelej inteligencie sú špecializované hodnotenia zamerané na odhalenie slabých miest v systémoch umelej inteligencie a strojového učenia. Posudzujú robustnosť modelu, bezpečnosť dátovej pipeline a odolnosť voči hrozbám, ako sú adversariálne útoky, model inversion či poisoning dát. Cieľom je zabezpečiť dôvernosť, integritu a spoľahlivosť aplikácií poháňaných umelou inteligenciou v realistických scenároch útokov.

Scenáre použitia

Existujú rôzne scenáre použitia penetračných testov umelej inteligencie: Môžu pomôcť identifikovať bezpečnostné zraniteľnosti LLM vo webových aplikáciách v rannej fáze vývoja, posúdiť riziko úniku údajov, zneužitia alebo manipulácie s LLM v aplikáciách alebo komplexne preskúmať prediktívne a používateľsky definované LLM z hľadiska údajov, školenia a algoritmov. 

Päť krokov k robustnejším systémom umelej inteligencie

Skúsení odborníci na umelú inteligenciu z TÜV SÜD pomáhajú spoločnostiam zlepšovať ich systémy umelej inteligencie v piatich krokoch. Na úvodnom stretnutí sa definujú ciele a diskutujú sa procesy. Potom sa zhromažďujú relevantné informácie. Tretím krokom je samotné penetračné testovanie. Na rozdiel od tradičného penetračného testovania sietí alebo serverov, penetračné testovanie umelej inteligencie vyžaduje znalosti v oblasti strojového učenia, testovania správania vstupov/výstupov a logiky modelov. TÜV SÜD zakladá svoje hodnotenia na rámci riadenia rizík umelej inteligencie NIST, OWASP Top 10 pre bezpečnosť LLM/ML a testovacích štandardoch MITRE ATLAS. Výsledky sú potom analyzované spoločnosťou TÜV SÜD a nakoniec prerokované so spoločnosťou.

„Čím je umelá inteligencia rozšírenejšia, tým je atraktívnejšia pre zločincov. Vzhľadom na jej rýchly rozvoj nie je bezpečnosť často ešte optimálne integrovaná. Nech už spoločnosti optimalizujú modely umelej inteligencie alebo integrujú LLM do aplikácií, zraniteľnosti špecifické pre systémy umelej inteligencie musia byť identifikované v ranom štádiu,“ hovorí Vaibhav Pulekar, senior generálny riaditeľ pre kyberbezpečnosť v TÜV SÜD. „Tí, ktorí nemajú svoje modely alebo aplikácie skontrolované, riskujú vážne bezpečnostné a dátové riziká v dôsledku medzier v systéme.“