Strengthening Security, Privacy and Robustness of AI Models and Systems (SecureAI)

Očekávaný výsledek:Očekává se, že návrhy přispějí k jednomu nebo více z těchto bodů:robustní modely a systémy umělé inteligence schopné odolávat různým třídám nepřátelských manipulací;inovativní obranné mechanismy pro modely a systémy umělé inteligence proti novým rodinám útoků;metodiky pro odhalování a zmírňování útoků, jako je otrava dat, zneužívání zadních vrátek a chybná klasifikace;systémy UI využívající technologie zvyšující ochranu soukromí, které zachovávají důvěrnost údajů a dodržování právních předpisů a umožňují důvěryhodné interní zavádění UI (např. pro vlády a podniky). Oblast působnosti:Rostoucí závislost na umělé inteligenci v oblasti kybernetické bezpečnosti, kritické infrastruktury a rozhodovacích procesů vyvolává obavy ohledně bezpečnosti a spolehlivosti systémů umělé inteligence. Vzhledem k tomu, že systémy UI jsou stále rozšířenější, jsou stále častěji terčem nepřátelských útoků, které manipulují se vstupy, ohrožují tréninková data nebo zavádějí skrytá zranitelná místa. Cílem tohoto tématu je posílit odolnost systémů a algoritmů UI vůči různým hrozbám a útokům, jako je zvýšení jejich odolnosti vůči nepřátelským útokům, injekcím zadních vrátek a otravě dat. Návrhy by měly v součinnosti s hlavním úsilím v oblasti transparentnosti umělé inteligence a v souladu s aktem o umělé inteligenci vyvinout metody detekce anomálií v reálném čase, zmírňující techniky na obranu proti nepřátelským útokům a spolehlivé techniky sdruženého učení. Očekává se, že téma:Vyvinout robustní modely AI odolné vůči nepřátelským útokům. Zkoumání technik k posílení modelů a systémů UI proti narušením ze strany protivníků, jako je kontradiktorní výcvik, důkladná optimalizace a obranné mechanismy, které zvyšují důvěryhodnost UI.Zlepšit detekci manipulovaných nebo otrávených tréninkových dat. Pokrok v metodikách pro identifikaci a zmírnění ohrožených datových souborů, využití technik, jako je detekce anomálií, sledování provenience a automatizované mechanismy ověřování údajů.Řešit koncepci soukromé umělé inteligence vytvořením mechanismů, které umožní, aby modely umělé inteligence byly trénovány, zaváděny a provozovány v prostředích chránících soukromí, zejména v citlivých případech použití, jako je tomu například v případě vládních a podnikových nastavení. To zahrnuje zajištění toho, aby výpočty a data umělé inteligence zůstaly v rámci důvěryhodných hranic provádění (např. on-premise nebo regulovaná cloudová prostředí), a využití stávajících a nově vznikajících technik zvyšujících soukromí, jako je federované učení, bezpečná agregace, výpočty na šifrovaných datech, kvantově bezpečné homomorfní šifrování a bezpečné vyvozování závěrů v hlubokém učení, s cílem zajistit ochranu osobních a jiných citlivých dat během celého životního cyklu umělé inteligence.