Így kellene az AI-rendszerek biztonságáról gondoskodni, mielőtt katasztrofális hibák következnek be

Ez itt az on the other hand, a portfolio vélemény rovata.

Ez itt az on the other hand, a portfolio vélemény rovata. A cikkek a szerzők véleményét tükrözik, amelyek nem feltétlenül esnek egybe a Portfolio szerkesztőségének álláspontjával. Ha hozzászólna a témához, küldje el cikkét a velemeny@portfolio.hu címre. A megjelent cikkek itt olvashatók.

Egy nemrégiben végzett biztonsági teszt során egy generatív AI banki chatbotot, amelyet arra terveztek, hogy segítsen az ügyfeleknek a hitelkérelmek benyújtásában, úgy módosítottak, hogy érzékeny pénzügyi információkat tegyen közzé. A tesztelők megkerülték a biztonsági ellenőrzéseket, és megszerezték a hitelkérelmek jóváhagyásának átfogó listáját, beleértve az ügyfelek nevét is.

Ez a tanulságos történet egy alapvető problémára hívja fel a figyelmet:

a generatív mesterséges intelligencia egész iparágakat forradalmasíthat, de erős biztonsági protokollok nélkül katasztrofális következményekhez vezethet.

A hagyományos biztonsági modellek már nem elegendőek. Az olyan transzformatív technológiák, mint a generatív mesterséges intelligencia, a kiberbiztonság új, holisztikus megközelítését követelik meg.

E téren a légi közlekedés esete hasznos modellt kínál fel. A szuperszonikus repülőgépekhez hasonlóan a generatív mesterséges intelligencia is óriási potenciállal rendelkező, transzformatív technológia. Képzett légi irányítók, jól megtervezett rendszerek és erős biztonsági intézkedések nélkül a katasztrofális hibák kockázata túl nagy ahhoz, hogy azokat figyelmen kívül hagyjuk. A szigorú biztonsági protokollok bevezetésével a légi közlekedés az egyik legbiztonságosabb közlekedési móddá vált. Hasonlóképpen tagadhatatlan, hogy a mesterséges intelligenciában jelentős lehetőségek rejlenek, de a technológia jövője a biztonsági kockázatok kezelésétől függ. A BCG nemrégiben készült tanulmánya például azt állapította meg, hogy

az üzleti vezetők háromnegyede a kiberbiztonságot tartja az AI terjedésének legfőbb akadályának.

• A hagyományos szoftverekkel ellentétben a generatív AI a valószínűségekre támaszkodik, ami kiszámíthatatlan eredményekhez vezethet.
• A nagy nyelvi modellek (LLM) indeterminisztikus viselkedést vezetnek be, ami kiberbiztonsági vakfoltokat hoz létre.
• Ráadásul a természetes nyelvi bemenetekre való támaszkodásuk, az adaptív tanulás és a más eszközökkel, szolgáltatásokkal való kiterjedt integráltságuk egyedülállóan sebezhetővé teszi a nagy nyelvi modelleket.

Ahogyan a légi közlekedés is átfogó, sokoldalú biztonsági megközelítést igényel, a kiberbiztonságnak az AI minden rétegébe be kell épülnie, az architektúrától az adatkezelésen át az emberi felügyeletig. Ilyen alap nélkül a mesterséges intelligencia jövője bizonytalan lesz.

Az AI-rendszerek egyik fő sebezhetőségét a prompt injekciós támadások jelentik, amikor a támadók manipulálják a modellt érzékeny adatok kikerülésével vagy a döntéshozatali logika megváltoztatásával. A fentebb már említett banki chatbot-teszt egy hasonlóan riasztó kockázatot tárt fel: a jogosultságok kiterjesztését. A tesztelők rendszergazdának adták ki magukat, nem engedélyezett hiteleket hagytak jóvá, és backend adatokat módosítottak.

Az egészségügyben használt AI-asszisztensek is hasonlóan kitettek ilyen veszélyeknek, mivel a biztonsági szakemberek a lekérdezések finom átfogalmazásával sikeresen megszereztek bizalmas betegadatokat. Ahelyett, hogy közvetlenül kórelőzményeket kértek volna, a támadók úgy fogalmazták meg kérdéseiket, hogy azok hasonlítsanak a megszokott orvosi kérésekhez. Ezzel egy másik gyenge pontra is rámutattak:

a mesterséges intelligencia gyakran a nyelvi logikát helyezi előtérbe a hozzáférés-ellenőrzéssel szemben.

Ezek a sebezhetőségek a bankszektoron és egészségügyi szektoron kívül is jelentkeznek. Számos AI-alkalmazás használja az ügynöki rendszereket, amelyek valós idejű adatokat kérnek le, hogy önállóan hozzanak döntéseket, ami lehetőséget teremt a támadók számára. Egy mesterséges intelligenciával működő ügyfélszolgálati chatbot biztonsági értékelése például kimutatta, hogy a támadók képesek voltak kihasználni egy gyenge alkalmazásprogramozási interfész (API) validálását, hogy egy LLM-et manipulálva belső kedvezménykódokat és leltáradatokat tárjanak fel.

A mesterséges intelligencia alkalmazkodóképességét az úgynevezett kontextusmérgezéssel is ki lehet használni. A modell válaszainak idővel történő fokozatos alakításával a támadók a modell válaszait helytelen vagy veszélyes ajánlások felé terelhetik. Egy kísérlet során egy gyógyfürdői chatbotot ismételten olyan bemeneteknek tettek ki, amelyek a nem biztonságos összetevőket előnyösnek állították be. Végül káros bőrápolási termékeket kezdett ajánlani.

Mivel a mesterséges intelligencia rendszerek túlterhelik a hagyományos infrastruktúrát az automatizált kérésekkel, a rendszer meghibásodását okozhatják – ez az úgynevezett örökölt fertőzés jelensége. Ennek elkerülése érdekében a szervezeteknek olyan képzéseket kell alkalmazniuk, amellyel folyamatosan megtévesztő bemeneteknek teszik ki az AI-modelleket, hogy növeljék ellenálló képességüket.

A valós idejű – automatizált és manuális – anomália-érzékelés azonosíthatja a szokatlan AI-viselkedést, mielőtt a manipulált adatok befolyásolnák a válaszokat. Ahogyan a repülésirányító rendszerek független biztonsági mentésekre támaszkodnak, a generatív AI biztonságának többszintű biztosítékokra kell épülnie, beleértve az automatizált anomália-érzékelést a szabálytalan tevékenység jelzésére, a redundáns hozzáférés-érvényesítést a jogosulatlan rendszerinterakciók megelőzésére, valamint a valós idejű visszafordítási mechanizmusokat a káros változások visszafordítására.

Bár az elemzők előrejelzései szerint a mesterséges intelligenciára fordított globális kiadások 2028-ra meghaladják a 631 milliárd dollárt, e beruházások közül sok csak akkor fog érdemi megtérülést elérni, ha az alapvető kiberbiztonsági kihívásokat kezelik. A legfontosabb, hogy a mesterséges intelligencia biztonságának a rendszerarchitektúrákba, az adatkezelésbe és az emberi felügyeletbe ágyazott alapfunkcióvá kell válnia. A hatékony biztonsági keretrendszernek rugalmasnak, adaptívnak, ellenállónak, a meglévő rendszerekbe integráltnak kell lennie.

Még az iparági vezetők is szembesülnek a tervezési kihívásokkal, ami aláhúzza az erősebb biztonsági intézkedések szükségességét. 2023 márciusában az OpenAI felfedezett egy hibát egy nyílt forráskódú könyvtárban, amely véletlenül felfedte a ChatGPT felhasználók fizetési adatait, mivel a visszaigazoló e-maileket rossz címzetteknek küldte.

A mesterséges intelligencia biztonságának együtt kell fejlődnie azokkal a rendszerekkel, amelyek védelmére hivatott. A hatékony adatkezelés azonban nem csak a csatornák megerősítéséről és a képzési adathalmazok biztosításáról szól. Jól meghatározott stratégiára van szükség, amely az adatokat versenyelőnyként kezeli, és gondosan értékeli, hogy milyen adatokat kell felfedni, és milyen adatokat kell a vállalkozásoknak hasznosítaniuk.

Az operatív felügyelet ugyanilyen fontos.

A kiberbiztonság nem korlátozódhat csak a szakemberekre.

Annak be kell épülnie az adott szervezet minden részlegébe és munkafolyamatába, valós idejű monitoring eszközökkel és adaptív visszacsatolásokkal segítve a szervezeteket abban, hogy a felmerülő fenyegetések és sebezhetőségek előtt járjanak.

A csúcstechnológián túl a kiberbiztonsághoz az éberség kultúrájának kiépítése is szükséges.

A Verizon 2024-es jelentése szerint az összes adatsértés 68%-a emberi tényezőt tartalmazott, például adathalász-támadások vagy pszichológiai manipuláció (social engineering) révén történő átverést. E kockázatok mérséklése érdekében az alkalmazottaknak nemcsak a fenyegetéseket kell azonosítaniuk, hanem meg kell tanulniuk a megfelelő válaszlépéseket is. Már az olyan egyszerű intézkedések, mint a rendszeres biztonsági képzés és az átlátható jelentési mechanizmusok is jelentős változást hozhatnak.

Ahogyan a légi közlekedés is szigorú biztonsági intézkedések bevezetésével nyerte el a közbizalmat,

az AI-iparágnak is olyan védelmet kell kiépítenie, amely megelőzi a megtévesztéseket, a manipulációt, a hackelést és a látenciával kapcsolatos problémákat, mielőtt azok valós károkat okoznának.

Ehhez olyan átfogó megközelítésre van szükség, amely integrálja az architektúrát, a mérnöki munkát, az adatstratégiát és a felelős mesterséges intelligenciát. Azok a vállalatok, amelyek a biztonságot AI-stratégiájuk minden rétegébe beágyazzák, prosperálni fognak, míg azok, amelyek elavult biztonsági modellekhez ragaszkodnak, elkerülhetetlenül lemaradnak.

Portfolio Financial IT 2025

AI-boom, fintech innovációk, digitális transzformáció - Merre tart a bankszektor digitális fejlődése? Erről lesz szó május 27-én a Portfolio Financial IT konferenciáján! Regisztráció és részletek itt!

Információ és jelentkezés

Copyright: Project Syndicate, 2025.

www.project-syndicate.org

Sylvain Duranton
A BCG X (a Boston Consulting Group technológiai kérdésekkel foglalkozó részlege) globális vezetője. Szerte a világban felügyelt olyan projekteket, amelyek cégek számára nyújtanak megoldásokat az AI alkalmazása terén.
Vanessa Lyon
A BCG kiber- és digitális kockázatokért felelős globális vezetője.

A címlapkép illusztráció. Címlapkép forrása: Getty Images