MOSKVA (Sputnik) – Používatelia sa nau?ili manipulova? s umelou inteligenciou, ktorá sa používa v chatbotoch na vyh?adávanie, analýzu webových stránok s odpove?ami na otázky, zverej?ovaním špeciálnych fráz na svojich webových stránkach, aby neurónové siete vykonávali ur?ité akcie, uviedla pre Sputnik kybernetická bezpe?nostná spolo?nos? Kaspersky Lab.
„Odborníci spolo?nosti Kaspersky Lab študovali otvorené údaje a interné zdroje, aby zistili, ako a pre?o ?udia používajú nepriamu promptnú injekciu – kybernetické riziko, ktorému je vystavených mnoho systémov založených na ve?kých jazykových modeloch (LLM). Hovoríme o textových popisoch úloh, ktoré musia chatboty vykonáva?. ?udia môžu umiestni? špeciálne frázy – injekcie – na svoje webové stránky a do dokumentov zverejnených online, aby neurónové siete poskytli ostatným používate?om odpove?, ktorá zoh?ad?uje ciele zainteresovaných strán,“ uviedla spolo?nos?.
Riešenia založené na LLM sa využívajú nielen v chatbotoch, ale aj vo vyh?adáva?och, ktorým AI pomáha sumarizova? výsledky na žiados? používate?a.
Ako zistili experti Kaspersky Lab, existuje nieko?ko oblastí, v ktorých používatelia takéto triky využívajú. Napríklad „injekcie“ sa používajú na propagáciu životopisu medzi inými profilmi pri h?adaní práce – žiadate? napíše pokyny AI ??so žiados?ou, aby kandidátovi odpovedal ?o najpozitívnejšie, povýšil životopis do ?alšej fázy alebo mu da? vyššiu prioritu. Pokyny sú pre recruitera nevidite?né, pretože zvy?ajne splývajú s pozadím stránky. Neurónové siete, ktoré analyzujú životopisy, však ?ítajú tieto frázy.
Podobné injekcie sa používajú na reklamné ú?ely: sú umiestnené na webových stránkach rôznych tovarov a služieb. Pokyny sú zamerané na vyh?adávacie chatovacie roboty – žiada sa od nich, aby v odpovediach na otázky poskytli pozitívnejšie hodnotenie konkrétneho produktu. Niektorí používatelia uverej?ujú pokyny pre neurónové siete na protest proti rozšírenému používaniu AI. Napríklad jeden brazílsky umelec požiadal neurónové siete, aby ne?ítali, nepoužívali, neukladali, nespracovávali, neprispôsobovali alebo nereplikovali ur?itý obsah zverejnený na jeho webovej stránke.
„Dnes je najdôležitejšie posúdi? potenciálne riziká takýchto kybernetických útokov. Tvorcovia základných modelov (napríklad GPT-4) používajú rôzne techniky na výrazné zvýšenie zložitosti injekcií — od špeciálneho výcviku (ako napr. prípad najnovšieho modelu od OpenAI) k vytvoreniu špeciálnych modelov, ktoré dokážu takéto útoky vopred odhali? (napríklad od Google),“ Vladislav Tushkanov, vedúci skupiny výskumu a vývoja technológie strojového u?enia spolo?nosti Kaspersky Lab.
Poznamenal tiež, že prípady použitia „injekcií“, ktoré zistila spolo?nos? Kaspersky, nemali zlý úmysel. Momentálne sú kybernetické hrozby ako phishing ?i krádeže dát pomocou „injekcií“ teoretické.
„Kyberúto?níci však prejavujú aktívny záujem aj o neurónové siete. Na ochranu existujúcich a budúcich riešení založených na ve?kých jazykových modeloch je potrebné posúdi? riziká a preštudova? si všetky možné metódy na obídenie obmedzení,“ dodal Tushkanov.
Zdroj sputnik, preložené cez google
