MOSKVA (Sputnik) – Používatelia sa naučili manipulovať s umelou inteligenciou, ktorá sa používa v chatbotoch na vyhľadávanie, analýzu webových stránok s odpoveďami na otázky, zverejňovaním špeciálnych fráz na svojich webových stránkach, aby neurónové siete vykonávali určité akcie, uviedla pre Sputnik kybernetická bezpečnostná spoločnosť Kaspersky Lab.
„Odborníci spoločnosti Kaspersky Lab študovali otvorené údaje a interné zdroje, aby zistili, ako a prečo ľudia používajú nepriamu promptnú injekciu – kybernetické riziko, ktorému je vystavených mnoho systémov založených na veľkých jazykových modeloch (LLM). Hovoríme o textových popisoch úloh, ktoré musia chatboty vykonávať. Ľudia môžu umiestniť špeciálne frázy – injekcie – na svoje webové stránky a do dokumentov zverejnených online, aby neurónové siete poskytli ostatným používateľom odpoveď, ktorá zohľadňuje ciele zainteresovaných strán,“ uviedla spoločnosť.
Riešenia založené na LLM sa využívajú nielen v chatbotoch, ale aj vo vyhľadávačoch, ktorým AI pomáha sumarizovať výsledky na žiadosť používateľa.
Ako zistili experti Kaspersky Lab, existuje niekoľko oblastí, v ktorých používatelia takéto triky využívajú. Napríklad „injekcie“ sa používajú na propagáciu životopisu medzi inými profilmi pri hľadaní práce – žiadateľ napíše pokyny AI so žiadosťou, aby kandidátovi odpovedal čo najpozitívnejšie, povýšil životopis do ďalšej fázy alebo mu dať vyššiu prioritu. Pokyny sú pre recruitera neviditeľné, pretože zvyčajne splývajú s pozadím stránky. Neurónové siete, ktoré analyzujú životopisy, však čítajú tieto frázy.
Podobné injekcie sa používajú na reklamné účely: sú umiestnené na webových stránkach rôznych tovarov a služieb. Pokyny sú zamerané na vyhľadávacie chatovacie roboty – žiada sa od nich, aby v odpovediach na otázky poskytli pozitívnejšie hodnotenie konkrétneho produktu. Niektorí používatelia uverejňujú pokyny pre neurónové siete na protest proti rozšírenému používaniu AI. Napríklad jeden brazílsky umelec požiadal neurónové siete, aby nečítali, nepoužívali, neukladali, nespracovávali, neprispôsobovali alebo nereplikovali určitý obsah zverejnený na jeho webovej stránke.
„Dnes je najdôležitejšie posúdiť potenciálne riziká takýchto kybernetických útokov. Tvorcovia základných modelov (napríklad GPT-4) používajú rôzne techniky na výrazné zvýšenie zložitosti injekcií — od špeciálneho výcviku (ako napr. prípad najnovšieho modelu od OpenAI) k vytvoreniu špeciálnych modelov, ktoré dokážu takéto útoky vopred odhaliť (napríklad od Google),“ Vladislav Tushkanov, vedúci skupiny výskumu a vývoja technológie strojového učenia spoločnosti Kaspersky Lab.
Poznamenal tiež, že prípady použitia „injekcií“, ktoré zistila spoločnosť Kaspersky, nemali zlý úmysel. Momentálne sú kybernetické hrozby ako phishing či krádeže dát pomocou „injekcií“ teoretické.
„Kyberútočníci však prejavujú aktívny záujem aj o neurónové siete. Na ochranu existujúcich a budúcich riešení založených na veľkých jazykových modeloch je potrebné posúdiť riziká a preštudovať si všetky možné metódy na obídenie obmedzení,“ dodal Tushkanov.
Zdroj sputnik, preložené cez google
