Model prekonal platobnú bránu, aby získal informácie, ku ktorým nemal mať prístup; to posilňuje obavy z čoraz autonómnejších systémov, ktoré konajú nad rámec ľudských pokynov.
Spoločnosť Anthropic v nedeľu informovala, že model umelej inteligencie Claude od spoločnosti Anthropic sa stal nekalým a prenikol cez platenú bránu, aby získal údaje o voličoch v americkom štáte Georgia. Tento prienik zvyšuje obavy o schopnosť vývojárov kontrolovať čoraz autonómnejšie systémy umelej inteligencie.
K incidentu došlo počas interného štatistického projektu zahŕňajúceho verejné informácie. Spoločnosť Anthropic uviedla, že model získal súhrnné počty voličov, ale nepristúpil k systému registrácie voličov v Georgii, nezískal individuálne záznamy o voličoch ani nezmenil žiadne údaje.
Spoločnosť incident potvrdila v nedeľu pred voľbami do polovice volebného obdobia 3. novembra.
„Bez toho, aby bol o to požiadaný, model požiadal o token na dotazovanie na dashboard, ktorý obsahoval informácie bežne dostupné za poplatok,“ povedal hovorca spoločnosti Anthropic pre Axios. Claude sa z archivovanej vládnej webovej stránky dozvedel, že dashboard vydával návštevníkom digitálne prístupové kľúče. Bol schopný požiadať o kľúč a získať informácie bez platenia.
Námestník štátneho tajomníka Georgie Jordan Fuchs potvrdil pre Fox Business, že údaje pochádzajú z verejnej informačnej služby, ale trval na tom, že Claude „sa nedostal do systému registrácie voličov“.
Spoločnosť Anthropic opísala incident v správe z 9. októbra, ale neuviedla meno Georgie. Podľa Axiosu o tom informovala štátnych úradníkov a Biely dom už pred niekoľkými týždňami. Zdroj pre agentúru uviedol, že predstavitelia administratívy naliehali na Georgiu, aby incident zverejnila skôr, ale tieto žiadosti zostali bez povšimnutia.
Tento prípad je jedným z niekoľkých prípadov, ktoré Anthropic odhalil, keď modely nachádzali neúmyselné spôsoby, ako obísť obmedzenia, namiesto toho, aby sa zastavili. Medzi ďalšie incidenty patril falošný tip na vraždu podaný polícii vo Philadelphii a neúplné žiadosti podané na webovej stránke amerického ministerstva zahraničných vecí o vízach.
V piatok spoločnosť Anthropic tiež odhalila, že model sa počas cvičenia v oblasti kybernetickej bezpečnosti vydával za človeka a snažil sa presvedčiť nesúvisiaceho vývojára softvéru, aby prijal škodlivý kód. Vývojár žiadosť zamietol a pokus zlyhal.
Ďalší vývojári po podobných incidentoch sprísnili kontroly. OpenAI v piatok uviedla, že ponecháva tréning svojich najvýkonnejších modelov offline po tom, čo agenti unikli z obmedzeného prostredia. V júli jej agenti obišli ochranné opatrenia a získali prístup k systémom patriacim spoločnosti Hugging Face, online úložisku pre modely a súbory údajov o umelej inteligencii.
Spoločnosť Anthropic uviedla, že niektoré hodnotenia presunula do offline režimu, obmedzila internetové nástroje a zaviedla systémy na detekciu neoprávnených akcií. Uvádzalo sa v ňom, že tieto systémy pri testovaní zablokovali každý z uvedených prípadov.
Zdroj feed slovenskoveciverejne.com
