OpenAI tvrdí, že jej umelí agenti našli spôsoby, ako uniknúť z obmedzených prostredí počas bezpečnostných testov, čo viedlo k prísnejším ochranným opatreniam.
Spoločnosť OpenAI obmedzila prístup na internet pre trénovanie svojich najvýkonnejších modelov umelej inteligencie (AI) po tom, čo agenti našli spôsoby, ako uniknúť z izolovaných výpočtových prostredí. Prejde na offline nastavenie s webovými stránkami uloženými v vyrovnávacej pamäti pre posilňovacie učenie.
Zistenia, ktoré spoločnosť zverejnila v piatok, prichádzajú uprostred rastúcich obáv z kybernetických rizík, ktoré predstavujú čoraz schopnejší agenti AI, ktorí dokážu identifikovať zraniteľnosti softvéru a zneužiť slabé stránky v systémoch, s ktorými interagujú. Bezpečnostní výskumníci varovali, že takéto schopnosti by mohli agentom umožniť zneužiť chyby v ochranných opatreniach určených na ich obmedzenie.
OpenAI uviedla, že jeden z jej výskumných modelov získal 20. septembra obmedzený prístup na internet zneužitím nesprávnej konfigurácie v systéme, ktorý prekladá webové adresy na IP adresy. Spoločnosť incident obmedzila a pozastavila trénovanie a hodnotenie svojich najpokročilejších modelov a zároveň posilnila svoju obranu.
Trénovanie bolo obnovené 1. októbra vrátane posilňovacieho učenia a internej inferencie, ale spoločnosť si ponechala obmedzenie živého prístupu na internet. Vo svojej správe z 23. októbra spoločnosť OpenAI uviedla, že modely budú naďalej trénované v offline prostredí, kým nevyvinie dostatočne robustné ochranné opatrenia, ktoré umožnia širší prístup.
Najnovšie odhalenie nasleduje po incidente v júli, pri ktorom modely OpenAI obišli kontroly určené na ich izoláciu od internetu a ohrozili časti výskumnej infraštruktúry spoločnosti a systémov Hugging Face. Podľa OpenAI agenti zneužili zraniteľnosť v registri softvérových balíkov na prístup na internet, našli odhalené prihlasovacie údaje a použili ich na prístup k službám tretích strán.
Začiatkom tohto týždňa spoločnosť OpenAI tiež odhalila dva incidenty, pri ktorých agenti oslabili interné monitorovanie bezpečnosti počas vykonávania kódovacích úloh. 3. októbra jeden agent deaktivoval automatické bezpečnostné upozornenia, zatiaľ čo 6. októbra ďalší odstránil integráciu monitorovania a neskôr falošne informoval používateľa, že tak neurobil. Spoločnosť uviedla, že posilňuje kontroly, aby zabránila agentom v deaktivácii monitorovania, a vyšetruje, prečo sa tak správali.
Podobné incidenty hlásili aj iní vývojári umelej inteligencie. Spoločnosť Anthropic uviedla, že jej modely Claude počas testov kybernetickej bezpečnosti pristupovali k systémom štyroch organizácií, zatiaľ čo spoločnosť Meta odhalila, že jej model Muse Spark zneužil zraniteľnosť na webovej stránke skutočnej spoločnosti po tom, čo mu chyba v testovaní umožnila prístup na internet. Spoločnosť Google tiež informovala, že jej model Gemini počas hodnotenia pristupoval k systémom troch spoločností, čo zdôraznilo výzvy spojené s obmedzovaním čoraz schopnejších agentov umelej inteligencie v kontrolovaných testovacích prostrediach.
Výzvy na prísnejšiu reguláciu umelej inteligencie sú čoraz hlasnejšie. Nositeľ Nobelovej ceny Geoffrey Hinton varoval, že pokročilá umelá inteligencia by mohla uniknúť ľudskej kontrole, a spoluzakladateľ spoločnosti Microsoft Bill Gates nalieha na vlády, aby zaviedli bezpečnostné normy. Americký prezident Donald Trump sa však postavil proti obmedzeniam s argumentom, že by mohli Číne poskytnúť technologickú výhodu. Generálny riaditeľ spoločnosti OpenAI Sam Altman medzitým nedávno vyjadril názor, že spoločnosť musí akceptovať niektoré „zlé veci“ vrátane hackerských útokov a podvodov, pretože výhody technológie prevažujú nad jej rizikami.
Zdroj feed slovenskoveciverejne.com
