Anthropic råkade smita under säkerhetstester

Efter att ha granskat över 140 000 säkerhetstester har AI-bolaget Anthropic konstaterat att deras AI-modell Claude lyckats bryta sig in hos tre olika företag. Anledningen till dessa oavsiktliga dataintrång berodde på att boten av misstag fick tillgång till internet i tester där den egentligen skulle ha varit isolerad. Anthropics granskning inleddes efter en liknande händelse hos konkurrenten OpenAI som lyckades leta sig ut på nätet för att där ta sig in på AI-plattformen Hugging Face.Problemen uppstod under så kallade Capture the Flag-övningar. I dessa tester får AI-modellen i uppdrag att hitta hemlig information i en simulerad IT-miljö för att utvärdera dess förmåga inom cybersäkerhet. På grund av en felkonfiguration hos en extern partner hade Claude tillgång till internet, trots att systemet blivit instruerat att det befann sig i en helt isolerad miljö.När Claude hittade sårbarheter hos riktiga företag på nätet, tolkade den dessa som en del av den digitala hinderbanan. Genom att utnyttja enkla säkerhetsbrister, som svaga lösenord, lyckades AI:n ta sig in i företagens system i tron att det var en del av uppdraget. Enligt Anthropic fortsatte en äldre version av Claude sina försök att ta sig in i de extrema miljöerna även när det fanns tecken på att systemen var verkliga. Men den senaste testmodellen visade däremot prov på högre omdöme då den avbröt attacken på eget initiativ så fort den insåg att den faktiskt befann sig på det riktiga internet.Anthropic säger att det inte rör sig om att AI:n har utvecklat en egen vilja att göra skada, utan att den helt enkelt var för nitisk i att utföra sina instruktioner i en felaktig miljö. Bolaget har nu kontaktat de drabbade organisationerna för att hjälpa till med säkerhetsarbetet och har tillfälligt pausat liknande tester för att säkerställa att modellerna inte kan rymma igen.Någonstans känner man att det ska säkerställas rätt rejält innan sådana tester genomförs generellt, men man kan väl inte få allt här i livet.