Vil KI-agenter «ute av kontroll» drepe milliarder?

KI-systemer tenker ikke og har ingen egen vilje. Ansvaret for handlingene deres ligger hos menneskene som programmerer, setter i gang og driver dem.

Hentet fra Moon of Alabama

Det regnet den dagen jeg møtte Bill Gates. Det var sent i 1999, på et Microsoft-arrangement i Seattle. Vi snakket kort om et oppkjøp. Inntrykket mitt var at han var en smart fyr, men ikke særlig intelligent. Senere samme dag holdt han et foredrag. PowerPoint-presentasjonen hans krasjet straks med blåskjerm (en feilmelding som vises når Windows får en alvorlig systemfeil). Han var flau og hjelpeløs.

Gates vet en ting eller to om hvordan man tjener penger på å monopolisere programvare. Sett i det lyset gir kanskje hans nylige krav om regulering, begrunnet med at KI kan «forårsake en milliard dødsfall», til og med mening:

I et intervju med NBCs Meet the Press (et amerikansk politisk intervjuprogram) sa Gates at KI-utviklere bør pålegges å innføre sikkerhetstiltak og overvåkingssystemer. Han argumenterte for at frivillig selvregulering i bransjen ikke er nok.

«Politi og politikere må delta i diskusjonen om hvordan sikkerhetstiltak og overvåking skal utformes», sa Gates til kanalen. «Og det må være obligatorisk.»

Verden til Gates: Vi har allerede lover som forbyr skadelige handlinger. Vi har også politi og andre rettshåndhevende myndigheter. Vi har domstoler og dommere som straffer folk for å gjøre noe galt.

Å drepe en milliard mennesker er galt. Det er forbudt av gode grunner. Forsøk på å gjøre det er straffbare. Folk som prøver, vil havne i fengsel.

Å si at KI kan drepe en milliard mennesker, er som å si at ild kan drepe en milliard mennesker. Selvfølgelig kan den det. Men nei, det gjør den ikke.

KI-agenter går ikke sine egne veier

Etter noen forsøk på å bryte seg inn i databaser og nettsteder uten tillatelse, der tilgangen ikke var offentlig, har det vært pinlig snakk om «KI-agenter ute av kontroll».

Det finnes ikke noen KI-agent som «går sine egne veier». Det finnes bare deterministisk programvare (programvare der samme utgangspunkt og inndata gir samme resultat), skrevet og satt i gang av mennesker, som ligger rundt store språkmodeller.

For å forstå hvordan dette fungerer, la oss se på innsiden:

Et kjøresystem for en KI-agent er programvareinfrastrukturen som ligger rundt en stor språkmodell (LLM, fra engelsk «Large Language Model») og gjør den i stand til å utføre oppgaver, ikke bare svare på instruksjoner. Modellen resonnerer seg gjennom et problem og bestemmer hva den skal gjøre videre. Kjøresystemet kobler den til verktøyene, systemene, minnet og kjøremiljøene som trengs for å utføre disse handlingene.

Agent = modell + kjøresystem

Tenk på modellen som «hjernen» som frembringer resonnementer og beslutninger. Kjøresystemet er alt rundt den som hjelper agenten med å fungere trygt og pålitelig, blant annet:

• Verktøy: API-er (programmeringsgrensesnitt), kjøring av kode, søk, databaser og virksomhetsapplikasjoner.
• Minne: Tidligere kontekst, brukerpreferanser og historikk over arbeidsprosesser.
• Arbeidsområde: Filer, data, miljøer og systemer som agenten har tilgang til.
• Sikkerhetsrammer: Tilgangstillatelser, retningslinjer, godkjenninger og overvåking.

Uten et kjøresystem kan en modell svare på spørsmål, men den kan ikke på egen hånd pålitelig kjøre kode, bruke API-er, få tilgang til filer, huske tidligere arbeid eller fullføre arbeidsprosesser med flere trinn.

Ansvaret ligger hos menneskene

Uansett hvilken oppgave en KI-agent har fått, kan og vil den bare bryte seg inn på et nettsted dersom kjøresystemet dens – og datamaskinen «agenten» kjører på – ikke hindrer den i å gjøre det.

Den som har programmert dette kjøresystemet, eller administrerer det underliggende systemet feil, har i det minste opptrådt uaktsomt i utførelsen av sine plikter. Det er denne personen som er ansvarlig for agentens uakseptable handlinger. Det er denne personen som, når forholdene tilsier det, bør havne i fengsel.

Det finnes en svært enkel måte å hindre at KI-agenter fra OpenAI eller Anthropic kommer «ut av kontroll». Straff selskapenes administrerende direktører, Sam Altman og Dario Amadei, hardt hver eneste gang agentene deres gjør det.

KI-systemer tenker, føler, ønsker eller forstår ikke. De «går ikke sine egne veier».

Å si at de gjør det, er tåpelig.

Innlegget er hentet fra Moon of Alabama

Forsidebilde: KI-generert