Cercetătorii cer un comutator de ucidere doar în cazul în care robotii ne aprind

$config[ads_kvadrat] not found

Întreupător dublu pentru circuite separate

Întreupător dublu pentru circuite separate
Anonim

Aproape ori de câte ori apare o discuție majoră despre viitorul inteligenței artificiale, subiectul anarhiei și al supremilor roboți tinde să apară. Ideea oamenilor și a ființelor artificiale avansate care trăiesc împreună a generat sute de povestiri despre modul în care ar funcționa; cel mai recent, jocul video Overwatch a uimit lumea, spunându-i despre viitorul nostru, ceva timp după un război civil masiv versus robot. Când un inginer de la Boston Dynamics lansează unul dintre robotii cu patru picioare de dragul unui test de stres, este greu să nu ne întrebăm dacă botul o va aminti sau nu într-o zi.

Toate acestea (împreună cu bunul simț de bază în ceea ce privește securitatea și accidentele) au determinat un grup de cercetători să publice o lucrare nouă care să se axeze pe dezvoltarea "agenților în siguranță întrerupți"; sisteme care vor "întrerupe" A.I. dacă ceva nu merge bine. Lucrarea a fost publicată prin intermediul Machine Intelligence Research Institute și este un studiu privind dezvoltarea sistemelor propuse. Studiul și propunerea folosesc un sistem de recompensă ca un exemplu și sunt, de fapt, mult mai complicate decât lovirea "butonului roșu mare" propus pe foaie. Predarea moralității către A.I. a reprezentat o parte importantă a propunerii.

Dacă un astfel de agent funcționează în timp real sub supraveghere umană, poate fi necesar ca un operator uman să apese din nou pe butonul roșu mare pentru a împiedica agentul să continue o secvență dăunătoare de acțiuni - dăunătoare pentru agent sau pentru mediul înconjurător și conduc agentul într-o situație mai sigură. Cu toate acestea, dacă agentul de învățare se așteaptă să primească recompense din această secvență, poate învăța pe termen lung să evite astfel de întreruperi, de exemplu dezactivând butonul roșu - ceea ce este un rezultat nedorit. Această lucrare explorează o modalitate de a vă asigura că un agent de învățare nu va învăța să împiedice (sau să căute!) Să fie întrerupt de mediul înconjurător sau de un operator uman.

Trebuie să-i placă ori de cîte ori documentele de cercetare despre anarhia robotului folosesc termenul "rezultat nedorit" - totuși, lucrarea continuă să explice testele efectuate și ce se poate face despre astfel de situații în viitor. Puteți citi hârtia completă aici.

$config[ads_kvadrat] not found