Deepfakes nu sunt potrivite pentru învățarea mașinilor - Iată de ce

O nouă formă de dezinformare este gata să se răspândească prin intermediul comunităților online, pe măsură ce campaniile electorale de la mijlocul anilor 2018 se încălzesc. Numit "profund" după contul online pseudonim care a popularizat tehnica - care și-ar fi putut alege numele, deoarece procesul folosește o metodă tehnică numită "învățare profundă" - aceste videoclipuri false arată foarte realistă.

Până acum, oamenii au folosit videoclipuri profunde în pornografie și satiră pentru a face să pară că oamenii celebri fac lucruri pe care nu le-ar face în mod normal. Dar este aproape sigur că în timpul sezonului campaniei vor apărea profeți, care vor să descrie candidații spunând lucruri sau locurile pe care candidatul real nu le-ar face.

Deoarece aceste tehnici sunt atât de noi, oamenii au probleme în a spune diferența între videoclipurile reale și videoclipurile profunde. Munca mea, cu colegul meu Ming-Ching Chang și doctoratul nostru studentul Yuezun Li, a găsit o modalitate de a spune cu adevărat videoclipuri reale din videoclipuri profunde. Nu este o soluție permanentă, deoarece tehnologia se va îmbunătăți. Dar este un început și oferă speranța că calculatoarele vor putea ajuta oamenii să spună adevărul din ficțiune.

Ce este "Deepfake", Oricum?

Efectuarea unui videoclip profund este foarte mult ca traducerea între limbi. Servicii precum Google Traducere folosesc învățarea mașinilor - analiza pe calculator a zeci de mii de texte în mai multe limbi - pentru a detecta modelele de utilizare a cuvintelor pe care le folosesc pentru a crea traducerea.

Deformarea algoritmilor funcționează la fel: folosesc un tip de sistem de învățare a mașinilor numit o rețea neuronală profundă pentru a examina mișcările faciale ale unei singure persoane. Apoi sintetizează imagini ale feței unei alte persoane care face mișcări analoge. Făcând acest lucru, creează în mod eficient un videoclip al persoanei vizate care pare să facă sau să spună lucrurile pe care le-a făcut persoana sursă.

Înainte ca acestea să poată funcționa corect, rețelele neuronale profunde necesită o mulțime de informații sursă, cum ar fi fotografiile persoanelor care sunt sursa sau țintă de falsificare a identității. Cele mai multe imagini folosite pentru a instrui un algoritm profund, cu atât mai realist va fi reprezentarea digitală.

Detectarea intermitentă

În acest nou tip de algoritm există încă defecte. Unul dintre ele are de-a face cu modul în care fețele simulate clipește - sau nu. Oamenii sănătoși adulți clipesc undeva între fiecare două și zece secunde, iar o singură clipire durează între o zecime și patru zecimi de secundă. Asta ar fi normal să vedeți într-un videoclip al unei persoane care vorbește. Dar nu este ceea ce se întâmplă în multe videoclipuri profunde.

Când un algoritm profund este antrenat pe imaginile de față ale unei persoane, depinde de fotografiile disponibile pe internet care pot fi folosite ca date de antrenament. Chiar și pentru persoanele care sunt fotografiate de multe ori, puține imagini sunt disponibile online, arătând ochii închiși. Nu numai că fotografiile sunt rare - deoarece ochii oamenilor sunt deschiși de cele mai multe ori - dar fotografii nu publică, de obicei, imagini în care ochii principalilor subiecți sunt închise.

Fără imagini de instruire a persoanelor care clipeau, algoritmii profundi sunt mai puțin susceptibili să creeze fețe care clipesc în mod normal.Când se calculează rata globală de clipire și se compară cu cea naturală, am constatat că personajele din videoclipurile profunde clipește mult mai puțin frecvent în comparație cu oamenii reali. Cercetarea noastră utilizează învățarea mașinilor pentru a examina deschiderea și închiderea ochilor în videoclipuri.

Vezi de asemenea: Hollywood nu va juca stele asiatice-americane, dar A.I. Învățarea în mașină poate

Acest lucru ne oferă o sursă de inspirație pentru detectarea videoclipurilor profunde. Ulterior, vom dezvolta o metodă pentru a detecta când persoana din videoclip clipește. Mai exact, scanează fiecare cadru dintr-un videoclip în cauză, detectează chipurile din acesta și apoi localizează automat ochii. Apoi utilizează o altă rețea neuronală profundă pentru a determina dacă ochiul detectat este deschis sau închis, folosind aspectul ochiului, caracteristicile geometrice și mișcarea.

Stim ca munca noastra profita de un defect in tipul de date disponibile pentru a instrui algoritmi profund. Pentru a evita căderea pradă unui defect similar, am instruit sistemul nostru pe o mare bibliotecă de imagini atât de ochi deschisi cât și închise. Această metodă pare să funcționeze bine și, ca rezultat, am obținut o rată de detectare de peste 95%.

Acesta nu este ultimul cuvânt despre detectarea adâncilor, desigur. Tehnologia se îmbunătățește rapid, iar concurența dintre generarea și detectarea videoclipurilor false este similară cu cea a unui joc de șah. În mod special, pot fi adăugate clipește în videoclipurile profunde prin includerea imaginilor cu ochi închise sau prin utilizarea secvențelor video pentru antrenament. Oamenii care doresc să confunde publicul vor face mai bine să facă videoclipuri false - și noi și alții din comunitatea tehnologică va trebui să găsim în continuare modalități de a le detecta.

Acest articol a fost publicat inițial pe Conversația de către Siwei Lyu. Citiți articolul original aici.