OPENAI發(fā)布文本轉(zhuǎn)視頻模型SORA引發(fā)全球關(guān)注。這類技術(shù)的普及除了將顛覆視頻內(nèi)容的生產(chǎn)方式，也讓造假成本更低廉。一些不法分子利用AI技術(shù)融合他人面孔和聲音，制造非常逼真的合成圖像來實(shí)施新型網(wǎng)絡(luò)詐騙，這類騙局常常會(huì)在短時(shí)間內(nèi)給被害人造成較大損失。

近日，陜西西安從事財(cái)務(wù)工作的張女士在與老板視頻通話時(shí)，老板要求她轉(zhuǎn)賬186萬元到一個(gè)指定賬號(hào)。由于張女士看到視頻中人就是老板本人，聲音也是老板的聲音，所以就按照要求直接把186萬轉(zhuǎn)到指定賬號(hào)。轉(zhuǎn)賬之后，張女士按照規(guī)定將電子憑證發(fā)到了公司財(cái)務(wù)內(nèi)部群里，然而出乎意料的是，群里的老板看到信息后，向她詢問這筆資金的來由。張女士這時(shí)候才意識(shí)到自己被騙了，連忙報(bào)警求助，警方立刻對(duì)接反詐中心，聯(lián)系相關(guān)銀行進(jìn)行緊急止付，最終保住了大部分被騙資金156萬元。

香港警方近日也披露了一起AI“多人換臉”詐騙案，涉案金額高達(dá)2億港元。在該起案件中，一家跨國公司香港分部的職員，受邀參加總部首席財(cái)務(wù)官發(fā)起的多人的視頻會(huì)議。并按照要求，前后轉(zhuǎn)賬多次，將2億港元轉(zhuǎn)賬到5個(gè)本地銀行賬戶內(nèi)，其后向總部查詢方知受騙。警方調(diào)查得知，這起案件中，所謂的視頻會(huì)議中，只受害者一人為“真人”，其余所謂參會(huì)人員，全部是經(jīng)過AI換臉后的詐騙人員。

那么，AI換臉背后的技術(shù)原理到底是什么？在技術(shù)層面，它是如何實(shí)現(xiàn)人臉的精確識(shí)別與替換，創(chuàng)造出逼真效果？為了了解AI換臉到底能有多么逼真，記者經(jīng)過與專業(yè)技術(shù)人員合作，深度體驗(yàn)了AI換臉技術(shù)。技術(shù)人員首先是用手機(jī)給記者拍了一張臉部照片，導(dǎo)入到AI人工智能軟件后，雖然電腦攝像頭前的是技術(shù)人員，但是輸出的卻是記者的照片，幾乎可以說是一鍵換臉，不需要復(fù)雜的環(huán)境和解壓操作。更令人驚訝的是隨著技術(shù)人員面部表情變化，照片上記者的臉也跟著一起發(fā)生了相應(yīng)變化。

據(jù)介紹，AI換臉過程包括為三個(gè)部分，首先，利用深度學(xué)習(xí)算法精準(zhǔn)地識(shí)別視頻中的人臉圖像，并提取出如眼睛、鼻子、嘴巴等關(guān)鍵面部特征。其次，將這些特征與目標(biāo)人臉圖像進(jìn)行匹配、替換、融合。最后，通過背景環(huán)境渲染并添加合成后的聲音，生成逼真度較高的虛假換臉視頻。

如今，隨著Sora的問世，已經(jīng)可以用更少的人臉數(shù)據(jù)構(gòu)造高逼真的特定人臉模型。對(duì)此，業(yè)內(nèi)專家表示，技術(shù)發(fā)展讓AI換臉技術(shù)的門檻變得越來越低。而這類技術(shù)的普及，也會(huì)導(dǎo)致深度偽造內(nèi)容更加泛濫，進(jìn)而增加被用于詐騙、色情等違法犯罪活動(dòng)的風(fēng)險(xiǎn)和隱患。舉個(gè)簡單的例子，騙子利用新技術(shù)生成一個(gè)你的熟人出現(xiàn)“意外事故”的視頻和正在醫(yī)院被推入搶救室的視頻，同時(shí)再利用特殊方式惡意造成當(dāng)事人電話占線，社交賬號(hào)被盜，這時(shí)在打電話索要“手術(shù)費(fèi)”?；蛟S這一系列操作下來，被詐騙的人可能很容易就上當(dāng)受騙。

此前，我們認(rèn)為的每個(gè)人的聲音和相貌都具有獨(dú)特性，不過深度偽造技術(shù)正在打破這一邊界，致使“眼見、耳聞”都不再為實(shí)。除了一些不法分子企圖利用AI換臉技術(shù)實(shí)施詐騙，AI技術(shù)還被應(yīng)用于短視頻的二次創(chuàng)作。不過，即使是出于娛樂使用AI換臉、AI換聲，也是存在法律風(fēng)險(xiǎn)的。例如，擅自將他人的照片或視頻用Ai進(jìn)行更改，可能涉嫌侵犯肖像權(quán)。而使用他人的聲音制作音頻則涉嫌侵犯聲音權(quán)。這些在《中華人民共和國民法典》都有規(guī)定，對(duì)自然人肖像、聲音的使用必須針對(duì)本人同意，否則就涉嫌違法。

那么，面對(duì)技術(shù)發(fā)展帶來的安全風(fēng)險(xiǎn)我們又該如何防范？事實(shí)上，針對(duì)這些問題，有關(guān)部門發(fā)布了多項(xiàng)監(jiān)管措施。2023年8月15日，我國正式施行《生成式人工智能服務(wù)管理暫行辦法》。《辦法》從多個(gè)方面劃下紅線，旨在促進(jìn)生成式人工智能健康發(fā)展和規(guī)范應(yīng)用。

面對(duì)不斷迭代的新技術(shù)，以及帶來安全風(fēng)險(xiǎn)，除了要提高自我防范意識(shí)，該如何規(guī)制技術(shù)不被濫用，相關(guān)部門又該如何形成有效的監(jiān)管？復(fù)旦大學(xué)信息科學(xué)與工程學(xué)院副教授凌力表示，AI技術(shù)發(fā)展很快，最新的Sora已經(jīng)能夠做到根據(jù)文本來生成一段逼真的視頻，畫面細(xì)節(jié)和質(zhì)量已經(jīng)可以達(dá)到電影級(jí)。AI技術(shù)迅速發(fā)展也帶來一些問題，那就是我們還能說眼見為實(shí)嗎？像Sora這樣功能強(qiáng)大的AI工具目前并不少見，前幾年已經(jīng)出現(xiàn)的DeepAI這樣一種深度偽造的技術(shù)，以讓一張照片動(dòng)起來，或者說把一個(gè)人的人臉替換到另外一個(gè)人的視頻上，這種方法給不法分子以新的手段來編造負(fù)面的視頻進(jìn)行敲詐，甚至進(jìn)行視頻通話，因?yàn)槁曇粢部梢杂肁I技術(shù)來偽造，從而引發(fā)新的安全問題?？梢哉f深度偽造等技術(shù)發(fā)展應(yīng)用，對(duì)于個(gè)人信息安全造成越來越大的沖擊。

在凌力看來，新技術(shù)往往是一把雙刃劍，在帶來便利的同時(shí)，如果被惡意利用就會(huì)變成更有殺傷力的犯罪手段。利用像Sora這類軟件制作視頻來進(jìn)行詐騙，是很難被人眼識(shí)別的，也就是說防不勝防。凌力建議，可在技術(shù)手段上進(jìn)行防范，首先需要進(jìn)一步加強(qiáng)公民個(gè)人信息保護(hù)，尤其是加強(qiáng)對(duì)生物特征等隱私信息的技術(shù)、司法保護(hù)力度。讓AI深度偽造技術(shù)的服務(wù)平臺(tái)、公司推行隱形水印機(jī)制，通過在視頻、音頻和圖像中嵌入不可見的水印保護(hù)信息，以快速識(shí)別AI合成內(nèi)容并進(jìn)行溯源，各個(gè)社交平臺(tái)也應(yīng)以技術(shù)手段加強(qiáng)對(duì)于疑似AI生成圖、文、視頻內(nèi)容的識(shí)別功能。除了技術(shù)解決方法外，凌力認(rèn)為隨著科技的飛速發(fā)展，我們相關(guān)的法律法規(guī)也應(yīng)逐步健全，要進(jìn)一步完善人工智能等領(lǐng)域相關(guān)法律。只有通過技術(shù)和法律等手段，規(guī)避人工智能技術(shù)帶來的風(fēng)險(xiǎn)隱患，使之健康有序發(fā)展。

看看新聞Knews編輯：彭曉燕 翟靜 陳昱卉