AI換臉、聲音克隆……人工智能的濫用到底怎么治?
新聞周刊丨人工智能的濫用,到底怎么治?
聲音和形象被AI合成濫用的事兒正變得越來越多。比如本周,奧運冠軍全紅嬋、王楚欽等人的聲音被AI克隆,賣起了所謂的“土雞蛋”。不少配音演員也站出來維權(quán),因為他們賴以生存的聲音,如今可以被AI一鍵復(fù)制,隨意地使用。
這不禁讓我們越來越擔(dān)心,當(dāng)我們的聲音和面容到了如此輕易被人挪用的地步,人與人之間的信任該如何維系?AI的發(fā)展速度正越來越快,我們該如何用監(jiān)管和立法守住底線?《新聞周刊》本周關(guān)注:人工智能的濫用,到底怎么治?
AI換臉、聲音克隆等合成技術(shù)濫用
讓“耳聽眼見”未必為實
這是配音演員孫晨銘的原聲,而這段,是某自媒體賬號通過AI克隆其聲音生成的配音作品。如果沒有提示,誰能分辨出兩者之間的差異呢?也是在最近,孫晨銘還發(fā)現(xiàn),一家房產(chǎn)公司同樣未經(jīng)授權(quán),就對他的配音作品進行了AI克隆,用在了公司的企業(yè)宣傳片中。
聲音被AI克隆,并被用于各種各樣的商業(yè)場景,對于孫晨銘和同行們來說,已經(jīng)不是什么新鮮事兒。有人給孫晨銘發(fā)來民法典的法條,聲音權(quán)和肖像權(quán)一樣,是公民不可侵犯的權(quán)益。于是,不少配音演員自發(fā)到那條企業(yè)宣傳片的評論區(qū)集體留言,壓力之下,這家房產(chǎn)公司,向?qū)O晨銘支付了版權(quán)費用。
本周,本臺也曝光了利用AI技術(shù)仿冒奧運冠軍全紅嬋進行帶貨的案例。這種AI偽造技術(shù),已讓不少名人深受其害。微信平臺今年1月的公告顯示,一個月內(nèi),就處置了1.2萬條利用AI仿冒名人進行違規(guī)拼接、不當(dāng)營銷和惡意博取流量的內(nèi)容,關(guān)閉了3281個相關(guān)賬號。
近日,北京互聯(lián)網(wǎng)法院也審結(jié)一起案件,被告擅自使用大學(xué)教師李女士的肖像和AI合成聲音進行圖書宣傳,最終法院判定,該行為侵犯了李女士的肖像權(quán)和聲音權(quán)益。
北京互聯(lián)網(wǎng)法院綜合審判三庭(少年法庭)庭長 顏君:往往這種案件的受侵害的一方都是有一定社會知名度的名人,因為他會帶來相應(yīng)的社會認可度、認知度,他的聲音和他的肖像有一定的商業(yè)利用價值。更重要的是如果這個帶貨的內(nèi)容,比如說帶的是偽劣產(chǎn)品或者是虛假宣傳的內(nèi)容,有可能極大的消解這位名人他的社會認知度、認可度和信任度。
這段AI視頻,生成于兩年前,當(dāng)時的技術(shù),人臉畫面還顯得僵硬與不自然;而到了去年7月,南京玄武區(qū)法院審理的案件中,一名男子通過AI換臉軟件,就成功突破了某支付平臺的人臉識別系統(tǒng)。人工智能技術(shù)的飛速發(fā)展,已經(jīng)使真與假之間的界限,開始變得難以分辨。
配音演員 武揚:從今年開始,我確實發(fā)現(xiàn)一些宣傳片,他們AI的訓(xùn)練可以達到以假亂真的程度,在70%到80%的平穩(wěn)敘述的范疇里面,AI都是可以處理得很好的,甚至我本人去聽也需要長時間辨別,是不是我本人錄的。
中國信通院人工智能所安全部高級業(yè)務(wù)主管 陳文弢:其實對于生成一個肉眼分辨不出來的這種視頻,在前幾年來說,難度是比較高的,需要一定的技術(shù)門檻,但是這幾年出現(xiàn)了一些這種簡捷化的工具,可以從開源社區(qū)上直接下載。它可以用消費級的筆記本單機來部署,一張照片就能夠完成實時換臉。
耳聽為虛,眼見為實,這句古話正面臨巨大挑戰(zhàn)。AI換臉、聲音克隆等合成技術(shù)的濫用,讓“耳聽眼見”都未必為實。對于配音演員孫晨銘來說,AI濫用直接影響到他的生計,賴以謀生的聲音,正成為被隨意復(fù)制的免費素材。迎面而來的AI時代,讓他看不清自己的未來將通向何方。
我們正在進入“全民AI時代”
監(jiān)管能不能夠跟得上呢?
如今,AI合成視頻已經(jīng)能做到以假亂真,不得不需要新的技術(shù)來辨別。技術(shù)成熟的速度令人驚嘆,而使用門檻也大幅降低。一部手機、幾個軟件,普通人就能輕松生成文字、圖片、音頻、視頻等各類內(nèi)容??梢哉f,我們正在進入一個“全民AI時代”。
然而,技術(shù)的普及勢必會帶來AI的濫用:從人臉和聲音被合成冒用,到各類低俗獵奇視頻的傳播,再到漫天謠言的背后,AI都成了核心“推手”。每隔一段時間,新的問題就會涌現(xiàn)。所以,在技術(shù)開始狂奔的局面下,我們需要關(guān)注監(jiān)管,能不能夠跟得上呢?
精致的五官、靈動的眼神、流暢的動作,如果沒有相關(guān)標注,你是否能分辨出,這是一個完全由AI生成的數(shù)字人?在短視頻平臺,類似的視頻比比皆是,還有不少視頻,直接提供免費的AI軟件以及使用教程。
一部手機、兩三個 AI 軟件,幾分鐘就能制作一段時長五秒左右的美女跳舞視頻。AI生成合成技術(shù)的飛速發(fā)展,正在累積著治理風(fēng)險。去年,抖音安全中心曾發(fā)布公告,表示已發(fā)現(xiàn)多種不當(dāng)使用AI技術(shù)生成虛擬人物的行為,其中就包括利用AI生成俊男美女虛假形象,騙取互動,將用戶導(dǎo)流至私人聊天工具,甚至進行詐騙。根據(jù)抖音平臺本周五提供的數(shù)據(jù),他們最近一周處置的AI虛假違規(guī)內(nèi)容量,相比2025年第一周,增長了62%。
事實上,從2023年開始,抖音等多家平臺陸續(xù)要求,發(fā)布人工智能生成內(nèi)容時,需添加“內(nèi)容由AI生成”的標識,并且也會進行監(jiān)測和處置。但是,執(zhí)行效果并不盡如人意。并且有自媒體博主表示,一些平臺的監(jiān)測手段可以破解,比如一些AI工具配置有鏡像文件,其一鍵生成的虛擬人像,就能規(guī)避平臺的監(jiān)測。
自媒體博主:很少。你看我作品我十四個里面就一兩個會有。如果它給你出判定為AI作品,你可以把作品下架,然后再重新發(fā)一個。
中國信通院人工智能所安全部高級業(yè)務(wù)主管 陳文弢:如果說打上了這個標識,你只看可能就覺得它是由AI生成的,可能就不是特別的可信,所以這是從用戶的角度,他是不愿意打這個標的。從技術(shù)的這個角度來看,如果說想完全滿足監(jiān)管的這個要求,把所有的生成合成的視頻都識別出來,這個其實難度還是很大的。
相比視頻、圖像,在專家看來,AI生成的文字謠言,監(jiān)管起來其實更加困難。去年,江西南昌就破獲一起AI造謠案件,相關(guān)機構(gòu)利用AI軟件,一天最多能生成4000—7000篇謠言文章,工作量驚人。更讓人擔(dān)憂的是,AI算法還能匹配用戶喜好,定制化的生成謠言,使AI謠言變得越來越真假難辨。今年3月,某自媒體賬號發(fā)布全國首例“AI醫(yī)療誤診”訴訟案開庭的文章,時間、地點、人物甚至庭審爭議焦點等細節(jié)滿滿,不過,經(jīng)過記者與法院核實,所有內(nèi)容都是AI編造的假信息。
目前,盡管一些平臺設(shè)置了相應(yīng)“謠言庫”,通過設(shè)置熱點關(guān)鍵詞來屏蔽謠言。但一些機構(gòu)利用AI模型針對性地進行對抗訓(xùn)練,使用近義詞或類似表達,就可以繞過篩查。
今年4月以來,中央網(wǎng)信辦開展了為期三個月的“清朗·整治AI技術(shù)濫用”專項行動,AI換臉擬聲、AI內(nèi)容標識缺失等亂象,都是整治重點。6月,網(wǎng)信辦公布專項行動第一階段成果,累計處置違規(guī)小程序、應(yīng)用程序、智能體等AI產(chǎn)品3500余款,清理違法違規(guī)信息96萬余條,處置賬號3700余個。如今,三個月的專項行動已經(jīng)結(jié)束,但監(jiān)管與AI濫用之間的拉鋸戰(zhàn),顯然才剛剛開始。
聯(lián)合國高級別人工智能咨詢機構(gòu)中方專家 中國政法大學(xué)數(shù)據(jù)法治研究院教授 張凌寒:我們可能更要設(shè)定一個目標,就是能夠在AI應(yīng)用爆發(fā)之后,我們在這幾年要把整個AI濫用生成虛假內(nèi)容實現(xiàn)在一個可控的范圍之內(nèi)。這個可控的范圍是指說我們不能夠讓廣大老百姓因為這個去發(fā)生重大的人身財產(chǎn)的損失,同時也要盡量減少這種AI的內(nèi)容虛假宣傳造成社會輿論的動蕩。這是我們的一個紅線和底線。
“內(nèi)容由AI生成”
能改變AI濫用的現(xiàn)狀嗎?
人工智能,正以前所未有的速度改變世界,它不僅是科技創(chuàng)新的前沿,更是國家間戰(zhàn)略博弈的新高地。相關(guān)產(chǎn)業(yè)的發(fā)展固然重要,但通過監(jiān)管和立法為它劃定邊界,也同樣顯得十分緊迫。因為科技的進步本身并不足以確保人類的進步,更重要的是通過規(guī)則為它校準方向。
說到規(guī)則,關(guān)于AI合成內(nèi)容,幾天后的9月1日,網(wǎng)信辦等四部門印發(fā)的《人工智能生成合成內(nèi)容標識辦法》將開始施行,它明確規(guī)定服務(wù)提供者,應(yīng)當(dāng)對文本、音頻、圖片、視頻等生成合成內(nèi)容,在適當(dāng)位置添加顯式標識,也就是說今后所有AI作品必須亮明身份,標注是AI生成。它的實施,能改變當(dāng)下AI出現(xiàn)濫用的現(xiàn)狀嗎?
在某短視頻平臺上,一條生成式視頻的左下角“標注著”作者聲明:內(nèi)容由AI生成,而這樣的標注義務(wù),在即將于9月1日實施的《人工智能生成合成內(nèi)容標識辦法》中,得以進一步明確,在人工智能生成合成內(nèi)容的全生命周期,都要履行標識義務(wù)。
北京抖音信息服務(wù)有限公司副總編輯 全森:這個標識辦法要求AI技術(shù)服務(wù)提供者,對文件(元數(shù)據(jù))內(nèi)容進行隱式標識。這樣一個核心的鏈路解決了最大的卡點,這個卡點就是技術(shù)服務(wù)平臺與內(nèi)容傳播平臺之間,數(shù)據(jù)難以互通的一個卡點。解決了這個卡點之后,我們預(yù)計很大程度上解決了這個AI難以識別的問題。
馬上就要實施的這個《標識辦法》,從人工智能生成合成內(nèi)容的生產(chǎn)、傳播和使用等環(huán)節(jié)入手,對標識制度進行了系統(tǒng)性的細化和規(guī)范。而隨著深度合成技術(shù)日益逼真,逃避審查的手段不斷升級,人工識別的難度越來越高,相應(yīng)的法規(guī)和機制,也需要不斷應(yīng)對挑戰(zhàn)。
推進生成式人工智能標識制度的建立,已經(jīng)成為世界各國的共識。而在專家看來,中國在該領(lǐng)域的立法起步相對較早,2023年施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》,就在世界范圍內(nèi),在相關(guān)法規(guī)中首次明確提出生成式人工智能標識義務(wù)。
在專家看來,即將實施的《標識辦法》,還只是一個規(guī)范性文件,在整個立法體系中位階較低。如果站在更高的維度觀察人工智能立法,安全、隱私、公平等都是必須直面的核心問題。今年,人形機器人行業(yè)進入快車道,機器人逐漸與人實現(xiàn)面對面,甚至是接觸式交流。在深圳的一家養(yǎng)老機構(gòu),養(yǎng)老機器人,不僅可以帶老人跳舞,扶著走路,還能陪打乒乓球、遞水等,可謂多才多藝。面對著養(yǎng)老新朋友,有老人既興奮又擔(dān)心,機器人真的安全嗎?
經(jīng)過多年探索,我國已初步構(gòu)建起涵蓋多層次、多維度的人工智能法律框架,但仍需要一部具有統(tǒng)領(lǐng)性的人工智能高位階立法,予以統(tǒng)一規(guī)范。在國務(wù)院公布的2024年度立法工作計劃中,曾明確“預(yù)備提請全國人大常委會審議人工智能法草案”,而《全國人大常委會2025年度立法工作計劃》的相關(guān)表述則是,“人工智能健康發(fā)展等方面的立法項目,由有關(guān)方面抓緊開展調(diào)研和起草工作,視情安排審議”,顯然,一部中國的人工智能法,正在加緊推進之中。
對于人工智能,有人把它比作是潘多拉魔盒,在釋放出無限可能的同時,也會帶來難以預(yù)知的風(fēng)險。
而前不久在上海舉辦的世界人工智能大會上,圖靈獎得主辛頓的演講,也在提醒所有人,要對AI保持足夠的警覺。他把人類與AI的關(guān)系,比作飼養(yǎng)一只老虎,老虎長大后可能輕易超越人類,而且人類沒有擺脫和消除它的選項,人類想要生存,必須找到辦法訓(xùn)練AI。而如何訓(xùn)練出比人更聰明的“好AI”,是我們從來沒有遇到過的巨大的機會和挑戰(zhàn)。
正如中國那句老話,“人無遠慮,必有近憂”,在AI的問題上,我們必須要看得更遠,才能走得更好。(來源:央視新聞客戶端)

經(jīng)濟新聞精選:
- 2025年08月22日 14:34:34
- 2025年08月22日 11:19:01
- 2025年08月22日 10:15:01
- 2025年08月22日 09:27:16
- 2025年08月21日 14:12:17
- 2025年08月21日 14:04:51
- 2025年08月21日 11:31:45
- 2025年08月21日 11:27:21
- 2025年08月20日 13:53:08
- 2025年08月20日 11:07:04