AI換臉的應用風險及治理
AI換臉技術作為一種深度合成技術，基于深度學習算法和計算機視覺技術，能夠精準地進行面部特征轉移。然而，這一技術的廣泛應用，也誘發(fā)了一系列違法濫用行為，帶來諸多安全和法律風險，亟須加以規(guī)范和治理。為了推動AI換臉技術的合法使用，促進生成式人工智能健康發(fā)展和規(guī)范應用，《人民檢察》邀請專家學者對相關問題進行探討，敬請關注。
問題一：AI換臉作為深度合成技術的一種新發(fā)展形態(tài)，具有哪些特征，存在哪些應用風險？
田宏杰：AI換臉技術又稱人臉深度偽造技術，是一種基于人工智能深度學習和計算機視覺的前沿技術應用，具有高仿真性、高效自動化、數據依賴性、可擴展性、即時性、大眾化等特征。目前，該技術被廣泛應用于影視和娛樂行業(yè)、社交媒體內容創(chuàng)作、教育培訓、心理治療、身份驗證、科學研究等領域。伴隨該技術在各領域中的加速應用，其潛在風險也逐漸展露。一是引發(fā)信任危機。當公眾意識到互聯(lián)網所見存在偽造可能性時，便會動搖其對數字身份認證的信任，在長期面對真假難辨的信息環(huán)境時，將引發(fā)社會焦慮。二是激化社會矛盾。使用AI換臉技術偽造的名人、公眾人物的視頻、圖像被用于制造虛假新聞、誤導輿論，其中的不當言論可能引發(fā)社會動蕩。三是挑戰(zhàn)社會倫理。AI換臉被用于不道德的娛樂內容或違反倫理的內容，可能挑戰(zhàn)社會倫理底線。四是威脅國家安全。偽造國家領導人講話或者涉軍事視頻、照片可能引發(fā)國際問題，造成國家間對信息的誤判或外交沖突，引發(fā)軍事對峙。
張建忠：AI換臉技術作為深度合成技術的一種形式，通過深度學習算法和計算機視覺技術，將一張人臉特征映射到另一張臉上。AI換臉不僅可以進行靜態(tài)圖像置換，還可結合動作捕捉與語音識別，實現(xiàn)更復雜的動態(tài)視頻和交互場景。AI換臉技術具有高度擬真性，能夠捕捉并復現(xiàn)面部細節(jié)，如表情、光照與肌肉運動等，使得最終合成結果與真實人臉極為相似，通常肉眼難以分辨。隨著技術普及，許多手機應用或在線工具都能一鍵生成換臉內容，技術使用門檻大幅降低。AI換臉技術在很多領域展現(xiàn)出積極的應用潛力，但其潛在的風險也不容忽視。一是侵犯公民權利。例如，擅自使用他人肖像制作、傳播惡搞視頻，可能造成名譽侵權；或者通過換臉技術偽造身份實施電信詐騙，威脅個人財產安全。二是破壞社會公共秩序、商業(yè)秩序。例如，利用換臉技術偽造重大公共事件、商業(yè)事件的不實視頻，引發(fā)輿論混亂或擾亂市場秩序。三是危害國家安全。例如，通過換臉技術偽造領導人的發(fā)言視頻，煽動恐怖暴力情緒，教唆進行恐怖活動。四是給司法辦案帶來挑戰(zhàn)。例如，AI換臉技術被用于視聽資料等證據材料的偽造，給司法取證與證據審查帶來挑戰(zhàn)，等等。
陰建峰：AI換臉的本質是深度偽造技術的應用，核心獨特性在于以數據為燃料、算法為引擎的智能生成范式，其技術特征既體現(xiàn)了深度學習在表征學習和生成任務上的突破，也凸顯了合成媒體時代技術倫理與治理的復雜性。其具有以下特征：一是高度擬真性，二是成本低廉性，三是場景泛化性。AI換臉技術在諸多領域得到了廣泛運用，在給我們的生活帶來巨大便利的同時，也存在潛在的應用風險：一是存在侵犯他人人格權益、財產權益等合法權益的風險。二是存在虛假信息傳播，引發(fā)社會信任危機。三是存在危害社會穩(wěn)定和國家安全的風險。
高艷東：AI換臉技術具有以下三個特征：第一，以假亂真性。第二，高度人身性。第三，技術門檻低。新技術總有新風險，AI換臉技術存在如下風險：第一，可能導致社會、法律關系的混亂。AI換臉技術可能產生沒有真實對應自然人的數字人，尤其未來智能數字人的誕生，將打破法律單一主體的局面，法律將面臨“自然人+數字人”的雙主體困惑。第二，侵犯個人信息和隱私。根據國家互聯(lián)網信息辦公室、工業(yè)和信息化部、公安部印發(fā)的《互聯(lián)網信息服務深度合成管理規(guī)定》，使用深度合成服務時，使用者需要取得被編輯個人的單獨同意，AI換臉使用他人的信息尤其是生物識別信息，如果沒有征求對方同意，就會侵犯他人的個人信息權利。
田宏杰：AI換臉技術應用門檻較低、隱蔽性強，從而常常成為違法犯罪的工具。實踐中，濫用AI換臉技術的違法行為目前主要表現(xiàn)為以下三類：一是濫用換臉技術侵犯個體人格權益，如未經授權采集、處理人臉特征數據等；二是濫用換臉技術沖擊知識產權保護機制，如非法截取影視作品、圖像等受著作權保護的素材實施換臉合成視頻或者圖片等；三是濫用換臉技術破壞社會管理秩序，如利用深度合成技術偽造身份認證信息、傳播虛假輿情或實施非接觸式詐騙等。
張建忠：AI換臉技術在推動科技創(chuàng)新和社會進步的同時，在實踐中衍生出了一系列違法濫用行為，需要引起高度重視。在案件辦理中，我們發(fā)現(xiàn)此類技術被用于違法犯罪，并呈現(xiàn)出復雜化和多樣化的特點，主要表現(xiàn)為侵犯人格權利、傳播違法內容、冒用他人身份等。根據違法行為的性質和后果，行為人可能觸犯以下罪名：一是通過偽造視頻或身份實施詐騙，非法獲取財物的，涉嫌詐騙罪。二是利用偽造視頻散布虛假信息，嚴重損害他人名譽的，涉嫌誹謗罪。三是利用AI換臉技術制作、傳播淫穢內容，情節(jié)嚴重的，涉嫌制作、販賣、傳播淫穢物品犯罪。四是制作虛假信息引發(fā)公眾恐慌或擾亂社會秩序，涉嫌危害公共安全、擾亂公共秩序等犯罪。
陰建峰：AI換臉技術的違法濫用行為在現(xiàn)實中的具體表現(xiàn)多樣且危害深遠，行為人可能面臨以下法律風險：一是民事侵權的法律風險。未經他人同意，擅自將他人的肖像用于視頻、圖片或其他形式的傳播，將構成對他人肖像權的侵犯。二是行政違法的法律風險。行為人違法濫用AI換臉技術可能面臨多方面的行政違法風險，如未經授權采集、使用或泄露人臉信息，違反了個人信息保護法中關于敏感個人信息保護的相關規(guī)定；未對換臉內容進行顯著標識或制作、發(fā)布、傳播虛假信息，違反了關于網絡信息管理的相關要求，可能面臨警告、罰款、責令停產停業(yè)等行政處罰。三是刑事犯罪的法律風險。行為人在使用AI換臉技術時，非法收集、使用或泄露他人的人臉信息等敏感個人信息，可能會構成侵犯公民個人信息罪。制作嘲諷或丑化他人的換臉視頻，實施網絡欺凌或者發(fā)布侮辱性內容的，可能構成侮辱罪。行為人利用AI換臉技術制作、傳播含有淫穢內容的視頻或圖片，可能構成制作、傳播淫穢物品牟利罪或傳播淫穢物品罪。行為人利用AI換臉技術偽造他人身份，通過視頻通話等方式實施詐騙，騙取他人財物的行為則可能構成詐騙罪。制作虛假視頻威脅被害人支付贖金，實施敲詐勒索活動的，可能構成敲詐勒索罪。偽造視頻作為法庭證據，干擾司法公正的，可能構成偽證罪。
高艷東：根據違法濫用AI換臉技術行為的危害程度，行為人可能承擔以下法律責任：首先，違規(guī)使用者可能侵犯隱私權、肖像權、著作權、名譽權等，以及構成不正當競爭，損害消費者利益，需承擔相應的民事責任。其次，AI服務提供者可能因管理不當而受到行政處罰。根據《互聯(lián)網信息服務深度合成管理規(guī)定》，如果服務提供者未履行規(guī)定的安全評估、備案、標識等義務，可能會面臨行政處罰。再次，違法使用者可能被追究刑事責任。具體可能構成侵犯財產類犯罪、侵犯公民個人信息罪、傳播淫穢物品類犯罪等。
田宏杰：為規(guī)范AI換臉技術的應用，我國已基本建立起法律層面的治理框架，通過民事、行政、刑事法律的協(xié)同作用，對AI換臉技術進行多維度規(guī)制。但是，隨著技術的迭代升級和濫用行為的日漸增多，現(xiàn)有治理框架和規(guī)制措施的局限性亦逐漸顯現(xiàn)出來。一是缺乏專門立法和分級監(jiān)管制度；二是數據使用限制不足，溯源要求不明確；三是用戶權利保護不足；四是缺乏強制性檢測技術和認證機制；五是平臺責任界定模糊。有鑒于此，需以“技術過程法律化”與“法律要求技術化”的雙向互動為內核，圍繞以下方面進一步健全完善AI換臉技術的規(guī)制體系，以達成技術賦能與法律規(guī)制的動態(tài)平衡。一是制定專門立法規(guī)范。有必要突破分散立法模式，探討制定人工智能合成內容管理法，確立技術應用負面清單制度，區(qū)分娛樂創(chuàng)作、公共傳播、身份認證等場景設置差異化合規(guī)標準；同時，引入“技術過程責任”概念，將訓練數據合法性、算法可解釋性納入重點監(jiān)管內容。二是升級技術嵌入治理。推行“防濫用”技術強制標準，要求開發(fā)者預置內容失效觸發(fā)機制與不可逆數字水??；推動平臺建立“技術篩查+人工復核+第三方評估”的復合審核機制，根據內容風險等級設置差異化的審核標準和響應時限；構建國家級深度偽造檢測平臺，整合微表情分析、虹膜紋理匹配等多模態(tài)鑒別技術，嘗試建立“生成—傳播—消除”的全周期響應體系。
張建忠：為了在保障技術發(fā)展與法治秩序之間實現(xiàn)平衡，實現(xiàn)技術發(fā)展與法律規(guī)則的和諧共生，我國已在立法、行政和司法層面進行了積極探索，但仍存在以下不足：一是現(xiàn)有規(guī)制體系較為分散，系統(tǒng)性和針對性不足；二是監(jiān)管部門檢測與溯源手段多依賴相關企業(yè)或機構的技術儲備；三是技術開發(fā)企業(yè)的合規(guī)管理機制仍有待完善。未來可通過立法、行政、技術、社會以及國際多維度協(xié)作，建立健全具有前瞻性、系統(tǒng)性和針對性的規(guī)制體系，確保技術發(fā)展造福社會。一是明確技術應用的邊界、使用規(guī)則以及違法責任追究機制，重點關注技術開發(fā)者、服務平臺和使用者的權責邊界，構建全面的責任鏈條。二是明確技術平臺和內容平臺的審查義務，要求相關平臺對AI合成內容進行檢測與標注，并在出現(xiàn)違法或高風險內容時及時預警和處置。三是推動技術創(chuàng)新，支持科研機構與企業(yè)開發(fā)更加高效的識別算法與溯源技術，如數字指紋、水印技術等，加強對換臉內容的真實性驗證工具研發(fā)。四是加強與國際社會的交流與合作，可以在全球范圍內建立信息共享和執(zhí)法合作機制，借鑒域外經驗，推動更廣泛的國際規(guī)則對接，形成跨國打擊AI技術濫用行為的聯(lián)動網絡。
陰建峰：健全完善AI換臉技術的規(guī)制體系可從以下方面著手：一是針對AI換臉技術構建系統(tǒng)全面的法律體系。制定統(tǒng)一的上位法，提高立法效力位階，并明確規(guī)定統(tǒng)一的安全責任底線和基本使用標準，包括必要性原則、知情同意原則、第三方監(jiān)督機制以及損害賠償機制等內容，增強法律的權威性和系統(tǒng)性。優(yōu)化規(guī)則供給機制，加強復合型規(guī)范治理。應對新興技術引發(fā)的法律問題，需要特別重視軟法的功用，發(fā)揮好軟法規(guī)則小而精、快而準、迅捷靈活治理的優(yōu)勢，建立人工智能安全標準、倫理準則和行業(yè)自律規(guī)范，推動行業(yè)的自治自律。二是細化現(xiàn)有的法律規(guī)定，對一些關鍵性問題予以及時回應。確立以區(qū)分應用場景前提下的合理使用為基本規(guī)制原則，根據不同場景的風險程度和利益平衡，制定差異化的規(guī)制措施。對違法主體法律責任的承擔予以明確規(guī)定。例如，明確侵權責任主體的認定及責任劃分標準，在民事責任領域考慮設立懲罰性賠償機制，在刑事制裁方面考慮適用禁止令。
高艷東：雖然我國出臺了一系列規(guī)定，但仍存在法律位階較低、責任主體不明、監(jiān)管盲區(qū)較大等問題，未來的監(jiān)管應把握以下三點：一是明確合理使用原則。區(qū)分應用場景，以應用場景為基本出發(fā)點加強管制，確保技術向善。二是建立全鏈條多主體的監(jiān)管規(guī)則。一方面，利益鏈條上建立健全“事前備案—事中內容審查—事后處罰”的監(jiān)管體系；另一方面，明確技術開發(fā)者、平臺運營者、使用者的法律責任。三是加強國際合作。與國際社會合作，共同應對AI換臉技術帶來的挑戰(zhàn)，分享技術和經驗，加強司法協(xié)作，形成全球治理合力。
田宏杰：AI換臉技術帶來的法律和倫理問題不容忽視，檢察機關作為憲法規(guī)定的法律監(jiān)督機關，可重點圍繞以下方面加強對AI換臉技術應用的法律監(jiān)督。一是建立刑事追責與公益訴訟并行機制?；贏I換臉技術的多重違法性特征，在依據刑法對涉罪行為追究刑事責任的同時，檢察機關可視案情同步推進民事公益訴訟，以確保當事人的合法權益得到及時保護。尤其是對于侵害不特定多數人生物識別信息安全的案件，通過公益訴訟程序的及時介入，能夠在保護公共利益、追究行為人刑事責任的同時，實現(xiàn)對當事人“停止侵權+損害賠償”的復合救濟。二是強化行刑銜接機制。檢察機關可聯(lián)合網信、公安等部門，建立違法線索雙向移送機制，對違法案件中的犯罪線索及時立案。明確證據轉化要求與電子數據固定標準，推動建立跨部門技術鑒定與評估體系。三是推動建立跨國司法協(xié)作機制。針對跨境服務器托管、虛擬貨幣支付等黑灰產，以檢察機關為主體推進國際交流與合作，完善電子證據跨境調取與聯(lián)合執(zhí)法程序。
張建忠：作為法律監(jiān)督機關，檢察機關肩負著保障法律統(tǒng)一正確實施、保護國家利益和社會公共利益的重要職責。檢察機關在AI換臉技術法律監(jiān)督中應以問題為導向，充分發(fā)揮引導偵查、公益訴訟、檢察建議等職能，為技術治理提供法治保障。具體可從以下方面著力：一是依法追究刑事責任，形成司法震懾。對于利用AI換臉技術實施詐騙、傳播淫穢內容等犯罪行為，檢察機關應嚴格依照刑法追責。對于重大案件，適時介入引導偵查機關精準取證。二是充分發(fā)揮公益訴訟職能。對因監(jiān)管缺失導致違法內容廣泛傳播的平臺或技術提供方，檢察機關可以依法提起公益訴訟。三是強化檢察建議，促進完善監(jiān)管制度。在案件辦理過程中，發(fā)現(xiàn)監(jiān)管漏洞，檢察機關應及時向相關部門提出完善建議。四是建立聯(lián)動機制，提高監(jiān)督效率。檢察機關應當與網信、公安等部門建立聯(lián)動機制，實現(xiàn)信息共享、技術共用和資源整合，提高監(jiān)督效率。五是加強法治宣傳教育，提升社會防范意識。
陰建峰：檢察機關在依法履職辦案中，應通過多種手段加強對AI換臉技術應用的法律監(jiān)督，確保AI換臉技術在法治的軌道上運行。一是提高法律監(jiān)督的精準性和有效性。一方面，積極應用大數據法律監(jiān)督模型，通過數據分析、模型預測等手段，建立AI換臉技術檢測機制，精準發(fā)現(xiàn)AI換臉技術濫用的線索，提高監(jiān)督的針對性和有效性。另一方面，探索建立針對AI換臉技術濫用的公益訴訟制度，通過提起公益訴訟的方式，維護公民個人信息安全和社會公共利益。二是加強跨部門協(xié)作和信息共享。檢察機關可以與公安、網信等部門加強協(xié)作，共同打擊利用AI換臉技術進行詐騙、傳播淫穢物品等違法犯罪行為。通過信息共享、線索移送等方式，形成合力，提高打擊效果。三是針對AI換臉技術濫用的新型案件，制定司法解釋，發(fā)布指導性案例，明確案件的定性、量刑標準等，為司法實踐提供指導和參考。四是加強宣傳教育和預防工作。通過開展法治宣傳和警示教育，增強公眾對AI換臉技術濫用危害的認識和防范意識，引導公眾正確使用AI換臉技術，避免將其用于違法或不當用途。
高艷東：對于AI換臉，法律應當采用“不管私用、嚴管公用”的思路。檢察機關應采取更積極措施，防止技術被惡意濫用。第一，加強與公安、網信等部門合作，共同構建高效的案件偵辦體系。對于涉及AI換臉的刑事案件，如詐騙、誹謗等，適時介入引導取證，利用專業(yè)技術手段固定證據。同時，促進社會共治，與網信、公安等部門建立常態(tài)化的信息共享和協(xié)作機制，共同加強對AI換臉技術的監(jiān)管。第二，探索人工智能技術應用領域的公益訴訟職能。針對AI換臉引發(fā)的新類型侵權糾紛，可嘗試采用公益訴訟等形式維護不特定多數人的合法權益。第三，推動法律完善。檢察機關在辦案過程中積累了豐富的AI換臉技術相關案件經驗，可根據最新技術發(fā)展特點，針對已有規(guī)定的不足，向立法機關提出完善相關法律法規(guī)的建議。
田宏杰：系統(tǒng)治理要求將對AI換臉問題的治理融入社會系統(tǒng)，以多重手段確保AI換臉技術在合規(guī)框架內運行；源頭治理則要求正確看待AI技術，既要將其作為AI換臉應用的出發(fā)點，也要將其作為治理AI換臉問題的落腳點。據此，AI換臉問題的協(xié)同共治可從以下幾方面同步推進：一是強化平臺責任。要求社交平臺、AI模型平臺等平臺進行主動監(jiān)測，強化其監(jiān)督管理義務，鼓勵運用技術手段識別AI換臉內容，對違規(guī)內容與賬戶“零容忍”，發(fā)現(xiàn)違規(guī)內容立即下架并監(jiān)管平臺。二是制定技術標準。創(chuàng)設AI生成內容強制識別標志，要求AI生成內容嵌入不可移除的數字水印或標簽，確保對AI內容做到一般人可識別。三是落實追責機制。明確AI換臉技術侵權責任主體，由侵權行為人承擔侵權或違約責任，由AI技術平臺、社交平臺承擔補充責任，實現(xiàn)對AI技術開發(fā)者、內容制作者、傳播平臺、違法信息使用者的全鏈條追責。
張建忠：治理是一項復雜的系統(tǒng)工程，必須依靠多方協(xié)同，構建共治格局。一是完善制度體系，夯實立法保障。建議評估法律供給，對現(xiàn)行法律法規(guī)進行全面梳理，明確是否需要專門針對AI換臉或深度偽造技術制定專項法規(guī)，確保立法具有前瞻性和系統(tǒng)性。二是強化行政監(jiān)管，提升動態(tài)監(jiān)測能力。建議落實備案與審核機制，要求相關服務平臺對深度合成內容先行審核和風險評估。此外，研發(fā)并部署實時監(jiān)測與預警系統(tǒng)，及時發(fā)現(xiàn)并查處利用AI換臉技術實施的違法犯罪行為。三是強化技術自律，預防技術濫用。技術企業(yè)在研發(fā)階段即應融入倫理與法律合規(guī)原則，鼓勵企業(yè)建立自查制度，定期對自身算法和產品的合規(guī)性進行評估和。四是落實平臺責任，阻斷違法信息傳播鏈條。內容平臺應當完善審核機制，對用戶上傳的內容進行篩查、標記或備注提示，盡可能減少虛假信息對公眾的誤導。此外，建立便捷的舉報和投訴通道，對涉嫌違法或者不良內容及時審查、刪除并限制其傳播。
陰建峰：針對AI換臉等深度偽造技術的治理，需打破單一主體治理的局限性，構建“監(jiān)管執(zhí)法—技術防御—行業(yè)自律—平臺審核—公眾監(jiān)督”五位一體的協(xié)同治理體系，推動相關各方在關鍵環(huán)節(jié)形成合力，在鼓勵創(chuàng)新與保障安全之間找到動態(tài)平衡，實現(xiàn)“技術向善、社會可信、治理可控”之愿景。一是監(jiān)管部門應當加強監(jiān)管執(zhí)法力度。在構建“權責清晰”的主體協(xié)同框架的基礎上，明確監(jiān)管部門的職能分工，打造全鏈條治理格局。建立技術應用的備案機制，AI換臉技術的應用主體應當向相關部門備案，并獲得備案編號，從源頭上管理技術應用。在備案之后，相關部門應當對AI換臉技術的應用進行事前安全評估，聘請專家評估技術風險，做好風險防范。二是技術研發(fā)者包括相關的科技企業(yè)應當主動承擔起社會責任。技術研發(fā)者須積極落實安全可信原則，建立AI換臉技術研發(fā)備案制度，嵌入倫理審查機制。在產品設計和算法開發(fā)過程中，將道德算法、倫理準則嵌入技術之中，使算法符合“善”這一科技倫理的要求。三是服務提供者應當加強行業(yè)自律，履行法定義務。提供AI換臉技術服務的相關行業(yè)應當建立健全行業(yè)標準、行業(yè)準則和自律管理制度，加強行業(yè)自律。四是平臺應當加強對傳播內容的審核，并建立快速反應機制。通過制定詳細的內容審核標準，明確允許發(fā)布的范圍。在內容發(fā)布前，利用AI技術開發(fā)自動化工具檢測和標記使用AI換臉技術的內容，過濾掉違規(guī)偽造作品。建立快速反應機制，對違規(guī)內容進行有效監(jiān)控和及時處理。鼓勵用戶參與內容監(jiān)控，通過設置易于使用的舉報工具，讓用戶可以快速可疑或明顯違規(guī)的內容。對于被識別或被舉報的違規(guī)內容，平臺應立即下架，并對違規(guī)用戶給予警告或封禁賬號等處理。
高艷東：推進AI換臉問題的系統(tǒng)治理、源頭治理，需要從以下方面著手：第一，構建全方位監(jiān)管體系，確保違法必究。微觀層面，由網信部門牽頭，建立跨部門聯(lián)合監(jiān)管機制，加強對AI換臉技術的監(jiān)督管理；中觀層面，加強司法機關與行政機關聯(lián)動，建立健全AI犯罪行刑雙向銜接機制，提升國家治理AI換臉亂象的能力；宏觀層面，整合國家機關、技術開發(fā)者、互聯(lián)網平臺、網民等多方資源，形成多行業(yè)管理、多部門治理、多層級參與的治理格局，讓AI換臉技術濫用無處遁形。第二，強化協(xié)同共治，提升監(jiān)管效能。通過媒體、教育機構等渠道普及AI換臉技術知識，增強民眾識別能力和防范意識；建立有獎舉報機制，公開舉報渠道，鼓勵民眾積極舉報AI換臉技術濫用線索；促進產學研合作，加強AI技術創(chuàng)新和成果轉化，不斷提升AI換臉技術檢測能力；引導行業(yè)自律，鼓勵行業(yè)協(xié)會等組織建立行業(yè)自律機制，如引入倫理審查機制，推動行業(yè)內部形成良好的AI換臉技術應用氛圍。
最高人民檢察院 （100726）北京市東城區(qū)北河沿大街147號 （查號臺） 010-12309（檢察服務熱線）