什么是深度伪造

深度伪造 (Deepfake) 是指利用深度学习精密合成或替换人物面部与声音的技术，以及由此产生的媒体内容。随着 GAN (生成对抗网络) 和扩散模型等生成技术的普及，即使没有专业知识，也能制作出高质量的伪造媒体。

这项技术原本在电影视觉特效和学术研究的语境中发展起来，但已被滥用于增强社会工程学和网络钓鱼的说服力。已有报道的手法包括模仿高管声音打来电话、指示汇款的语音钓鱼 (vishing)，以及冒充真实人物的视频以骗取信任。

这类手法之所以奏效，是因为声音和面孔很容易被直觉地当作本人身份的证据。对得上就不再追问，这种习惯本身就是入口，因此防御应当放在确认流程上，而不是放在辨别真伪的能力上。

恶用手法与损害模式

利用深度伪造的攻击，会提高传统社会工程学的说服力。主要的滥用模式如下。

商业邮件诈骗的升级：合成高管的声音，通过电话下达紧急汇款指示。据 2019 年的报道，一家英国子公司在接到模仿其德国母公司 CEO 声音的电话后，汇出约 24 万美元 (22 万欧元)
视频会议中的冒充：据 2024 年 5 月的报道，工程企业 Arup 香港办公室的一名员工被拉入一场视频会议，会议中由合成的影像和音频扮演多名上级，该员工按指示多次汇款，造成约 2500 万美元的损失
突破身份验证：试图用实时的面部合成，突破金融机构基于视频通话的身份验证 (eKYC)
用于数字身份盗窃：从社交媒体上的照片和视频收集面部数据，制作冒充账号
骚扰与勒索：未经同意制作他人的私密影像，用于骚扰或勒索。这类内容一旦在网上扩散，删除极为困难
虚假信息行动：散布政治人物或知名人士的虚假视频，意图引导舆论或扰乱市场

音频类深度伪造只需数秒的语音样本即可生成，成本低于视频，留下的痕迹也更少，因此对利用电话实施的诈骗尤其需要警惕。来电显示的号码可以被伪造，所以即便屏幕上显示的是正规号码、声音也对得上，也不能作为确认对方身份的依据。

深度伪造的检测与生成技术之间是一场追赶，任何方法都无法确定真伪。在实务中，把检测理解为衡量可疑程度的工作更为妥当。

生物信号分析：以真实影像中包含的微弱脉搏变化 (rPPG) 和眨眼模式作为线索。在合成影像中，这些信号有时会缺失或显得不自然
频域分析：已知 GAN 生成的图像会在空间频谱上留下特有的伪影，通过傅里叶变换分析，有时能捕捉到肉眼看不见的痕迹。不过生成方式一变，同样的特征就不会出现，因此对扩散模型等其他方式的产物效果有限
数字水印与来源追踪：依据 C2PA (内容来源与真实性联盟) 的规范，把内容的生成与编辑记录作为元数据嵌入的做法正在推进。但它无法判断未附带来源信息的素材，因此只是一种确认来源信息是否存在的机制

这些线索对质量较低的生成物有效，但生成质量越高就越会消失。以置信度分数给出结果的检测工具 (例如 Microsoft 于 2020 年公开的 Video Authenticator)，其结果也不是非黑即白的二选一。肉眼或检测工具没有发现问题，并不等于证明了内容是真实的。

应对深度伪造的威胁，需要把技术手段与运营层面的措施结合起来。要点在于设计出不把真伪判断交给现场肉眼的流程。

限制社交媒体上面部照片与视频的公开范围：公开的面部和声音数据越多，被生成高质量深度伪造的空间就越大
核实可疑的联络：接到自称高管或家人的紧急电话、视频通话时，不要在该次通话中作出判断，而应拨打事先已知的号码或公司名录中的联系方式回电确认 (避免从来电记录回拨)。与家人事先约定一个只有彼此知道的暗语，也有助于核实
启用双因素认证：可防止因冒充而被盗用账号。不过也存在在电话中诱导对方说出验证码的手法，因此只有与绝不把验证码告诉任何人的做法结合起来，它才真正有效

把因数据泄露而流出的个人信息与深度伪造结合起来的攻击，比传统的网络钓鱼更有说服力，因此复合式的防御措施不可或缺。

只有专家才能制作深度伪造: 随着开源工具和云服务的普及，无需技术专业知识也能在几分钟内完成换脸和语音合成。智能手机应用也能生成基本的深度伪造。
仔细观看视频就一定能识别: 随着生成质量的提高，也出现了人眼难以辨别的深度伪造。特别是在低分辨率的影像和很短的音频片段上，即使是专家也可能难以准确判断。即便同时使用检测工具，也无法断定真伪，因此与其设法辨别，不如依靠通过另一条渠道核实汇款和身份的手续，这样更为可靠。