出品 | 虎嗅科技组

作者 | 王欣

编辑 | 王一鹏

头图 | 视觉中国

继本周二向美国联邦法院提起诉讼后，TikTok再度化身“正义判官”。

本周四，TikTok宣布将推出自动标记功能，以确保其识别AI生成视频的内容并得到相应标记。

值得注意的是，此前TikTok、Facebook和小红书等社交平台，已经要求用户主动披露所发布内容是否由AI生成。

而TikTok最新举措，旨在识别并自动标记出外部AI生成的视频和图像。（包括使用Adobe的Firefly工具、TikTok自己的AI图像生成器和OpenAI的Dall-E制作的内容）

AI安全公司瑞莱智慧联合创始人萧子豪告诉虎嗅，AI生成图像视频内容鉴别技术的主流方法有：检测生物信号、周期性网格信号、违背常识特征等，目前技术在一些场景已经可以达到95%到99%的检出率。

有AI从业人员观察到最近的趋势是，包括TikTok、OpenAI、Meta等AI大小厂陆续上线AI标识相关功能。

这是因为AI深度伪造内容正在播下混乱的种子，在社交平台飞速传播。

这些虚假内容的泛滥，混淆选民视线，让这个大选年更加成为“多事之秋”，也使得社交媒体面临识别深度造假和防止错误信息传播的压力。

AI深伪内容搅动大选年

今年是选举历史进程的重要年份，在全球50多个国家和地区，有世界一半人口参与选举。相较去年，AI深伪内容也变得更加引人注目和难以辨认，给大选年蒙上阴影。

一月，一名民主党工作人员深度伪造了美国总统拜登电话呼叫，这则“假拜登来电”敦促新罕布什尔州初选选民不要去投票站。

冒充拜登的电话呼叫内容为：把你们的选票留在11月份再投很重要。在这周二（23日）投票，只会让共和党人得逞，让特朗普再次当选为共和党候选人。

在印度，今年有超过5亿选民将会参与投票，这使得AI深伪政治内容成了一门有利可图的大生意。

AI内容制作公司在印度政治人士中颇受追捧。这些公司向媒体透露，预计今年印度政党在AI生成的竞选材料上的支出将超过5000万美元。

穆奥尼姆公司的创始人森希尔奈亚甘从一月开始为政治家创造AI内容。他与泰米尔纳德邦执政党合作，制作了一个AI视频，视频中该党已故的标志性领袖M·卡鲁纳尼迪被“数字复活”并为州政府背书。

AI内容机构Avantari Technologies几乎每天都收到制作政治人物深伪视频的请求，出于道德层面的考虑他们拒绝了这些请求。

但这个选举季，仍有一些政治深伪视频在印度互联网开启了病毒式传播，比如著名宝莱坞明星阿米尔·汗批评莫迪的视频。

而深伪色情内容也被更多得用在女性政客身上，有专家称深伪内容的兴起，甚至可能会改变竞选公职人员的性别比例。

去年，孟加拉反对党政客鲁米恩·法尔哈纳就经受了这种人格诽谤，社交媒体上出现她穿比基尼的AI深伪照片。

在孟加拉国这个穆斯林占多数的保守国家，这张照片在社交媒体上引起了轩然大波，许多选民认为这张照片是真实的。

“无论出现什么新事物，它总是首先针对女性。他们在每一起案件中都是受害者，”法尔哈纳说， “人工智能都不例外。”

AI大厂拿起“雷神之锤”

在全球范围内，AI深伪内容不断增长，“唯一阻止我们制造不道德的深度伪造品的，是我们的道德规范，”相关从业人员告诉媒体。 “但要阻止这种情况非常困难。”

这是因为包括美国在内的许多国家，并没有在国家层面针对这些内容采取监管行动。

在缺乏监管的情况下，Adobe、微软等20家科技公司自发达成“内容真实性倡议”(Content Authenticity Initiative)联盟，以控制深伪内容得扩散。

本周四，TikTok表示将加入这个联盟，并计划开始对AI生成图像视频内容进行标记。该联盟将在AI生成产品中纳入内容凭证。

“我们还制定了禁止未标记的真实人工智能内容的政策。如果真实人工智能（生成的内容）出现在平台上，那么我们将因违反社区准则而将其删除。”TikTok运营、信任和安全主管Adam Presser表示。

Meta本月早些时候表示，它将开始检测谷歌、OpenAI、微软、Adobe和Midjourney插入的隐形标志物，为AI生成的内容打上“AI制作水印”。针对不易识别的AI深伪内容，Meta还表示，它正在开发深度伪造检测分类器。

在周二，OpenAI也宣布加入这一联盟，并将元信息嵌入其图像模型Dall-E 3生成的所有图像。OpenAI还表示，在视频生成模型Sora发布后，会采取相同的措施打上AI标识。

萧子豪告诉虎嗅，OpenAI的AI标识技术，比较成熟的做法是在AI生成图像的头文件里添加相关隐藏字符段。

这种做法类似于在AI图像内部打上"看不见的水印"，在传播前就打好了标签，用户肉眼不可见。好处是不影响观感，图片在上传到TikTok、Facebook等社交平台后可以很容易识别出来并自动标识。

之前较为传统的在图片右下角打上“AI生成标识”外部水印，虽然肉眼可见较为明显，但是如果通过截图完全可以去掉外部水印，进行二次传播。而要抹除OpenAI这种内部水印，则需要更为复杂的技术手段。

这种AIGC工具的标识方法成本并不高，但由于国外宽松的监管条件，因此除上文提及的大厂外，其他AIGC生成工具平台，并没有大规模针对AI内容打上“AI水印”。

技术宅拯救世界

那么TikTok等社交媒体该如何检测这些没有提前打上“AI水印”的虚假视频和图像呢？

这就涉及到更为复杂的深度伪造检测分类。

萧子豪表示，针对这类无标识AI内容，目前有两种主流鉴别路线。

第一条，通过深度学习算法识别内容中违背常识的部分。例如，AI深伪生成的人物可能有着与常人不同眨眼频率等生物特征，此外还可以依据光照不一致性、心率等特征判断。

英特尔实验室的Demir解释道：“当你的心脏泵血时，血液流向静脉，静脉的颜色会因氧含量而改变。这个颜色变化对我们的眼睛是不可见的；我不能仅凭观察视频来看出你的心率。但这种颜色变化在计算上是可见的，从而可以检测出一个人是真实的还是合成的。”

这种方法需要给模型输入真实和AI生成的内容数据集，并在此基础上加入与常识有关的规则算法约束。而这种违背常识的视频，效果并不真实，实际上本身就很容易被人肉眼识别出来。

而对于效果较为逼真、人眼难以识别的AI内容，则需要引入第二条鉴别路线——识别对抗模型和扩散模型特有的信号特征。

目前，AI图片生成模型应用较多的是对抗模型和扩散模型，而研究发现，它可能会在频谱上保留周期性网格状特征。

这部分是由于这种模型用到的卷积神经网络算法，会重复对整个画面进行信号处理，因此会保留周期性特征。

目前的趋势是：随着AI深伪内容技术的不断提高，深伪鉴别技术越发依赖第二种路线，这种路线对团队的人工智能理论研究和实践能力要求更高。

而在深伪鉴别的应用落地层面，国内要比国外起步早，技术也并不比国外差。

这是因为：AI深伪技术主要应用于人脸，而国内的人脸识别应用较多，间接催生了深伪鉴别需求。因此国内深伪鉴别技术业务开展较早，积累也更好。而国外在OpenAI引领的AIGC浪潮开始后，才开始大规模关注深伪鉴别技术。

萧子豪告诉虎嗅：深伪鉴别技术需要突破的瓶颈在于算法理论和数据收集。

目前，AIGC技术的飞速发展，使得Sora等新的AI生成内容工具和技术持续涌现，在AI安全的攻防层面也有了独特的张力，要求在防御层面要及时追赶最新的攻击。

因此要及时收集最新深伪技术数据，分析伪造方法的演化，提升伪造分析的能力，来不断迭代更新产品。

Tips：我是虎嗅科技医疗组的王欣，关注AI及创投领域，行业人士交流可加微信：13206438539，请注明身份。