真正的雷军，在庆祝小米Su7在十一期间爆单6000辆。

虚假的雷军，却在短视频平台口吐芬芳。

十一期间，不少打着“雷军骂人”标题的视频火爆全网。

视频中，雷军操着标志性的声音疯狂吐槽，一会要开着小米Su7创人，一会则对着调休制度开启喷子模式。

要不是发言太离谱，这些语音真的有些真假难辨。

当有网友在本尊的账号下面提及此事时，雷军回复了三个发怒的表情。

要知道，雷军可以说是所有大佬中对网友玩梗最宽容的一位了。

从过去把“Are you OK？”的创作者正式收编，再到今年初把“军儿，收手吧”放到发布会，雷军用幽默和宽容的态度赢得了不少网友的好感。

但是面对泛滥的AI玩梗，雷军本尊也忍不了。

平时不怎么对网梗出警的小米法务部也迅速行动，已经走上了法律程序。

当然，AI配音的受害者也不止雷军，不论国内外，AI配音已经成为让各路大佬和执法人员头疼的“致命玩笑”。

上到作伪证干扰司法程序，下到明星的私密照片，甚至美国大选都难逃AI的干扰。

AI，怎么就成了大佬们的心腹之患？

从特朗普到雷军，都难逃AI“毒手”

不论中外，把名人“AI”一下，都是网友最热衷的快乐源泉。

用AI伪造他人的形象、声音、影像，统一称为“Deep Fake（深度伪造）”。

在B站，“美国总统锐评”系列一度成为最热的梗。

视频里，奥巴马、特朗普和拜登会把最火的动漫角色，到热映大片挨个吐槽一遍再做个排名，语气之自然完全不像是演的。

对不少热衷音乐的网友来说，AI更是自己“梦想成真”的神器。

比如，用AI孙燕姿的声音唱周杰伦的歌，让欧美巨星碧昂丝说一嘴正宗的北京话...

当然，玩梗娱乐只是AI工具最肤浅的用途之一。

在强大功能的加持下，AI成了不少心怀鬼胎之人手中的利器。

女明星是最早受灾的一批人，顶流巨星“霉霉”泰勒·斯威夫特就惨遭“AI涉黄”。

各种换脸不雅照在X（推特）上疯狂流窜，一张伪造图片在一天内就获得了4700万次浏览，吓得X平台直接屏蔽了“泰勒·斯威夫特”的关键词搜索。

这条消息甚至引起了白宫办公室的注意，白宫新闻发言人让-皮埃尔表示：“网络上的执法不严对女性影响更大，她们是受到网络骚扰和欺凌的主要目标。”

明星们的桃色照片只是小事，深度伪造早就把手伸向了美国大选。

在中国视频平台上锐评“二次元waifu”的美国总统，可能明天就会给美国新罕布什尔州的普通居民打电话，让其“不要给自己投票”。

平时本就老实的美国红脖子可不会分辨这是不是AI，每个总统都可能因为一段伪造的录音录像丢掉选票。

都不用关心美国大选，AI早就开始给国内的案件添乱。

不久前轰动全网的小杨哥塌房事件中，就有AI火上浇油。

在网友狂扒小杨哥猛料时，一条据称是三只羊董事长卢文庆的13分钟语音被曝光。

语音中，卢文庆大爆猛料，言辞激烈，里面所透露的劲爆内容引发了网友对三只羊的口诛笔伐和无限猜想。

很快，合肥市警方证明，这条语音信息是由AI伪造而成。

尽管三只羊欺骗消费者在先，活该被监管部门处罚，但是用这种恶劣手法造谣抹黑，也是对公众的一种不负责任。

但不管是美国大选，还是三只羊塌房，不少不法分子正在以AI作为武器，用一种十分低劣的手段入侵每个人的生活。

AI的危险性，已经不容忽视。

众星捧月的AI，越卷越“灰”

自打诞生以来，大部分打工人对AI的态度都只有一点：

这玩意到底能不能代替我的工作？

但如今，原本设想中“更智能、更万能”的AI似乎还为诞生，大部分人对AI的迭代越来越感到麻木。

不过，AI虽然没有在智商上突破，但卷向了另一个反向：更好用。

过去训练AI，往往需要精通数据和编程的专业人士对AI进行定点、定向的海量数据投放。

而在如今，这一工作已经可以被AI代替完成，部分AI应用的训练已经变得格外简单，门外汉也能轻松上手。

这一结果很快在深度伪造领域得到了应用。

在AI雷军和卢文庆伪造语音引发轰动后，一家名为言域科技的公司很快就出来“认领成果”，他们开发的Reecho睿声，就是这两个事件背后的主力软件。

Reecho睿声就主打克隆声音功能，只要导入对应音频，就能克隆对方的声音，导入的素材越多，克隆的也就越像。

AI配音早就不稀罕了，但作为成立不到一年的新公司，言域科技相比于老前辈们，主打卖点就是“好上手”。

专业人士介绍，过去AI抓取人们的“声音指纹”可能需要数十乃至上百分钟的音频素材，而如今，可能只要几分钟就能完成抓取。

比如，去年人们在AI网站上克隆孙燕姿的声音，需要SoVITS 训练模型，至少要求仿制者有一定编程基础，且对电脑硬件有硬性要求。

到了如今的Reecho睿声，人们只需要5～8s的语音素材，就能体验到免费的声音克隆服务。

而精度更高的付费克隆选项里，只要花几百元就能上传更多的语音素材，打造更加拟真的AI语音。

睿声的精度已经远超人们想象，在三只羊“录音门”当中生成的卢文庆语音，就是由一段30s左右的语音作为素材生成而来。

更何况诸如雷军等大佬的声音几乎全网都是，随便截取一段发布会发言就能获得数个小时的语音包。

只用花几百元，就可能改变一个公众大佬在不少网友中的形象。

如此简单的“作假”成本，也是深度伪造如此危险的原因。

尽管睿声的技术还不是天花板级别的成熟，有用户说，自己使用睿声生成的语音在10s之后就“没法听了”。

但对于别有用心之人来说，短短10s就足以兴风作浪。

在睿声的“语音市场”中，除了雷军，还有诸如马保国、孙燕姿、杨幂和成龙等人的声音模拟，公众人物的语音就像是游戏中的皮肤一样唾手可得。

当然，言域科技只是语音克隆功能越来越下沉的推手之一。

诸如剪映和豆包等剪辑软件，也把“生成自己的语音”作为卖点之一，用户只要输入一段自己的语音，就能生成和自己拟真的声音。

以语音AI为首的深度伪造技术，已经成为国内各大厂都在卷的方向之一。

在中国，智能语音市场规模已经在2023年达到382亿元，预计今年则会涨到469亿元。

大厂们砸进AI里的金钱和技术，很可能变成砸向自己的回旋镖。

AI煽起的邪火，需要三招镇压

用AI深度伪造引发的“事故”越来越常见。

在今年，一位无锡的父亲就接到了英国留学“儿子”打来的求助电话。

在经过警方辨别之后，才发现这条信息是由不法分子制作的AI语音。

如今的深度模仿技术，就连长期混迹互联网的年轻人都难以辨别，更何况平时不怎么上网的中老年人了。

面对疯狂进化的AI技术，如果不加以遏制，很可能会成为整个社会的威胁。

版权原因，是很多公众人物对深度仿制AI开火的主要武器。

在今年5月份，美国影星斯嘉丽·约翰逊就对AI巨头Open AI提起诉讼。

原因很简单，Open AI曾经邀请她为Chat GPT进行配音，斯嘉丽并没有接受这一邀约。

但之后在Chat GPT更新的语音系统包中，就出现了和斯嘉丽高度雷同的配音声音，就连身边亲友都无法分辨真假。

很明显，这是Open AI用斯嘉丽的声音自己训练出的结果。

在经过一系列起诉和怒斥之后，最终Open AI停用了这一功能。

但是斯嘉丽的胜利只是暂时的，有话语权的公众人物能够轻易用自己的影响力避雷侵权行为，对于普通人来说，这样的做法无疑代价很高。

一些AI公司就是针对这一焦虑，推出了“用魔法击败魔法”的反AI甄别应用。

在过去，AI制作往往有着很明显的“AI痕迹”，普通人都能随意甄别，但是随着AI技术越来越逼真，这些细节也越藏越深。

美国语音模仿AI公司ElevenLabs ，就曾经推出过一款甄别AI的语音软件，但是据记者测试，这款软件的正确率只有50%左右。

而且还有用户发现，如果给AI生成的语音加上一些噪音处理，就能极大程度地规避被“反AI软件”甄别的概率。

但如今，致力于AI甄别的研究已经成为业界攻关的目标，国内外顶尖的AI项目组都在就“甄别AI”进行课题攻关。

今年早些时候，一位中科院的研究人员就开源了自己研发的甄别AI仿制图像的大模型；浙江大学与清华大学业联合推出了反AI语音的应用SafeEar。

技术高速发展的如今，“魔高一尺道高一丈”已经不是难点。

但反AI技术能否真正成为保护普通人的屏障，还得看大厂有没有真金白银的投入。

版权手段不好使、技术手段未完善，绝大多数普通人寄希望于平台和监管。

但对于平台来说，监管何尝不是一件难事。

在AI模仿拜登打电话事件发生后，美国AI语音应用ElevenLabs立刻停止了关于拜登、特朗普等政治人物的语音权限。

但很快就有人发现，如果在上传的语音素材中加入一分钟空白，就能规避此类审查。

国内市场也在积极调整，在今年9月份，网信办也发布了《人工智能生成合成内容标识办法（征求意见稿）》。

其中规定，由AI生成的视频、语音、图像等素材，必须标注AI生成的字样。

但是对于越来越下沉的AI应用来说，一条标准只能从行为道德层面约束用户，而不能真正杜绝AI被滥用。

说到底，AI只是人类创造的一个“好用的”工具，工具本身不分善恶，其性质完全取决于使用者的目的。

只不过，在人类沉迷于开发工具的可能性时，必须要敬畏其产生的后果。

科技必须进步，但人性不能脱缰。