10分钟，430万。
最近，包头警方发布了一起利用AI实施电信诈骗的案例。4月20日，一家福州公司的老板郭先生突然收到「好友」的微信视频联系，这位「好友」声称在外地竞标需要430万保证金，而且需要公对公账户过账，想要通过郭先生公司的账户走账。
郭先生没有太怀疑，一方面是他比较信任好友，在视频聊天中也确认了对方的身份，再加上对方还将银行转账底单的截图发了过来，不到10分钟就将430万元转到指定账户。结果等到电话联系好友，郭先生这才发现：
自己被骗了。
你很难怪郭先生「不小心」。警方公布的细节里提到，骗子是直接盗用了郭先生好友的微信，通过智能AI换脸和拟声技术「模拟」郭先生好友，再发起微信视频聊天。而且从过程来看，骗子可能通过微信聊天记录或者其他渠道，对郭先生好友乃至郭先生都有一定了解，否则也不会诈称竞标需要巨额保证金。
「好友微信，视频聊天，这还能怎么防？」一位网友表达了自己的担忧。而事件公布后，AI诈骗很快就引起了大量讨论和分享，「AI诈骗正在全国爆发」的话题一度冲上了微博热搜第一。
可以理解，过去很多电信诈骗事件中，很多骗子都会冒充亲戚、同学或者朋友，通过一步一步的套话骗取受害者的信任。只要我们和家人朋友本人进行语音和视频联系，大部分骗局都会不攻自破。
但现在语音和视频也不可信了，而且是越来越不可信。
声音、图片、视频，AI加速生成一切
AI改变诈骗，已经是无可争议的事实了。
除了郭先生的案件，稍早前外媒Gizmodo也报道过一起AI诈骗事件。一位英国能源公司的CEO，在不知情的情况下被骗子采集了声音。随后，骗子将获取到的声音素材进行了AI合成，再利用电话转账的漏洞，将22万英镑转到自己的异国账户上。
按照这位CEO说法，他后来自己听到这段AI合成语音时也惊讶了，因为这段语音不仅模仿出了他平时说话的语调，甚至还带有一点他的口癖。
模仿一个人的声音，对AI来说早就不是新鲜事。今年年初，微软推出了语音模型VALL-E，甚至只需要3秒就能复制任何人的声音，还可以保持语气，就连环境背景都能模仿。
图/微软
这项技术显然还不能飞入「寻常百姓家」，但寻常人已经可以通过一些开源的语音合成技术，基于大量的声音数据，也能合成真实无破绽的声音。比如具备语音合成功能的工具Bark，除了声色接近真人，还能加入背景噪音和高度拟真的笑声、叹息和哭泣声等效果。
而在最近两个月，「AI孙燕姿」 也在各大视频平台走红，大量的AI创作者通过「AI孙燕姿」翻唱不同曲风的作品，也让很多网友「重新认识了这些歌曲」，其中「AI孙燕姿」版本的《发如雪》仅在B站一个平台的播放量就接近200万。
图/b站截图
技术门槛的降低，也给了犯罪分子可乘之机。在郭先生的案件中，骗子盗用了其好友的微信，大量的声音素材同样唾手可得，也难怪郭先生从始至终都没发现好友的声音有问题。
当然，就视频聊天而言，我们判断真伪的核心还是「看脸」，毕竟我们在生病的时候声音也会改变，手机的降噪也一直没有被很好地解决。
同时人脸也更容易取得我们的信任。
然而AI换脸的技术其实已经非常成熟。新华社就曾报道，合成一个动态视频的成本在2元-10元，针对大型直播平台，支持实时换脸的全套模型购买价格为3.5万元，并且可以做到很低的延迟和出错率。
除了骗子用AI换脸技术伪装成其他人，在直播带货中，最近也有很多主播用上了AI换脸，将自己的脸替换成更有知名度和流量的「明星」，本质上就是想利用「明星」名气进行带货，也可以称得上另一种诈骗。但更重要的是，这件事说明AI换脸的成本已经相当低下。
图/中国新闻网
生成式AI的发展，不仅可以让郭先生在视频聊天中无法分辨好友的声音和样子，也能让AI孙燕姿成为顶流，让所有人在手机上一键AI换脸。
人们对AI的担忧是应该的，就连孙燕姿本人在针对「AI孙燕姿」的声明中也说，「你可能会反对，说我还是能分辨出区别的，它没有情绪，没有音调和呼吸（或任何你能想到的术语）的变化。很抱歉，我怀疑这只是一个非常短期内的回应。」
AI改变诈骗，普通人如何自处？
回到电信诈骗这件事上，原本骗子的手段就层出不穷，AI技术更让诈骗变得防不胜防。除了监管机构的规范和引导，我们普通人虽然无法影响AI技术的进化速度，但面对AI诈骗，还是有一些事是我们可以做到的。
第一，保护好个人信息。
在郭先生的诈骗案中，好友微信被盗无疑是极为关键的因素。
今天微信早就成为了所有中国人最主要的联系方式之一，在默认情况下都不会想到被盗，特别是互相之间熟悉的人，很容易就会被骗转账。不仅如此，微信上还存有大量的个人信息、语音、文件，可能还包括一些人像视频和身份证，我们都要谨慎处理。
而在微信之外，我们也必须意识到，AI时代，个人隐私数据将变得越来越重要。
第二，核实好对方身份。
AI让核实身份变得前所未有地困难，毕竟从声音到人脸全都能合成，而且技术还在不断地迭代优化。虽然亲自碰面可以避免AI诈骗，但显然这不现实，我们和家人、朋友、同事大量的互动都迁移到了互联网上，也包括数不清的交易。
我们只能学着适应，特别是大金额的转账，不能只靠对方的脸和声音，要在不同渠道进行确认，比如电话和微信。如果可以，最好还要多问一些问题，最好只有双方知道。
第三，及时拨打110报警。
电信诈骗的花样一直层出不穷，很多人都自信地认为自己不会被骗，然而现实告诉我们，所有人都有被骗的可能。而在发现被骗后，我们仍然还有机会挽回损失，郭先生虽然被骗了430万，但因为及时报警还是拦截回来了300多万。毕竟，警察才是最了解电信诈骗的。
不过坦率地讲，落到实际，AI诈骗对于我们普通人还是太难了，尤其是核实身份的关键一步，随着AI迭代只会越来越难。
好消息是，监管层面也在跟进，伴随着AI的爆发，全球各国都在重视AI安全和监管方面的问题，国家网信办此前发布的《生成式人工智能服务管理办法（征求意见稿）》，也强调了数据资源、生成内容、用户信息等多方面的安全可信。
