蒙城汇
标题: 当AI开始欺骗全世界：一键换脸，克隆语音，骗钱，骗色，骗媒体，制造恐慌..... [打印本页]
作者: 蒙城大队长 时间: 2023-5-14 22:50
标题: 当AI开始欺骗全世界：一键换脸，克隆语音，骗钱，骗色，骗媒体，制造恐慌.....
来源：英国那些事儿
AI的迅猛发展，令人喜忧参半。
人们一方面惊叹于那碳基生物无法比拟的强大工作效率，期待AI能帮忙节省不必要的劳动力。
另一方面，却又害怕它模糊现实和虚构的边界，切断人类分辨真伪的能力。
几乎AI诞生的那一刻起，AI造假的恐慌也随之不断蔓延。
（AI热图：川普被捕）
事实证明这一天不会太久。
如今，用AI编造的故事不仅能够蒙骗普通网友，就连全球各大媒体也纷纷上当。
AI新闻造假，全球媒体受骗
上个月，dailymail刊登了一则新闻—— 22岁的加拿大小哥SaintVon Colucci为了在韩国顺利出道，以防弹少年团的朴智旻为模版，整容了12次后不幸丧命。
新闻瞬间吸引了不少目光。
随后TMZ跟进，印度NDTV、加拿大Postmedia以及韩国的YTN、Osen、star等媒体也都对此进行了报道。
故事有图有真相，从小哥的手术过程到闯韩经历……各种细节应有尽有。
已经被主流媒体筛选过的事实，网友们自然也不会过多怀疑，真情实感地为小哥的遭遇感到惋惜。
可紧接着，此事就迎来了反转……
有驻韩记者、印度《滚石》助理编辑以及美国知名广播电台iHeartRadio等，进一步查证后提出了质疑：这位SaintVon Colucci的故事应该是编造的，甚至这个人可能压根就不存在。
疑点有很多。
文中说他曾为不少Kpop爱豆写过歌，但他死后却没有任何业内人士公开哀悼。
此外，韩媒MBC询问警方后得到的回复是：当时并未收到类似的死亡案例报告。
还有人把他的照片拿去检测网站，结果显示有75%的可能性是由AI生成的。
这件事于是立马被贴上了“AI新闻造假”的标签。
眼看质疑声越来越大，dailymail已经默默删文，TMZ也马上澄清了新闻有误。
但事情到这还没结束。之后又又又迎来了反转。
本月初有媒体报道，SaintVon Colucci的家人正准备起诉他的韩国经纪公司，以及宣称他们儿子的死亡是骗局的记者。
言下之意，报道都是真实的。
然而，这篇报道中又没有任何实质性的证据或采访，也没有家人出镜。已经被骗过一次的网友，根本不知道该相信谁了。
本是一场悲剧，现在成了闹剧。
如今，距离第一篇报道发布已经过了半个多月。调动了这么多来自英媒、加拿大、韩国以及印度等地的媒体，却依旧无法判断一个人的身份是真是假。
这让人深刻地意识到，AI除了捏造事实，更可怕的是会让人失去分辨真相的能力。
AI造谣层出不穷，险些引发社会恐慌
加拿大小哥的事件姑且只涉及到一个人。还有些更恶劣的AI造假操作，不仅会导致社会恐慌，还可能引发针对政府的信任危机。
上个月在国内就有这样一起事件。
甘肃平凉市公安局崆峒分局网安大队发现，多达21个网站上同步出现了一条本地“新闻”：甘肃一火车撞上修路工人，致9人死亡。
如此骇人听闻的标题外加大体量的集中报道，这条“新闻”的点击量很快超过了1.5万，引发了不少网友的讨论。
但此事纯属子虚乌有，完全就是一个博流量的幌子。
当地网警立刻介入，调查后发现，犯罪嫌疑人洪某就是利用了AI技术进行的新闻造假。
他购买了大量账号，通过ChatGPT全网抓取社会热点新闻素材，简单修改一番就能避开平台的查重审查，炮制出假新闻。最后再通过购买的软件大量上传至不同账号里，就能非法获利。
这次幸好警方发现及时，在“新闻”尚未引起恐慌时就将犯人捉拿归案。
但此事也足以让人意识到，AI造假后患无穷。
AI技术日趋完美，图片视频以假乱真
随着midjourney、StableDiffusion等制图工具的兴起，现在用AI生成照片的效果，早就脱离了“一眼假”的尴尬，达到了肉眼难以分辨的程度，正式宣布“有图有真相”的时代已经结束。
专家们一直警告，未来AI技术滥用可能产出各种假闻。其实不用未来，这一天早就到来了。
小到恶搞名人，自娱自乐：
比如，之前有国外网友用Midjourney生成“教皇穿羽绒服”，图片质量之高完全做到了以假乱真，被浏览了2800多万次不说，还引起了不小的骚动。
由于当下没有可以交叉比对的新闻报道，很多网友都信以为真。
大到捏造国际事件，直接改写历史：
还记得2001年时发生在卡斯卡迪亚的9.1级大地震和海啸吗？
当时房屋倒塌，遇难者家属泣不成声，救援人员连夜工作，各国记者都赶往现场报道。
当然不记得。
因为根本就没有什么地震，这些都是网友发在Reddit上的AI图。
这位网友模仿新闻报道总共生成了20多张照片，各种角度都有，伪造了一次大型灾难事件。
虽然图片制作得比较粗糙，不少地方都能看出破绽，但不可否认当时确实骗到了不少人：
“难道只有我一个人自问‘我怎么不记得这件事了？’直到看见版块分区？”
而除了照片，AI的视频造假技术也早就成熟。deepfacelab等AI换脸软件的成品，只靠肉眼几乎无法分辨。
比如下面这段网友制作的阿汤哥。那几个经典表情，完全就是阿汤哥本汤，是粉丝都会误判的程度。看原视频的话会发现声音也一模一样。
另一段打高尔夫的动作也没什么大问题。乍看之下，根本无从辨别是真人还是虚拟。
这还是2021年制作的，现在技术早就又更迭了无数次。
AI克隆人声，诈骗屡次得逞
人声合成是AI技术滥用的重灾区。
现在的AI模型—— 比如VALL-E—— 可以做到仅凭三秒钟的语音样本，就完美克隆出本人的声线，甚至连说话的语气和习惯都一模一样。
有不少骗子利用这点进行诈骗。最近，西班牙的小型电影制作公司PeabodyFilms就成了受害者。
公司的编剧兼导演BobWilliam透露，此前有人伪造本尼的声音跟他们打电话谈合作。
AI的声音听起来完完全全就是本尼本人，最开始公司相信了，还暗喜这么有名的演员会对自己的剧本感兴趣。
可交谈了几次后，对方开始露出了马脚。“本尼”既不愿意见面，还要求公司提前给他打20万英镑。
众人这才意识到被骗了。好在钱还没打，损失不大。
相比“本尼”事件，另一个骗子明显高明许多。
上个月，化名mourningassasin的网友出售了多首R&B歌手法海（FrankOcean）的“泄露曲目”。
听了一小段公开片段后，网友们都相信歌曲是真的，因为声音和风格一模一样。
很多歌迷联系mourningassasin购买，他趁此赚了13000多加币。
可后来证明，这些歌跟法海一点关系都没有，全是AI制作的。
当前的AI技术可以根据任何歌手的声音，曲风以及唱歌习惯等进行模仿创作，即便死忠粉也很难分辨真假。
这种情况下，除非法海本人否认，仅靠路人很难打假，这就给了骗子可乘之机。
前阵子还流行过AI版本的公鸭、侃爷以及孙燕姿。
虽然大部分只是出于好玩，但这也恰恰证明了AI技术对音乐行业产生的震荡。
明星们的音频容易获取、模仿，因此是AI诈骗的重点“被害人物”，但这并不表示普通人就不会受到波及。
国外有不少利用AI克隆声音进行诈骗的例子。仅在加拿大涉案金额就已超过百万。
诈骗犯大多通过社交媒体搜集音频素材，之后用AI模仿声音主人的声线，再拿去欺骗他们的家人。
一个月前，美国一位母亲JenniferDeStefano接到了“绑匪”电话，对方称劫持了她15岁的女儿Brie，要求100万美元的赎金。
电话那头传来了“女儿”的呼救。Jennifer听到的当下就相信了，因为不仅声音，就连哭泣的方式都和女儿一模一样。
好在后来丈夫及时证实了女儿是安全的，骗子才没得逞。
但这件事依旧让人后怕，也给广大网友造成了强烈的不安。
在能媲美“真假美猴王”的技术面前，没人敢保证拥有“火眼金睛”永不上当。
金融诈骗新方式，AI噱头下的骗局
如果说哪个领域的AI滥用能产生最强的破坏力，那多半就是金融圈。
一旦被有心人士利用，其震动足以使无数人倾家荡产。
众所周知，马斯克曾放话要推出一个TruthGPT人工智能项目，声称要去理解宇宙本质、探索真相。
从狠批AI对社会的潜在危险，再到下海入局……该计划一经公布就备受瞩目。
可没想到，马斯克还没做出什么名堂，这个项目就先被别人拿去骗钱了。
本周三，得克萨斯州监管机构紧急叫停了一项名叫TruthGPT的代币项目。
三月时，它由男子HoratiuCharlie Caragaceanu旗下的两家公司TheShark of Wall Street和Hedge4.ai联合推出。
乍一看名字，不少人都以为该项目与马斯克的TruthGPT相关，是他旗下团队推出的相关产品。
而该团队其实也传达出了“连马斯克本人都非常支持”的意思。
相关推广页面上还出现了马斯克本人的头像和动画形象，给人的观感是：这已经得到币圈大佬的专业认证了。
除此之外，TruthGPT代币的官网上，还出现了加密货币交易平台币安的创始人赵长鹏、以太坊联合创始人VitalikButerin等行业顶尖人士。
普通投资者看到这里，很容易会被权威人士的背书打动，就这么相信了这个代币的合法性。
再加上该项目还一直对外洗脑自己的超强功用：
使用ElonMusk AI的模型，可以分析各种加密货币，从而对各种数字资产进行估价。
同时还能将可投资产品和骗局予以区分。这样，就能在保证投资安全的前提下获得收益。
宣传文案上大胆写着：根据统计，投资后的收益将会翻上1000倍。
整个看下来给人感觉便是：有钱不赚王八蛋。
这一系列操作随后引起了德州监管机构的注意。
结果调查后发现，这根本就是一场人工智能投资骗局。
项目方借着马斯克TruthGPT的名号进行宣传，将所谓的代币项目，包装成利用AI模型获得高利润的投资手段。
实质上，他们压根就没有什么人工智能模型，有的只是一个包装话术。
德州监管机构揭发称：TruthGPT代币从未在当地进行合法注册，而且Caragaceanu的两个公司均未获得运营许可。
总之，这是一个彻头彻尾的骗局。
可怕的是，类似这种假借AI名义进行金融诈骗的行为已非个例。
仅在4月份，美国加州金融保护和创新部门（DFPI）就查出五家公司都在进行AI诈骗。
随着AI技术的发展，揪出一个TruthGPT代币，也还会有下一个xxx代币出现。
对于金融界而言，应该如何防范，已然成为亟待攻克的一大难题。
AI换脸肆虐侵权，法律保护
AI的换脸技术应该是近年来争议最大、也是民众最痛恨的技术之一。
因为用它给女性造黄谣，几乎就是动动手指的事。
受害者太多了……
此前，一个名叫Atrioc的Twitch主播曾在直播时被网友发现，浏览器显示正在观看色情片。
而色情片的内容，是其他女主播被AI技术伪造后生成的。
这件事立马引起了众怒。很多网友怒斥Atrioc的行为侵犯了女主播们的权益。
但同时，也不乏猥琐人士到处求资源，给受害者带来了二次伤害。
其中一位受害者名叫QTCinderella。
她发现此事时为时已晚，网络上到处流传着“她的”色情视频。不少人把这当真事一样讨论得津津有味。
QTCinderella一度情绪崩溃，在直播中痛哭：
“这种感觉就像遭到侵犯，被利用，看着赤身裸体的自己被肆意传播……不该是我来花钱把这些东西移除掉，也不该是我被骚扰，看着自己的‘裸照’满天飞……我用人格保证，我TM一定会起诉你们。”
类似的遭遇还发生在女生TaylorKlein身上。
大四时她饱受网络霸凌，经常在ins上被陌生男子辱骂。
直到某天Taylor收到好友发来的链接，才明白这是为什么。
链接打开是一个色情网站。而视频的主人公和她长相一模一样，标题还赫然列着她的名字。
Taylor当然知道这不是自己。
原来一直以来，她的脸被AI盗用伪造成了色情片。那些陌生男子因此才会侮辱她是“恶心的bitch”。
（示意图）
她试着向警察寻求帮助，等来的答复却是：她所在的州，目前还没有关于深度伪造色情片的相关法律。
而现有法律中“未经同意进行色情行为”的相关规定，也无法对此进行制裁，因为这些黄片里只出现了Taylor的脸，并不涉及她本人。
无奈之下，Taylor只好和其他受害者联手寻找嫌疑人。
可她们央求警方给嫌疑人打电话后，得到的回应也只是“下次不会再发生”。至于惩罚，压根不存在……
被污名化的受害者已经做了所有能做的，却依然无法得到公平的待遇。因此直到现在，用AI造假黄片的行为依旧屡禁不止。
如果一直任由科技发展，却没有相应的法律政策跟上予以规范，不难想象在这个如此依赖网络的时代，人们面临的最坏后果是什么：
即便看到图片和视频，也不敢轻易相信新闻。
接到家人的电话，需要反复确认是不是真人。
拍摄满意的照片上传网络，隔天发现自己成了黄谣主角，百口莫辩……
人人畏惧虚假的楚门世界，人人却都成了主角。
| 欢迎光临 蒙城汇 (https://mengchenghui.com/) |
Powered by Discuz! X3.4 |