中国经济网版权所有 中国经济网新媒体矩阵 网络广播视听节目许可证（0107190）（京ICP040090） “你是温峥嵘，我是谁？”演员温峥嵘本人正在浏览短视频，无意中发现“他”正在直播。他在评论区提出问题后，就被屏蔽并被踢出了直播间。但对方依然用“他的脸”来保住带货的播出。温峥嵘近期遭遇的“假直播”事件，就是滥用AI换脸技术的典型例证。冒充温峥嵘形象的AI互换行为出现在多个直播间。他的团队平均每天举报50个虚假账户并出具法律函件，但虚假账户不断被封禁，这给他带来了“难以证明我就是我”的问题。这种现象并不是孤立的。 r 最近的一项调查《法治日报》记者发现，人工智能换脸、语音克隆等技术已经形成了覆盖教程传播、定制服务的完整灰色产业链，对个人权益和平台经营造成严重威胁。变脸技术被用于违法犯罪。 11月5日，温峥嵘在自己的短视频账号上举办了三场主题为“我是真正的温峥嵘”的直播，讲述了自己最近被AI秒杀、换脸直播带货的经历。不久前，许多名人都对人工智能不断变化的面貌感到困扰。直播间出现主持人李子萌的形象，虚假宣传深海鱼油“能治病”；奥运冠军全红婵由AI配音，用来卖土鸡蛋；张文宏医生脸变了，用自己的形象在直播间推销某蛋白棒产品，销售额超过10亿使用。张文宏用自己的话说：“这些虚假合成信息就像蝗灾一样，一次又一次发生……”11月14日，国家网信办官方账号发布声明称，一些网络账号利用人工智能技术模仿公众人物形象，通过直播、短视频等方式发布网络营销信息，严重扰乱网络生态，造成不良影响。网信部门严肃查处了一批网络违法违规账号。同时，鼓励网站平台发布管理公告，一次提取信息，进行集中清理和纠正。目前，已清理相关违法信息8700余条，查处假冒公众号账号11000余个。 AI换脸技术滥用更甚并进入犯罪领域。 2024年10月，在江苏省南京市宣武区人民法院审理的一起案件中，被告人付某非法获取公民视频195万条，利用人工智能改造软件生成动态人脸视频，成功突破金融工作卡人脸识别，登录受害人账户，并盗窃食品银行卡。法院以侵犯公民个人信息罪、信用卡诈骗罪判处付某有期徒刑四年零六个月。 2024年，内蒙古鄂尔多斯市一位消费者遭遇AI换脸诈骗，差点损失40万多元。视频通话中，犯罪分子利用AI换脸技术冒充买家朋友，以资金周转为由，骗取其转账40万余元。所幸警方及时介入，未造成实际损失。相关教程和服务全部结束互联网。记者调查发现，人工智能辅导、换脸、克隆声音服务已遍布在线平台。当记者在各社交平台搜索“人工智能换脸”、“声音克隆”等关键词时，尽管平台弹出官方提醒，提醒用户“合法合规，注意识别”“切勿诱惑，谨防诈骗”，但相关内容在网络空间中仍然大量存在。例如，有大量标有“AI科普”的账号在各个平台公开分享换脸教程。这些视频通常会详细列出可访问的网站地址，演示操作过程的流程，并包含技术细节。例如，建议用户“尽量保证替换素材的字符大小与原素材一致，图像干净、不受干扰”，以保证生成的效果等等。根据教程指引，记者登录相关网站核实，发现部分平台免费提供AI换脸或语音制作服务。支付几十元购买会员后，还可以解锁去水印、高额助推等高级功能。除了公开教程外，更多隐藏交易是通过网络渠道进行的。记者注意到，一些“完整教程”以不到8元的价格打包出售，卖家声称“没有主流软件的太多限制”，包括云工作流程地址信息和详细操作说明，还有图像去爱、舞蹈动作模仿、人脸细化、相关文字指导等扩展功能。语音克隆教程售价不到9.9元，促销强调“支持任何图像和声音”。记者询问商家发现，只要购买使用此安装包，无需注册会员即可免费破解使用口型同步、克隆声音等功能。据商家描述，您只需提供音频文件，系统即可克隆，无需身份验证。支持一次播放30秒音频，且无次数限制。为了证明此类教程应用的实际效果，记者购买了一套售价8元的改版教程。该教程包括一个5分钟的视频教程和两份书面材料，其中明确提供了进入平台的链接、新用户福利步骤和操作步骤，并特别注明“敏感词限制很少”和“生成的内容无水印”。记者发现，该平台提供了多种功能模板，涵盖了更换视频角色、给角色指定部位换衣服、强化或强化等多种功能。悬挂照片中人物身体部位的处理。每个模板都配有相应的即时说明文字和详细的操作步骤。用户必须上传需要处理的参考图像、视频或材料，并等待一段时间才能生成内容。记者尝试用5秒的视频进行穿衣操作，大约3分钟后视频成功生成。画面中，人物的动作和表情都得到了高度还原，被遮挡部位的服装恰当的效果也更加自然准确。记者注意到，该平台的内容生成功能采用了按时计费模式，每秒收取0.2个虚拟币。教程有专属邀请码，用户可免费领取1000虚拟币。平台还设置了虚拟币奖励机制：登录即可获赠100个虚拟币作为礼物每天邀请新用户可获得500虚拟币。更改描述可以绕过审核机制。在电商平台上，有商家标明其AI换脸服务进行销售。在某购物平台上，记者直接搜索“AI换脸”，没有找到结果。但记者注意到，部分商家在商品详情页使用表情符号，隐喻提供“换脸”服务；一些商家打着“什么都能做”、“视频内容不限，什么都懂”的口号，表示可以私聊客服，了解商品详情。记者发现，10秒变声视频的价格从15元到300元不等。例如，有商家提出对20秒的视频（包括仅产生音频的视频）统一收取80元费用；部分商家还推出298元200分钟通话等套餐rk时间，还有490元年卡，承诺“一对一教学指导”。许多归纳性陈述，例如“让朋友和顾客难以识别真实性”。大多数商家只检查素材内容，并不对素材和资源进行筛选。为了深入了解AI工具本身的内容分析机制，记者对用户常用的10款文森图和文森视频AI工具进行了实际测试，测试了它们对明星“一键换脸”等指令的技术限制和审核能力。结果显示，只有一款人工智能工具明显拒绝生成真实公众人物的虚拟图像。有些应用程序经过简单的操作就可以生成有关名人的高度真实的虚假内容。例如，“吉×”最初会以“涉及肖像权”为由拒绝换脸或反串指令，但记者仍然可以上来选择替代选项后使用它； “斗×”和“文×”在没有明确危险警告的情况下直接执行指令； “童×”和“田×”只是在生成内容的角落里标注了AI“生成”的模糊字样。值得注意的是，一些人工智能工具在第一次收到涉及真人的链接指令时会拒绝这些指令，但通过选择替代平台选项或改变表达方式，用户仍然可以绕过最初的限制并实现图像或视频生成。平台部分人士公开回应称，AI内容侵权识别是行业技术难题，恶意假账号不断在平台上进行技术对抗。未来，他们将继续加大技术投入，积极应对挑战，保护创作者、商家、消费者的合法权益。 （编辑：杨淼）