一站式财经资讯,为你网罗天下

首页 >> 焦点要闻 >> 预防生成式AI技术用于深度伪造
焦点要闻
详细内容

预防生成式AI技术用于深度伪造

时间:2024-02-22     【转载】   阅读

近日,美国OpenAI公司发布的首个视频生成模型“Sora”给国内外信息产业带来震撼影响,同时也引发了人们对生成式AI技术被用于深度伪造内容,可能加剧错误和虚假信息传播的担忧。在生成式AI技术迅速发展的当下,伪造视频、图片、语音用于不法目的的行为时有报道。已有多家媒体报道称,生成式AI技术已被用于深度伪造领域,并被用于误导选民、干扰选举、抹黑名人、造谣诽谤、电信诈骗、色情敲诈等不法行为中。

  当前,国内外生成式AI技术快速发展,从事该领域研究、开发、应用的新生企业如雨后春笋般涌现,AI手机的开发更是如火如荼。需要看到的是,生成式AI技术的快速发展具有两面性。一方面是该技术有创造性,能为影视制作、文娱创作、游戏制作、音乐工业等提供全新生产力,促进文化产业繁荣发展;另一方面是该技术具有破坏性,能快速廉价地实现以假乱真、移花接木、无中生有等特定诉求,为不法分子大开方便之门。

  如能有效限制生成式AI技术的破坏性,更能有利于生成式AI技术的创造性发挥,在保障这一新生事物行稳致远的同时,也能够使之成为国家经济增长中的新质生产力之一。为此,笔者建议从多个层次扎牢防范风险的篱笆。

  在生成式AI大模型的开发过程中,监管机构应督促相关上市公司尽快设立两类审查制度,切实管控好底层代码和训练样本。

  一类审查用于生成式AI大模型的底层代码。对于从事生成式AI大模型的开发型企业,应在内部建立起对底层代码审查制度,其底层代码对监管机构及内部审查机构透明化可查阅,鼓励头部开发企业在底层代码开源可见、主动对外披露方面多做工作。

  一类审查用于生成式AI大模型的样本训练环节。对于从事生成式AI大模型的训练型企业,应在内部建立对训练样本审查制度,其训练样本的来源、脱敏、数据清洗等关键环节应设置检查点,从而避免敏感信息、个人信息被用于样本训练,进而生成深度伪造内容。

  在生成式AI大模型的安装及应用过程中,应尽快建立实名认证制度和指令鉴别机制。

  通过建立实名认证制度,可确保安装在个人计算机、服务器、手机、智能移动终端的生成式AI大模型客户端与用户实名捆绑,确定生成式AI大模型的指令发出人、指令接受人、内容流向清晰可见,在内容生成流程上实现可追溯、可监控、可预防。

  通过建立指令鉴别机制,可在生成式AI大模型的客户端就及时拒绝并剔除非法指令,提前鉴别出有明显违法倾向性的提示词指令,从而预防生成式AI大模型被用于深度伪造的不法目的。

  在生成式AI大模型的内容传播过程中,应建立标签提示机制。标签提示机制应安排在视频、图片、语音等关键位置上,提示受众注意相关内容由生成式AI提供,确保受众能分辨出生成式AI大模型的内容,以免出现视听混淆、错误理解等。

  对于生成式AI大模型的开发企业、发布商、硬件生产商及主要受众群体应给予全面覆盖的警示教育。监管机构应警惕生成式AI技术被用于深度伪造内容后,产生“造谣、信谣、传谣”的连锁反应,在网络终端提前构建快速反应的舆情监控系统,确保实现“违法乱纪的勾当做不得,以假乱真的内容信不得,混淆黑白的消息传不得”的理念深入人心。

  对于银行网点、快递收发、电商、短视频、直播等高频率内容传播环节,应督促相关上市公司按照分区负责、统一责任、统一管理的方式,安排专人宣讲防范手段、危害重点和典型案例,营造全民防范深度伪造的社会氛围。


技术支持: 建站ABC | 管理登录
seo seo