【以案说法】深度合成服务须守规 AI换脸不能“变脸”——浙江某公司运营的App提供深度合成服务未按规定进行安全评估案

发布时间:2026-03-24 05:50

近日,国家网信办发布了一批网络安全、数据安全、个人信息保护相关执法典型案例。其中,浙江某科技公司因运营的App提供AI换脸服务未按规定进行安全评估,被网信部门依法查处,应用程序被下架处置。

此案作为深度合成服务监管领域的典型案例,揭示了新兴技术应用与法律合规之间的密切关系,也为行业提供了重要的法律警示。针对该起典型案例,本报邀请了贵州省律师协会大数据和信息化专业委员会委员、贵州仁致律师事务所律师祝光明,就该典型案例所涉及的法律问题进行分析,深刻阐释新兴技术应用与法律合规之间的密切关系,并就企业如何合法提供深度合成服务给出意见建议。

案例回顾:技术越界与监管回应

浙江某科技公司运营的App提供视频换脸、图片换脸、照片舞动配音等合成服务,用户可对上传图片、视频中的人物进行换脸。而该平台未按规定落实安全评估要求,相关深度合成内容也未做显著标识。网信部门依据《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等多部规定,责令应用商店立即下架该App,限期整改,并对公司处以顶格罚款。

此案反映出部分企业在追逐技术红利的同时,忽视了法律合规的重要性,最终付出惨痛的代价。

法律解析:多维度的监管框架

通过分析,本案例涉及以下相关法律法规:

1.《互联网信息服务深度合成管理规定》

该规定于2023年1月10日起施行,规定第四条明确了提供深度合成服务,应当遵守法律法规,尊重社会公德和伦理道德,坚持正确政治方向、舆论导向、价值取向,促进深度合成服务向上向善;规定第十六条、第十七条明确规定了深度合同服务提供者对使用其服务生成或者编辑的信息内容应当进行标识,该公司未对生成的换脸内容添加标识,直接违反了此项规定。

2.《生成式人工智能服务管理暂行办法》

2023年8月正式施行的这一办法,要求提供生成式AI服务应当遵循法律法规,尊重社会公德和伦理道德。办法规定,提供者应当根据生成式人工智能服务的用途、使用场景、用户人群等因素,采取必要的安全管控措施。该公司未进行安全评估就直接提供服务,显然未能履行这一法定义务。

3.《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》

该规定于2018年11月30日开始试行,要求具有舆论属性或社会动员能力的信息服务提供者,应当在上线前进行安全评估。AI换脸技术可能被用于制作虚假视频,影响舆论走向,显然属于具有舆论属性的服务,必须事先进行安全评估。

风险分析:为何AI换脸需要特殊监管

AI换脸技术作为一种深度合成技术,具有双重属性:一方面它是技术创新,有娱乐、教育等正当用途;另一方面又存在被滥用的巨大风险。

其一,肖像权与隐私权风险。换脸技术未经许可使用他人肖像,可能侵犯公民肖像权和隐私权。特别是将我们的脸部合成到不适当的视频或图片中,会造成个人名誉严重受损。

其二,社会信任风险。深度合成技术可制作难以辨别的虚假内容,削弱公众对视听内容的信任基础,形成“眼见不一定为实”的信任危机。

其三,国家安全与社会稳定风险。恶意行为者可能利用该技术制作政治人物、娱乐明星和热点人物等,制作虚假视频,散布谣言,影响国家安全和社会稳定。

正因如此,网信部门对深度合成技术采取“包容审慎”但“底线明确”的监管态度,既鼓励技术创新,又坚决守住安全底线。

合规指引:企业如何合法提供深度合成服务

1.严格落实安全评估制度

提供具有舆论属性或社会动员能力的互联网信息服务,应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》进行安全评估,并在上线前30个工作日内通过网信部门的安全评估。

安全评估应当包括信息安全和网络安全风险、防治违法信息传播的能力、安全管理制度落实情况等内容。评估发现存在安全隐患的,应当及时整改直至符合要求。

2.显著标识义务不可忽视

《互联网信息服务深度合成管理规定》明确要求:“深度合成服务提供者应当对使用其服务生成的深度合成信息内容采取技术措施,添加不影响用户使用的标识。”这意味着所有通过AI换脸等技术生成的内容,都应当有明确标识,告知公众该内容经过合成处理。

标识应当清晰可见,且与内容同时呈现。这不仅是对用户的告知义务,也是维护内容生态健康的重要措施。

3.建立健全内容审核机制

深度合成服务提供者应当建立完善的内容审核机制,防止违法和不良信息的传播。《生成式人工智能服务管理暂行办法》第九条规定:“提供者应当依法承担网络信息内容生产者责任,履行网络信息安全义务。”

具体而言,企业应当配备与其服务规模相适应的审核人员和技术能力,建立投诉举报机制,及时处理公众反映的问题。

行业启示:技术创新必须在法治轨道上进行

技术本无善恶,但“换脸”一旦脱离法治轨道,就可能成为“谣言制造机”“诈骗发动机”“人格侵权发动机”。只有让法律成为技术创新的“安全护栏”,我们才能在享受AI魔术的同时,守住人格权的底线、公共安全的红线、国家安全的生命线。

来源 贵州省律师协会

编辑 曹吟秋

二审 张谌

三审 黄峰

网址:【以案说法】深度合成服务须守规 AI换脸不能“变脸”——浙江某公司运营的App提供深度合成服务未按规定进行安全评估案 https://mxgxt.com/news/view/2058888

相关内容

AI换脸,不能想换就换!
明星保安价钱 诚信经营「浙江敬业保安服务供应」
AI换脸+拟声 “深度伪造”的迷局何时能解?
KOL营销公司哪家强?2025三大服务商深度测评
张文宏躺枪 AI换脸越陷越深
女明星和邻家小妹秒变“主角”!80后男子建“女神合成群”定制换脸视频︱杭州发起“AI换脸案”公益诉讼
有信誉度的厂区保安服务江苏提供 ,厂区保安服务***
未按约提供养老服务应退费!追星侮辱诽谤他人要担责!典型案例公布
AI换脸明星:技术狂欢还是伦理危机?深度解析人工智能换脸现象
服务明星评选方案.doc

随便看看