整治AI时代的信任危机，网信办就AI合成内容 的标识办法征求意见

　　随着生成式AI的爆发，社交媒体上的内容越来越(yuè)真假难整治AI时代的信任危机，网信办就AI合成内容的标识办法征求意见辨，人们(men)很难确信(xìn)某张照片或视频是真实存 在的(de)瞬间，以往的一句“眼见为实”在当下已经需要打上问号。

　　为应对这一冲击，9月14日，国(guó)家互(hù)联网信息办公室发布《人工(gōng)智能生(shēng)成合成内容标识办法(fǎ)（征求意见(jiàn)稿）》（下文简(jiǎn)称《意见稿(gǎo)》），在《互联网信息服务深度合成管理规定》《生成式人 工智能服务管理 暂行办法》等法(fǎ)律 法规上，进一步细化了AI合成内容的标识办法。

　　“这是全球范围内(nèi)第一部关于人工智能(néng)生成合成内(nèi)容标识的(de)国家标准，是关于人工智能内容治理机制建设的重要(yào)探索，对人工智能内容产业
的有(yǒu)序(xù)发(fā)展和业
务规(guī)则具有重要的(de)指引意义，也(yě)有助于人工智能良(liáng)性生态的培育。”北京师范大学法学院副教(jiào)授、中国互(hù)联网协(xié)会(huì)研究中心副主任吴(wú)沈(shěn)括对第一财经(jīng)表示。

　　细化内容生成(chéng)标识(shí)

　　此次(cì)的《意(yì)见稿》提出，人工智能生成合成内容标识包括显式标识和隐式标识。显式标识是指在生(shēng)成合成内容(róng)或者交互(hù)场景界面中(zhōng)添加的，以文字、声音(yīn)、图形等方式(shì)呈现并可被(bèi)用户明(míng)显感知到的标(biāo)识。隐式标识是指
采取技术措施在生成合成内容文件数据 中添加的(de)，不易被用户明显(xiǎn)感知到的标(biāo)识。

　　不同互(hù)联(lián)网平台的义务不尽相同。垦丁律(lǜ)所
创始(shǐ)合伙人朱骏超告诉记者，网络(luò)信息服(fú)务提供者的(de)义务包括确保 显式标识、添加隐式标识；提(tí)供网络(luò)信息内(nèi)容传播
平台服务的服务提供者的义务包括核验隐式标识、添加(jiā)提示标(biāo)识 、管理疑似内容，管理(lǐ)疑似内容包(bāo)括在疑(yí)似(shì)生成合成内容的文件(jiàn)元(yuán)数据中添加生成合(hé)成内容属性信息、传播平台名称或编码、内容(róng)编号等传播(bō)要素(sù)信(xìn)息；互联网应用程序(xù)分发平台的义务包括核验标(biāo)识(shí)功能，即在应用程序上架或上线审核(hé)时，核验(yàn)服务提供者是否按要求(qiú)提(tí)供生成合成内容标识功能。

　　具体而言，针对提供生成合成服务的网络(luò)信息服务提供(gōng)者，《意见稿》第(dì)四条提出(chū)，如果提供《互联(lián)网(wǎng)信(xìn)息服务深度合成管理规定》第十七条(tiáo)第一款(kuǎn)情形规定的深度合成服务，可能导(dǎo)致公众混淆或(huò)者误认的，应当按要求对生(shēng)成(chéng)合成内容添加显式标识。

　　《互联
网信息(xī)服务(wù)深度合成管理规(guī)定(dìng)》第 十七条第(dì)一款提到的具体情形(xíng)包括：智能对话、智能写作等模拟自然人进行文(wén)本的生(shēng)成或者编(biān)辑服务；合成人声(shēng)、仿声等语音生成(chéng)或者显著改变个人身份特征的编辑服务；人脸(liǎn)生成(chéng)、人(rén)脸替换、人脸操控、姿态操控等人物图像(xiàng)、视频(pín)生成或(huò)者显著(zhù)改变个人(rén)身(shēn)份特征的(de)编辑服务等(děng)。

　　显式标(biāo)识方式根(gēn)据内(nèi)容(róng)表现形式有(yǒu)所差(chà)异(yì)。如果(guǒ)是图片，则需在适(shì)当(dāng)位置添加显著的提示标识；如果是视频(pín)，则在视频起始(shǐ)画面和视频
播放(fàng)周(zhōu)边的适(shì)当位置添加显著的提示标识，可(kě)在视频末尾和中间适当(dāng)位置添加(jiā)显著的提(tí)示标(biāo)识，等等。

　　《意见稿》还要求提供生成合成服务的网(wǎng)络信息服务(wù)提供者，在生成合成内容的文
件元数据中添加隐式(shì)标 识，隐式标(biāo)识需包含生成合成内容属性信息、服务提(tí)供者名称(chēng)或编码(mǎ)、内容编号等制作要素信息。同时，提供网络(luò)信息内(nèi)容 传播平台应 当(dāng)采取措施
，规范生成(chéng)合成内容传播活动。包括提供必要的标识功能，并提醒(xǐng)用(yòng)户主动声明发(fā)布内容中是否包含生成合(hé)成内容等。

　　如(rú)果违反这一规定，未(wèi)对生成合成内容进行标识造成严重后果的，将由网信(xìn)等有关主管部门
按照有关法律、行政法规(guī)、部(bù)门(mén)规章的规定予(yǔ)以处罚(fá)。

　　新 壹(yī)科技副总裁陈鹏对记者表示(shì)，《意见稿》保护(hù)了用(yòng)户权益(yì)，通过(guò)显式和隐式标识，用户可(kě)以更容易地(dì)识别出内容是否由人工智能生成，有(yǒu)助于保护
用户的知情权和选择权。另外(wài)，通过这一规范能(néng)增强内(nèi)容可信度，减少误导和滥用(yòng)的可能性。

　　吴沈括对记者(zhě)提(tí)到，内容标识(shí)是目前关于人工智能内容治
理中的一种非常重要的机制设(shè)计，它对于避免深度伪造带来(lái)的(de)安全风险有非常大的(de)价值，且通过标准的统一也有助于引导各方的业务规则、业务设计(jì)和业务模式(shì)，对于(yú)全链条的风险防范具有非常重要的作用，也能有助于公众识别AI内容的真伪和权威性(xìng)。

　　汉王科技天地大模型算法负责人彭菲认为，这一办法的出台(tái)具有重(zhòng)要意义和积极作用，不仅保护了公民、法人以及其他组织的(de)合法权益
，而且维护国(guó)家安全和社(shè)会公
共利(lì)益。

　　“比如数据安全方(fāng)面，显示和(hé)隐式标(biāo)识(shí)有助(zhù)于(yú)提(tí)高数据的可(kě)追(zhuī)溯性，从而增(zēng)强数(shù)据安全(quán)；通过明确标识AI生成的内容，有效防止误导(dǎo)性信息的传播，减少因技术滥用而引发(fā)的社(shè)会问题。版权管理方面(miàn)，办法明(míng)确AI生成内容的来源(yuán)和版权归属，维(wéi)护了创作者的合法权益。”彭菲认为，通过这(zhè)些标识，用户能更容易识别出合成内(nèi)容(róng)，从而规范和负(fù)责地使用这些内容，减少虚假信息(xī)的传播。该办法有助于促使行业(yè)服务提供者规(guī)范地开展业务，推动人工智能技术(shù)的健康发展和广泛应用。

　　防范AI犯罪

　　“《意见稿》大整治AI时代的信任危机，网信办就AI合成内容的标识办法征求意见意是说生成相关内容(róng)如图片、视频、文字、语音必须标识说明为AI生成，防止有人恶意造谣、诈(zhà)骗，引发不良影响的社会舆论，防止相关犯罪发生。之前有(yǒu)人非法用他人头像(xiàng)或者脸部做合成，通过AI转(zhuǎn)换语音进(jìn)行诈骗，类似这种恶性事件应该杜绝。”AI视频制作(zuò)者(zhě)冯彬告诉记者。

　　就在8月底，韩国出现多起利用AI换脸伪造女性色情露骨图像的犯罪案，在这(zhè)背后(hòu)，犯罪者用深(shēn)度伪造技术（Deepfake）合成色情照片和视频，并在通信软件Telegram的(de)群聊中传播，参(cān)与者多达22万人，引发韩国(guó)民众恐慌 ，有人将其称之为韩国(guó)又一“N号房(fáng)”丑闻(wén)。

　　深度伪造这一技术(shù)犯罪，不仅仅出现在(zài)韩国，这两年在全球都有出现在国内，今年6月(yuè)，“男子用(yòng)AI伪造学生(shēng)同(tóng)事近7000张(zhāng)裸照”冲上微博热搜。据央视(shì)新闻消息，犯罪嫌疑人用AI“一键去(qù)衣”技术，深度伪造淫秽图片近7000张，再每张1.5元卖出，赚了将近一万元(yuán)。图片涉及女性人数多，包括学生、教师、同事。

　　冯彬表示，现在多个视频平台都有向视频上传者提供类似“作者声明：内容为AI生(shēng)成(chéng)”的标识选项，包括(kuò)抖音(yīn)、b站、快手、视频(pín)号，但是 没(méi)有强制创作者选择。据他观察，没有标识为(wèi)AI内容的视频，平台会(huì)识别出一些并标识(shí)类似“疑似AI生成”的字段。

　　冯彬认为(wèi)，平台在标识、提醒内容(róng)是否为AI生成方面，应该更(gèng)严(yán)格一些。相比视频(pín)、图片，平台应该更(gèng)难识别文本是否为AI生成，而从传播效果看，视频可
能是“假新闻”更多采(cǎi)用的(de)载体，AI换脸、AI语音这些有可能滋生诈骗的内容也尤其值得关注。

　　目前国内外已(yǐ)经达(dá)成共识(shí)，要对AI生成内(nèi)容进行标识和管理。去年7月，美国白宫与大型科技(jì)公司(sī)达成协议，为人工智能的开发设置更多防护措施，包括开发水印系统等。欧盟委员会(huì)也要求社 交媒体公司标记所有由
人(rén)工智能生成的内容。

　　科技公司已经开始尝试用技术制衡(héng)AI滥(làn)用(yòng)。今年2月，OpenAI 团队推出“AI 生成内容识(shí)别器”，旨在(zài)识别文本是由电脑自动(dòng)生成还是人 类撰(zhuàn)写，其本质上是一个区别真实内容和 AI 生成(chéng)内容的分类器。不过，OpenAI 在博客中指出，此识别器对 AI 撰写内容的检出成功率仅为 26%。

　　今年5 月，谷歌在 Google I/O 大会上公布了AI 生成图像识别工具，用(yòng)户可以(yǐ)通过(guò)上传来源不明的图片、执行反向图片搜索，了解到这张图(tú)片被(bèi)谷歌初次收录的时间、最早出现的网站。谷歌还宣布，它自(zì)己(jǐ)的生成式 AI 工(gōng)具将在每张图片中包含元数据、嵌入水印，以表明这是 AI 生成的图像(xiàng)，而不是真实(shí)照片。相比AI 生(shēng)成(chéng)内容(róng)识别器，数字水印被认为可能是更有效的方法。

　　更早前(qián)，微软在Build 2023开发(fā)者(zhě)大会上 ，宣布(bù)增加一项功能，让(ràng)任何人都能识别Bing Image Creator和Microsoft Designer生 成的图像或(huò)视频片段是否是由AI生(shēng)成的。该技术使用密码学方(fāng)法对AI生成的内容进行标(biāo)记和签名，并附上有关其来源的元数据信息。

　　吴沈括表 示，企业方面的是微生态，此次出台的标识办法标准则是国(guó)家和产业的大生态，“力度很大”。

　　（本文来自第(dì)一财经）

责(zé)任编辑：刘万里 SF014

未经允许不得转载：橘子百科-橘子都知道 整治AI时代的信任危机，网信办就AI合成内容的标识办法征求意见