生成式人工智能（AI Generated Content，AIGC），是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。[1]2022年12月，生成型预训练变换模型（Chat Gegerative Pre-trained Transformer，ChatGPT）火爆出圈，引发了对AIGC技术的新一轮关注。与分析已有数据的预测性人工智能不同,生成式人工智能可以通过学习海量数据来生成新的数据、语音、图像、视频和文本等内容。由于AIGC技术本身不具备判断力，随着AIGC技术的应用越来越广泛，其可能生成的虚假信息所带来的弊端也日益严重。不少用户在使用ChatGPT时已经意识到，ChatGPT的回答可能存在错误，甚至可能无中生有地臆造事实，臆造结论，臆造引用来源，虚构论文、虚构新闻等。面对用户的提问，ChatGPT会给出看似逻辑自恰的错误答案。在法律问题上，ChatGPT可能会虚构不存在的法律条款来回答问题。如果用户缺乏较高的专业知识和辨别能力，这种“一本正经”的虚假信息将很容易误导用户。OpenAI在GPT-4技术报告中指出，GPT-4和早期的GPT模型（包括大家熟知的ChatGPT）生成的内容并不完全可靠，可能存在“Hallucinations”（臆造），即“产生与某些来源无关的荒谬或不真实的内容”。[2]随着GPT模型越完善越智能，用户将更难区分其生成内容是真实的还是虚构的，并且，GPT模型生成的虚假数据极有可能被再次“喂养”给机器学习模型，致使虚假信息进一步泛滥，用户被误导的可能性进一步增大，而获得真实信息的难度增加。知名问答网站Stack Overflow就发布临时政策禁止ChatGPT在网站中的使用，以应对ChatGPT生成内容的泛滥之势，因为这些内容漏洞百出，质量低下，会给来网站寻求帮助的用户造成严重困扰和不便，严重影响平台内容质量。

因此，AIGC技术生成内容的真实性问题不仅是一个需要解决的技术问题，也需要通过法律制度加以监管和治理。

早在2019年11月18日，国家互联网信息办公室,文化和旅游部,国家广播电视总局三部委发布的《网络音视频信息服务管理规定》就对基于深度学习、虚拟现实等的新技术新应用提出了监管要求，包括不得用于制作、发布、传播虚假新闻信息，制作、发布、传播非真实音视频信息应当以显著方式标识；发现网络音视频信息服务使用者利用基于深度学习、虚拟现实等的虚假图像、音视频生成技术制作、发布、传播谣言的，应当及时采取相应的辟谣措施，并将相关信息报网信、文化和旅游、广播电视等部门备案；具有媒体属性或社会动员功能的应当开展安全评估。

2021年12月31日，国家互联网信息办公室,工业和信息化部,公安部,国家市场监督管理总局四部委发布了《互联网信息服务算法推荐管理规定》（以下简称《算法推荐管理规定》），将应用算法推荐技术界定为“利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息”，要求算法推荐服务提供者不得生成合成虚假新闻信息，不得传播非国家规定范围内的单位发布的新闻信息。具有舆论属性或者社会动员能力的算法推荐服务提供者应完成算法备案，开展安全评估。不得利用算法虚假注册账号、非法交易账号、操纵用户账号或者虚假点赞、评论、转发，不得利用算法屏蔽信息、过度推荐、操纵榜单或者检索结果排序、控制热搜或者精选等干预信息呈现，实施影响网络舆论或者规避监督管理行为。

2022年11月25日，国家网信办等三部委发布的《互联网信息服务深度合成管理规定》（以下简称《深度合成管理规定》）在《网络音视频信息服务管理规定》和《算法推荐管理规定》的基础上进一步提出对深度合成技术的细化监管要求，规定“不得利用深度合成服务制作、复制、发布、传播虚假新闻信息”。2023年2月，一条关于杭州取消限行的消息在网络上广泛传播，此事惊动警方介入调查，最终发现这是一则ChatGPT生成的假新闻，是有人在业主群展示ChatGPT功能时闹出的乌龙事件。

从杭州取消限行乌龙事件可以看到，虽然《网络音视频信息服务管理规定》《算法推荐管理规定》《深度合成管理规定》或多或少可以对制作、发布、传播虚假新闻信息等行为进行监管，但无法涵盖使用例如ChatGPT等AIGC技术生成除虚假新闻之外虚假内容的行为，考虑到AIGC技术引发的虚假信息风险，在前述规定下恐怕暂时难以得到恰当的解决。

2023年4月11日，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》（以下简称《AIGC服务管理办法》），在《网络音视频信息服务管理规定》《算法推荐管理规定》《深度合成管理规定》的基础上，制定了多条规定对AIGC生成内容的真实性进行特别强调，包括《AIGC服务管理办法》第四条规定“利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容”“利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息”；《AIGC服务管理办法》第七条规定“用于生成式人工智能产品的预训练、优化训练数据，应满足以下要求：……（四）能够保证数据的真实性、准确性、客观性、多样性”等。

从《网络音视频信息服务管理规定》《算法推荐管理规定》《深度合成管理规定》的相关规定中，笔者倾向于认为，针对基于深度学习等技术生成或合成的内容，我国较倾向于管控具有舆论导向性、媒体属性或社会动员功能的生成内容，尤其是虚假新闻、颠覆国家政权、危害政治安全和社会稳定等方面的信息。最新发布的《AIGC服务管理办法》则更广泛要求生成式人工智能生成的内容不得含有虚假信息，提供生成式人工智能产品或服务应当采取措施防止生成虚假信息。显然，《AIGC服务管理办法》中的虚假信息涵盖了虚假新闻以及其他臆造的、不真实的信息。

实际上，从技术角度看，正是因为生成式人工智能与预测性人工智能不同,能够生成新的数据、语音、图像、视频和文本等内容，许多生成式人工智能的生成内容是发散的、带有创新性的，甚至可能突破固有思维，从而使得其能够被人称之为“革命性技术”，这也意味着要求生成式人工智能的生成内容需确保真实性与生成式人工智能的技术原理存在一定的冲突。法律与技术的关系并非简单的治理与被治理的关系，《AIGC服务管理办法》发布的目的也在于促进生成式人工智能健康发展和规范应用，因此，法律监管的力度需要考虑技术的更新迭代速度，前瞻布局，为未来新技术的监管留有空间，同时，生成式人工智能服务的提供者需要在法律法规范围内推动技术的发展。

在前述法律法规中，针对不真实的信息有些采用了“谣言”、“网络谣言”的表述，有些采用“虚假信息”这样的表述，虽然这些表述目前在任何法律法规的条文中都尚没有非常精确的定义。从法理上来说，谣言或虚假信息的本质是虚假的、缺乏事实依据的信息。制造、传播谣言或虚假信息是否构成违法犯罪以及应当施以什么样的处罚，与该行为所造成负面影响的程度有关。例如，《刑法》第二百四十六条规定了诽谤罪。而当同一诽谤信息实际被点击、浏览次数达到5000次以上，或者被转发次数达到500次以上的，就可被认定为“情节严重”。虽然单条、少数或传播范围有限的谣言或虚假信息的影响较小，但考虑到网络传播的无序性、快速性、不受地域限制等特点，容易使点击次数、浏览次数达到入刑标准。

目前《AIGC服务管理办法》第五条明确规定，“利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人（以下称‘提供者’），包括通过提供可编程接口等方式支持他人自行生成文本、图像、声音等，承担该产品生成内容生产者的责任；涉及个人信息的，承担个人信息处理者的法定责任，履行个人信息保护义务。”因此，针对AIGC生成内容的真实性问题，为防范法律风险，提前规避责任，笔者建议结合国内相关企业应当结合所提供的技术服务，在现行法律法规的框架下进行有针对性的合规治理。

涉及网络音视频服务、算法推荐服务和深度合成服务的生成式人工智能提供者均应当至少做好以下共性的合规工作：

（1）建立信息发布审核制度和技术措施，维护数据的完整性、安全性和可用性；

（2）对用户进行真实身份信息认证，对不提供真实身份信息的用户，不为其提供信息发布服务；

（3）对生成合成的内容进行显著标识；

（4）建立辟谣机制。发现利用制作、复制、发布、传播虚假信息的，应当及时采取辟谣措施，保存有关记录，并向网信部门和有关主管部门报告；

（5）设置便捷的投诉举报入口，公布投诉、举报方式等信息，及时受理并处理公众投诉举报；

（6）提供具有舆论属性或者社会动员功能的技术服务的，按照国家规定开展安全评估；

（7）提供服务前，履行备案和变更、注销备案手续，完成备案的应当在其对外提供服务的网站、应用程序等的显著位置标明其备案编号并提供公示信息链接；

（8）发现、知悉生成的内容不符合要求时，应当及时采取处置措施；

（9）对于运行中发现、用户举报的不符合要求的生成内容，除采取内容过滤等措施外，应在3个月内通过模型优化训练等方式防止再次生成。

针对不同的技术服务，网络音视频服务提供者，还应当注意部署应用对违法违规音视频和非真实音视频的鉴别技术。

算法推荐服务提供者还应当注意：（1）建立健全用于识别违法和不良信息的特征库，完善入库标准、规则和程序，记录并留存相关网络日志；（2）提供互联网新闻信息服务的，应当依法取得互联网新闻信息服务许可；（3）依法开展涉电信网络诈骗信息的监测、识别和处置。

深度合成服务提供者，针对提供（1）智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务；（2）合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务；（3）人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务；（4）沉浸式拟真场景等生成或者编辑服务等可能导致公众混淆或者误认的几类特殊场景的，要求深度合成服务提供者应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况。而除此几项特殊场景的深度合成服务提供者，则应当提供显著标识功能，并提示深度合成服务使用者可以进行显著标识。

由此，通过用户身份认证，可以删减部分带有不良目的的用户，从源头减少虚假信息的产生；通过信息发布的审核机制，可以通过技术手段或人工方式剔除虚假信息，保证生成数据的安全性和可用性；通过显性标识，可以实现虚假信息的溯源，提供追责线索；通过辟谣机制、投诉通道、处置措施，为因虚假信息所引发的问题提供了解决和纠正途径。

目前，最新发布的《AIGC服务管理办法》对AIGC技术提出了一些较为严格的合规要求，AIGC相关技术企业均已开始着手开展合规工作，加强自律自治，加强行业制度规范的制定，共同打造良好的AIGC产业生态。以某短视频社交平台为例，其于2023年5月9日提出十一条平台规范暨行业倡议，一方面，该社交平台对参与平台生态的创作者、发布者、用户、商家、广告主等主体提出要求，包括（1）发布者应对人工智能生成内容进行显著标识，帮助其他用户区分虚拟与现实，特别是易混淆场景。（2）发布者需对人工智能生成内容产生的相应后果负责，无论内容是如何生成的。（3）禁止利用生成式人工智能技术创作、发布违背科学常识、弄虚作假、造谣传谣的内容。一经发现，平台将严格处罚；另一方面，该社交平台通过平台内部的技术力量协助对AIGC生成内容涉及的问题进行治理，以保护用户权益，包括（1）平台将提供统一的人工智能生成内容标识能力，帮助创作者打标，方便用户区分。（2）平台将提供用户反馈渠道，方便用户反馈违规生成内容等条款。[3]考虑到《AIGC服务管理办法》暂未正式生效，未来可能会根据公众反馈意见作出适当调整，AIGC相关技术企业在进行合规制度建设的同时，仍需紧密关注法律政策动态，以期在合规合理的范围内更好地应用生成式人工智能技术。