(网经社讯)三只羊公司是直播带货领域的头部企业之一，最近这段时间可谓是处于舆论的风口浪尖，月饼的虚假宣传事件还未过去，录音事件风波又起。一段声称是三只羊集团创始人卢文庆的录音在网络上广泛传播，引来一众吃瓜群众。在这段音视频中，“卢文庆”就三只羊集团处理客户投诉问题、竞争对手等方面发表了一系列言论，并涉及所谓的“职场潜规则与女主播之间存在不正当关系”。对此，合肥市公安局高新分局于昨日发布通报，确认该网传音视频系通过人工智能工具训练生成的虚假内容。目前，涉嫌伪造音视频的犯罪嫌疑人王某某已被依法采取刑事强制措施，案件正在进一步侦办中。
利用AI的违法行为有哪些？
随着AI功能的日益普及以及AI工具的逐步完善，使用AI进行文字、图片和音视频合成变得更为便捷，使得利用AI伪造、造谣的成本以及门槛大大降低了。现在就“AI内容造假”作为关键词在搜索引擎简单一搜，就能检索到大量关于AI造假的新闻。
1.虚假信息传播
四川网警就在2024年7月27日发布了10起利用AI造谣典型案例，其中包括虚构自然灾害事件、人物经历、虚假横幅口号等，颠覆了“有图就有真相”的常规认知，以达到误导网民引发广泛讨论，吸引流量博取眼球。
2.网络诈骗
诈骗分子通过收集受害者的相关信息，使用AI技术伪造的视频和声音几乎可以以假乱真。受害者在没有进一步核实的情况下，按照“朋友”或者“亲人”的指示进行了转账操作的案子比比皆是。
3.制作淫秽物品
还有在北京警方侦破的一起案件中，不法分子利用AI换脸技术、一键去衣等技术实施，只要用户提供一张被害人的生活照，就可以生产淫秽物品等违法行为，该案深度伪造近7000张淫秽图片，并成为敲诈勒索等违法犯罪工具。
北京互联网法院近期还审理了一起AI生成声音人格权侵权案，明确认定在具备可识别性的前提下，自然人声音权益的保护范围可及于AI生成声音。
当然，利用AI产生的新型违法犯罪行为远不止以上这些类型，包括利用AI分析个人信息，侵犯个人隐私，还包括利用AI技术开发恶意软件，进行网络攻击或黑客活动，这些行为不仅严重威胁到个人和组织的信息安全，还可能导致关键基础设施受损，扰乱经济秩序，甚至影响社会稳定。此外，AI还可被用于自动化批量实施网络犯罪，进一步加剧了网络安全的复杂性和防控难度。
法规对于AI内容的审核要求有哪些？
为规范生成式人工智能服务，我国相继出台了多项法律法规，如《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》《互联网信息服务管理办法》《网络信息内容生态治理规定》等，旨在确保AI生成内容的合法性、可靠性和透明度，以维护网络信息生态的健康与安全。
1.《生成式人工智能服务管理暂行办法》第四条 提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，遵守以下规定：
（一）坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容；
（二）在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；
（三）尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；
（四）尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；
（五）基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。
2.《互联网信息服务深度合成管理规定》第十条 深度合成服务提供者应当加强深度合成内容管理，采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核。
深度合成服务提供者应当建立健全用于识别违法和不良信息的特征库，完善入库标准、规则和程序，记录并留存相关网络日志。
深度合成服务提供者发现违法和不良信息的，应当依法采取处置措施，保存有关记录，及时向网信部门和有关主管部门报告；对相关深度合成服务使用者依法依约采取警示、限制功能、暂停服务、关闭账号等处置措施。
3.《互联网信息服务管理办法》第十三条 互联网信息服务提供者应当向上网用户提供良好的服务，并保证所提供的信息内容合法。
4.《网络信息内容生态治理规定》第九条 网络信息内容服务平台应当建立网络信息内容生态治理机制，制定本平台网络信息内容生态治理细则，健全用户注册、账号管理、信息发布审核、跟帖评论审核、版面页面生态管理、实时巡查、应急处置和网络谣言、黑色产业链信息处置等制度。
网络信息内容服务平台应当设立网络信息内容生态治理负责人，配备与业务范围和服务规模相适应的专业人员，加强培训考核，提升从业人员素质。
5.《最高人民法院、最高人民检察院关于办理利用信息网络实施诽谤等刑事案件适用法律若干问题的解释》第八条 明知他人利用信息网络实施诽谤、寻衅滋事、敲诈勒索、非法经营等犯罪，为其提供资金、场所、技术支持等帮助的，以共同犯罪论处。同样适用于利用AI技术生成的虚假信息。
除了以上法规外，还有标准委员会出具的《生成式人工智能服务安全基本要求》生成式人工智能服务在安全方面的基本要求，包括语料安全、模型安全、安全措施等，并给出了安全评估要求。《人工智能生成合成内容标识方法（征求意见稿）》等标准也对于人工智能生成合成内容显式标识和隐式标识的方法进行了明确。
AI平台对于这类AI造假可以做什么？
合规治理关键点一：AI生成的显性标识和隐形标识
AI平台应当确保所有由AI生成的内容都有明显的标识，告知用户这些内容并非真实拍摄或撰写。例如，在视频中添加水印或角标，明确标注“AI生成”字样；在文本中，使用特殊字体或颜色标记，或在开头和结尾处加入提示语，告知读者该内容为AI生成。这样做不仅有助于提高用户的识别能力，也能降低因误解而导致的社会负面影响。
除了显性标识之外，平台还应使用隐形标识技术，如数字指纹、水印或元数据嵌入，这些标识不会直接影响用户体验，但在需要验证时可以快速识别内容的真实性。这些技术手段可以有效防止伪造内容的传播，确认内容的来源和完整性，保护平台和用户的权益。
合规治理关键点二：AI输入端和输出端的内容审核
输入端审核：在AI生成内容的过程中，输入数据的质量直接决定了输出结果的可靠性。因此，平台需要在输入端设置严格的数据筛选机制，比如使用过滤器排除含有敏感词汇、违法信息的数据，确保输入数据的合法性。此外，还可以采用机器学习模型对输入数据进行初步分类，识别出潜在的风险点，并进行人工复审，确保数据源的可靠性和真实性。
输出端审核：AI生成的内容在发布前必须经过严格的审核流程。一方面，可以利用自动化工具进行初步筛查，比如使用自然语言处理技术识别文本中的违规内容，或通过图像识别技术检测视频中的异常画面。另一方面，对于自动化工具无法确定的内容，应辅以人工审核，确保内容的真实性和合规性。通过多层次的审核机制，可以有效防止虚假信息的传播。若自己没有相应人员以及能力进行审核的，也可以接入第三方内容审核服务商。
合规治理关键点三：建立自己的关键词库、拒答题库等内部数据库
为了有效识别和过滤敏感信息，AI平台需要建立自己的关键词库。关键词库应涵盖各类敏感词汇，包括但不限于政治、宗教、色情、暴力等类别。关键词库应定期更新，确保其时效性和有效性。此外，还可以通过用户反馈和数据分析不断完善关键词库，使其更加精准地捕捉潜在风险。拒答题库是指平台明确禁止回答或生成的内容列表。例如，涉及个人隐私、商业秘密、国家安全、违法犯罪等问题不应由AI生成内容。对于一些有出海需求的AI平台，还应当了解当地的文化、宗教习俗的禁忌，那么平台可以更好地控制生成内容的范围，避免触及法律红线或引发道德争议。
合规治理关键点四：用户实名认证、保留审核记录以及及时报告
为了确保用户行为的可追溯性，AI平台应实行实名认证制度。用户在注册账号时需提供真实有效的身份信息，并通过多种方式验证其身份，如短信验证码、人脸识别等。实名认证不仅可以提高用户的可信度，也能在发生纠纷时便于责任追究。
同时应当按照法律规定的时限保留AI内容审核记录至少6个月，一旦发现可疑或违规内容，平台应立即采取措施，并及时向有关部门报告。报告内容建议包括违规人员、违规行为的具体描述、处理措施及后续跟进计划等。
合规治理关键点五：积极践行算法备案
为确保算法使用的透明度和可追溯性，AI平台应积极践行算法备案制度。备案内容应包括主体备案，提供主体信息、公司内部对于算法合规的相关制度建设，还包括算法备案，涵盖算法的基本原理、应用场景、预期效果、产品信息、产品预计使用人数等信息，以便监管部门了解和评估算法的实际运行情况和可能产生的影响。
合规治理关键点六：公示算法原理公示
公示算法原理是提高AI平台透明度和用户信任的关键措施之一。平台应当在其官方网站或应用内明确展示所使用算法的基本原理、工作流程和应用场景，让公众认识到我们算法如何运作。这不仅有助于用户理解AI生成内容的逻辑，增强其对平台的信任，还能促进用户对AI内容的合理使用
对于生成式人工智能的内容治理道阻且长，各方仍需努力。
