在科技飞速发展的当下,人工智能已广泛融入社会各领域,带来了前所未有的创新与便利。然而,伴随而来的安全隐患也日益凸显,从数据泄露到算法偏见,从恶意攻击到伦理争议,每一个风险都可能对个人权益、企业运营乃至社会稳定造成冲击。在此背景下,2025 年上海市通信管理局开展的 “铸盾模都” 人工智能安全赋能专项行动,意义重大且影响深远。它不仅是对人工智能安全风险的一次集中防控,更是为行业健康发展锚定方向,为企业规范运营提供行动指南。深入剖析此次专项行动,能够洞察人工智能安全管理的关键要点,助力企业和相关组织筑牢安全防线,在安全合规的轨道上释放人工智能的巨大潜能。
一、专项行动背景与目标
1.1 时代背景下的安全挑战
随着人工智能技术在上海市电信和互联网行业的深度渗透,大量企业投身人工智能服务的研发与应用。无论是自研技术的创新企业,还是借助人工智能技术赋能业务的服务型企业,都面临着复杂的安全威胁。数据层面,训练数据的合规获取、存储与使用面临挑战,个人信息泄露风险高悬;网络层面,人工智能系统易成为黑客攻击目标,对抗样本攻击等新型威胁不断涌现;内容层面,生成式人工智能可能产生虚假、有害信息,扰乱信息传播秩序。这些风险不仅损害企业信誉,更可能触犯法律法规,引发社会问题。
1.2 专项行动的核心目标
“铸盾模都” 专项行动旨在全面提升上海市电信和互联网行业人工智能网络和数据安全基线。一方面,通过压实企业安全主体责任,推动企业建立健全安全管理组织与制度体系,从源头上防范安全风险;另一方面,聚焦网络、数据、内容和业务安全等关键领域,强化安全保障措施,提升企业安全防护能力。此外,专项行动还致力于通过提供安全评测工具、开展攻防演练等方式,赋能企业提升安全管理水平,培育良好的人工智能安全生态,促进人工智能技术安全、健康、可持续发展。
二、专项行动重点任务与安全管理要点
2.1 安全主体责任落实
2.1.1 安全管理组织建设
企业应构建完善的网络和数据安全管理组织体系,明确人工智能安全负责人,将人工智能安全管理工作深度融入整体管理架构。绘制清晰的组织架构图,公开负责人任命信息,通过制度文件、职责清单等形式,细化安全管理人员的职责与义务,并妥善留存书面记录。《网络安全法》和《数据安全法》均明确要求网络运营者和重要数据处理者确定安全负责人,落实安全保护责任,企业在组织建设中必须严格遵循这些法规要求。
2.1.2 安全管理制度体系健全
企业需建立全面的人工智能网络和数据安全管理制度。可在既有网络和数据安全制度基础上,增设人工智能专项章节,也可独立构建专门制度。网络安全方面,涵盖攻击防范、漏洞管理、模型更新安全、安全监测及应急响应等内容;数据安全方面,囊括基础数据全生命周期安全管理、训练数据合规来源审查、内容安全审核、数据标注安全等要点。同时,设置制度执行监督与考核问责机制,确保制度有效落地。这与《网络安全法》中网络运营者应制定内部管理制度、《数据安全法》中开展数据处理活动需建立全流程安全管理制度的规定高度契合。
2.2 安全保障基线强化
2.2.1 人工智能网络安全加固
企业要针对人工智能系统全生命周期的网络安全风险,实施全方位防护。加强风险监测,及时识别 DDoS 攻击等传统网络威胁以及对抗样本攻击等人工智能专属攻击;建立漏洞处理机制,依据威胁等级设定处理时限与流程;部署先进的网络安全管控技术工具,提升防护能力;严格按照监管要求,开展网络安全定级备案工作,并积极参与 “磐石行动” 人工智能安全攻防演练,检验和提升自身安全防御水平,这也是《网络安全法》对网络运营者在安全防护技术措施与监测记录方面的明确要求。
2.2.2 人工智能数据安全保障
数据安全是人工智能安全的基石。企业需搭建数据全生命周期安全管理体系,保障数据从收集、存储到销毁各环节的安全。对于训练数据,若通过第三方采购,务必签订合规协议,开展供数方背景调查;使用用户输入信息训练,要依法履行告知同意义务;利用开源数据,则需严格遵守开源协议与法律法规。同时,强化训练数据内容安全审核,评估知识产权、个人信息侵权风险及数据质量等。在数据标注环节,明确标注规则,加强第三方标注人员管理,定期培训,建立监督机制并签订安全协议,这些措施符合《生成式人工智能服务管理暂行办法》中对训练数据处理的相关规定。
2.2.3 人工智能内容安全管控
随着生成式人工智能应用的普及,内容安全至关重要。企业应规范深度合成、生成式人工智能应用,优化内容生成模板与规则配置,构建全流程信息发布审核机制,提升对违法违规内容的识别与拦截能力。确保生成内容符合法律法规与社会道德规范,防止虚假信息、有害内容传播,维护清朗的网络空间与信息生态。
2.2.4 人工智能业务安全管理
企业需全面梳理人工智能业务清单,并于 11 月 30 日前上报市通管局。在业务上线前,开展严格的安全评估;对于自主研发大模型或部署开源大模型并对外服务的企业,应自行或委托第三方进行安全评测。市通管局将定期抽测,以确保业务安全运行,防范业务层面的安全风险,保障用户权益与市场秩序。
2.3 安全管理赋能举措
2.3.1 安全评测工具支持
市通管局打造的人工智能大模型安全工具箱,为企业提供了便捷、实用的安全评测工具与开源代码。企业应充分利用这些资源,对自身网络安全、数据安全、内容安全等方面进行全面自查,快速定位安全短板,并依据工具提供的改进建议,针对性地优化安全防护措施,提升安全管理的效率与精准度。
2.3.2 安全风险监测与处置机制
企业应积极配合市通管局,建立内部常态化安全巡检机制,主动监测安全风险并及时上报。对于市通管局发布的安全风险预警与威胁通报,要迅速响应,及时整改处置安全隐患。通过这种联动机制,提升企业风险防范的主动性与及时性,降低安全事件发生概率与影响程度。
2.4 安全行业发展推动
2.4.1 安全合规与应用实践指导
市通管局通过构建专家与企业沟通协作机制、组织 “磐石行动” 人工智能安全攻防演练等方式,为企业提供安全合规与应用实践指导。企业应积极参与这些活动,学习优秀防御实践经验,借助专家力量进行自查自纠,提升自身安全合规水平与实战防御能力,促进行业整体安全能力的提升。
2.4.2 安全生态培育
市通管局开设人工智能安全风险防范与治理能力提升专题培训,并开展典型案例评选活动。企业应踊跃参与培训,提升员工安全意识与专业技能;同时,积极参与案例评选,分享自身安全实践成果,借鉴其他企业优秀经验,共同推动人工智能安全技术创新,培育良好的安全生态,实现行业安全与发展的良性互动。
三、企业应对策略与未来展望
3.1 短期应对策略
企业应立即启动人工智能业务清单梳理工作,密切关注市通管局关于清单模板与上报形式的具体要求,确保按时、准确上报。同时,对照专项行动要求,对现有安全管理组织、制度、技术措施等进行全面自查,识别差距与不足,制定短期整改计划,优先解决紧急、关键的安全问题,满足专项行动的阶段性要求。
3.2 长期发展规划
从长远来看,企业要将人工智能安全管理纳入战略规划,持续完善安全管理组织与制度体系,加大安全技术研发与投入,培养专业安全人才。积极参与行业安全标准制定、技术交流与合作,不断提升自身在人工智能安全领域的竞争力与影响力。随着专项行动的深入推进与相关法规标准的持续完善,企业只有建立长效、动态的安全管理机制,才能在人工智能发展浪潮中稳健前行。
“铸盾模都” 2025 年人工智能安全赋能专项行动为企业人工智能安全管理提供了清晰的行动纲领。通过落实专项行动各项任务,企业能够有效防范安全风险,提升安全管理水平,推动人工智能技术在安全、合规的轨道上创新发展,为行业乃至社会的数字化转型注入安全动力,实现人工智能技术与安全保障的协同共进。