今天分享的是：2024年大模型安全实践报告——真实漏洞视角下的全面探讨

报告共计：24页

《2024年大模型安全实践报告——真实漏洞视角下的全面探讨》对大模型在软件设施和应用场景中的安全问题进行了研究，具体内容如下：

1. 漏洞概况：借助360安全大模型代码分析能力，对多个开源项目进行审计，发现了近40个安全漏洞，涵盖多种类型，影响众多知名模型服务框架及产品。

2. 模型层安全

- 数据投毒：攻击者通过污染训练数据集，影响模型性能和准确性，进而影响依赖模型输出的下游应用程序。

- 后门植入：在模型中植入特定“后门”，在特定条件下控制模型输出，具有较高隐蔽性，如Hugging Face平台曾受此影响。

- 对抗攻击：对模型输入数据进行微小修改，使模型产生错误预测，在大语言模型中表现为“越狱”，可被用于扩大攻击影响。

- 数据泄露：模型可能泄露训练数据中的隐私信息或自身关键信息，攻击者可通过构造提示词获取特定攻击效果。

3. 框架层安全

- 计算校验与运行效率的矛盾：框架为提升效率使用非内存安全语言编程，可能引入内存安全问题，开发者在效率与安全间权衡，倾向于优先保障效率。

- 处理不可信数据：框架接受的原始训练数据和序列化存储模型可能存在安全风险，如文件处理漏洞、模型反序列化导致的代码执行等。

- 分布式场景下的安全问题：分布式框架在节点通信和管理、数据同步等方面存在安全风险，如llama.cpp、Horovod、Ray等框架均存在不同程度的安全问题。

4. 应用层安全

- 前后端交互中的传统安全问题：包括数据未严格验证过滤导致的SQL注入等Web漏洞，以及身份验证和授权管理不当问题，如Intel Neural Compressor和AnythingLLM存在相关漏洞。

- Plugin能力缺少约束导致的安全问题：Plugin能力强大但缺少约束，可能被攻击者利用，如数据检索处理中的SQL注入（以PandasAI为例），以及代码执行与沙箱机制相关问题（以Dify为例）。

以下为报告节选内容