标准号：WDTA AI-STR-02

　　英文名称：Large Language Model SecurityTesting Method

　　发布时间：2024年4

　　摘要:

　　《大语言模型安全测试方法》由蚂蚁集团作为牵头单位。该标准则为大模型本身的安全性评估提供了一套全面、严谨且实操性强的结构性方案。它提出了大语言模型的安全风险分类、攻击的分类分级方法以及测试方法，并率先给出了四种不同攻击强度的攻击手法分类标准，提供了严格的评估指标和测试程序等，可解决大语言模型固有的复杂性，全面测试其抵御敌对攻击的能力，使开发人员和组织能够识别和缓解潜在漏洞，并最终提高使用大语言模型构建的人工智能系统的安全性和可靠性。

　　大型语言模型的生命周期可简单分为三个基本阶段：预训练、微调和推理。 在预训练阶段，攻击主要来自预训练数据和编码框架，包括数据中毒和植入后门等策略。 在微调阶段，风险不仅与预训练数据和框架有关，还可能增加针对第三方模型组件的攻击风险 ，因为这些组件可能会受到攻击。这些组件包括 LoRA、RAG 和其他模块。

　　此外，这一阶段 对旨在从预训练数据中获取信息的攻击尤为敏感，因为这些攻击会精心制作微调数据集，无意 中造成数据泄露。虽然这种成员推理攻击（见 NIST AI 100-1）可以在测试过程中使用，但我 们主要关注的是在模型推理阶段遇到的对抗性攻击。 训练完成后，LLM 在推理过程中会面临各种对抗样本，这些样本可能会诱使模型产生与人类 期望不一致的输出结果。 该标准主要针对推理阶段的对抗性攻击测试以及大型语言模型对此类攻击的安全性评估。

　　原文详见附件：