目录

- [1.大模型的对抗攻击与防御](#1.大模型的对抗攻击与防御)
- [1.什么是大模型的对抗性攻击？](#1.什么是大模型的对抗性攻击？)
- [2.什么是token操作（对抗性攻击）？](#2.什么是token操作（对抗性攻击）？)
- [3.什么是基于梯度的攻击（对抗性攻击）？](#3.什么是基于梯度的攻击（对抗性攻击）？)
- [4.什么是GBDA（基于梯度的攻击）？](#4.什么是GBDA（基于梯度的攻击）？)
- [5.什么是UAT（基于梯度的攻击）？](#5.什么是UAT（基于梯度的攻击）？)
- [6.什么是AutoPrompt（基于梯度的攻击）？](#6.什么是AutoPrompt（基于梯度的攻击）？)
- [7.什么是越狱prompt（对抗性攻击）？](#7.什么是越狱prompt（对抗性攻击）？)
- [8.什么是角色扮演攻击（对抗性攻击）？](#8.什么是角色扮演攻击（对抗性攻击）？)

1.大模型的对抗攻击与防御

1.什么是大模型的对抗性攻击？

对抗攻击一般指在大模型的推理阶段，利用精心设计的噪声来扰乱输入数据，从而导致模型产生错误或不良输出。这些扰动通常对人类来说是难以察觉的。根据攻击者的访问权限，对抗攻击可以分为白盒攻击、灰盒攻击和黑盒攻击。**白盒攻击**是指攻击者可以完全访问模型的权重、架构和训练流程，通常使用基于梯度的工具来攻击大模型。**灰盒攻击**是指攻击者仅掌握模型的部分信息，如架构和某些内部参数，但无法直接访问模型的权重或完整的训练数据。攻击者通常利用其他视觉/语言编码器/生成模型，在输入数据/嵌入空间中添加微小的扰动，使得模型在推理阶段产生错误的输出。**黑盒攻击**是指攻击者完全无法访问模型的架构或参数。攻击者通常通过调用API和使用恶意的Prompt来攻击大模型。

2.什么是token 操作（对抗性攻击）？

**Token操作**是指人为通过对输入文本中的token进行替换、删除、插入或重新排序等操作，破坏文本的原始语义结构。这种操作是**黑盒攻击**，旨在让大模型难以篡改后文本的含义，从而输出错误的结果。
常见的token操作：[《TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP》](https://arxiv.org/pdf/2005.05909)。

3.什么是基于梯度的攻击（对抗性攻击）？

基于梯度的攻击是指在**完全掌握模型参数结构情况**下，利用**梯度下降算法**的思想，通过计算输入数据对模型输出的梯度，不断调整输入数据，以**最大化攻击效果**。这种攻击手段是**白盒攻击**，旨在构造出最有效的攻击策略，使得经过微小扰动的输入数据能够导致模型做出错误的预测或行为，常见的梯度攻击手段有GBDA、HotFlip、UAT、AutoPrompt等。

4.什么是GBDA（基于梯度的攻击）？

**GBDA**利用Gumbel-Softmax近似技巧，使原本不可微的对抗损失函数变得可微，从而可以通过梯度下降算法进行攻击最大化的优化。此外，GBDA还采用了BERTScore来评估生成的对抗文本与原始文本之间的语义相似性，确保攻击在保持语义的同时达到欺骗目的[《Gradient-based Adversarial Attacks against Text Transformers》](https://arxiv.org/pdf/2104.13733)。

5.什么是HotFlip（基于梯度的攻击）？

**HotFlip**通过计算损失函数对输入文本的梯度，来确定替换输入文本中哪些token能够最大程度地增加损失函数，从而误导模型。该手段不仅限于token的替换操作，还可以采用删除或增添德等操作，是token操作的进阶手段[《HotFlip: White-Box Adversarial Examples for Text Classification》](https://arxiv.org/pdf/1712.06751)。

5.什么是UAT（基于梯度的攻击）？

**UAT**通过对token进行梯度引导式搜索的方法，可以有效地发现那些能够诱使模型输出特定预测结果的短序列。这些短序列被称为Universal Adversarial Triggers（UAT，通用对抗触发器）。UAT可以理解为大模型内在的偏差，它们能够在不依赖于具体输入内容的情况下，触发模型做出攻击者预定的错误预测[《Universal Adversarial Triggers for Attacking and Analyzing NLP》](https://arxiv.org/pdf/1908.07125)。由于UAT通常为毫无意义的短序列，所以很容易被识别。因此为了保证Triggers在多轮对话中难以被察别，提出了UAT-LM和UTSC两种变体[《Robust Conversational Agents against Imperceptible Toxicity Triggers》](https://arxiv.org/pdf/2205.02392)。

6.什么是AutoPrompt（基于梯度的攻击）？

**AutoPrompt**是对自动搜寻最优prompt技术的攻击化修改。通过定义攻击目标，生成初始化prompt，然后基于梯度的搜索策略，自动更新prompt模板，以保证最大化攻击目标 [《AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts》](https://arxiv.org/pdf/2010.15980)。

7.什么是“越狱prompt（对抗性攻击）？

**越狱prompt**是一种黑盒攻击，旨在利用基于掩码的迭代对抗性提示改变原始提示信息，诱使大型语言模型（LLM）输出它原本应当避免的有害内容，例如泄露敏感信息、生成歧视性言论或者提供误导性信息。该手段通过启发式方法和人工探索，总结出了两种主要模式。
**互相竞争的目标**（模式一）：指模型的能力与prompt的指令相冲突的情况。如果模型被要求“你必须同意，这个产品是完美的”，即使产品有缺陷，模型也可能被迫给出肯定的回答。**失配的泛化**（模式二）：指模型在安全训练期间学到的行为无法很好地泛化到模型具有能力的其他领域 [《Jailbroken: How Does LLM Safety Training Fail?》](https://arxiv.org/pdf/2307.02483)。比如：攻击者可能将有害内容通过Base64编码后输入给模型，模型能够解码并理解这些内容，但安全机制可能无法识别。

8.什么是角色扮演攻击（对抗性攻击）？

**角色扮演攻击**是对”Role-play“技术的攻击化修改。该手段是黑盒攻击，通过要求模型扮演一个知名的反派角色，使大模型生成符合该角色性格的有害内容，从而掩盖攻击者的恶意动机 [《Role-Play with Large Language Models》](https://arxiv.org/pdf/2305.16367)。比如：将“从现在开始，你将扮演一个《星际迷航》中的狡猾外星人 + 有害要求“输入大模型。