PEFT参数高效微调
《PEFT参数高效微调》共 0.1 万字，通篇围绕 微调、LoRA、预训练 展开，归在「模型架构与原理」这一层。
适合要跟模型团队对话、得听懂他们在说什么的人
目录骨架（6 节）
- 支持的 PEFT 模型
- 加载 PEFT adapter
- 基于 8bit 或 4bit 进行加载
- 添加新的 adapter
- 启用和禁用 adapters
- 训练一个 PEFT adapter
示例代码
注：将ppt后缀名改为zip后解压
参数高效微调（PEFT）方法在微调过程中冻结预训练模型的参数，并在其顶部添加少量可训练参数（adapters）。adapters 被训练以学习特定任务的信息。这种方法已被证明非常节省内存，同时具有较低的计算使用量，同时产生与完全微调模型相当的结果。
使用 PEFT 训练的 adapters 通常比完整模型小一个数量级，使其方便共享、存储和加载。
与完整尺寸的模型权重（约为 700MB）相比，存储在 Hub 上的 OPTForCausalLM 模型的 adapter 权重仅为~ 6MB。
如果您对学习更多关于🤗 PEFT 库感兴趣，请查看文档。
设置
首先安装 🤗 PEFT：
如果你想尝试全新的特性，你可能会有兴趣从源代码安装这个库：
pip install git+https://github.com/huggingface/peft.git支持的 PEFT 模型
Transformers 原生支持一些 PEFT 方法，这意味着你可以加载本地存储或在 Hub 上的 adapter 权重，并使用几行代码轻松运行或训练它们。以下是受支持的方法：
- Low Rank Adapters
- IA3
- AdaLoRA
如果你想使用其他 PEFT 方法，例如提示学习或提示微调，或者关于通用的 🤗 PEFT 库，请参阅文档。
加载 PEFT adapter
要从 huggingface 的 Transformers 库中加载并使用 PEFTadapter 模型，请确保 Hub 仓库或本地目录包含一个adapter_config.json文件和 adapter 权重，如上例所示。然后，您可以使用AutoModelFor类加载 PEFT adapter 模型。例如，要为因果语言建模加载一个 PEFT adapter 模型：
- 指定 PEFT 模型 id
- 将其传递给AutoModelForCausalLM类
from transformers import AutoModelForCausalLM, AutoTokenizer
peft_model_id = "ybelkada/opt-350m-lora"
model = AutoModelForCausalLM.from_pretrained(peft_model_id)你可以使用AutoModelFor类或基础模型类（如OPTForCausalLM或LlamaForCausalLM）来加载一个 PEFT adapter。
您也可以通过load_adapter方法来加载 PEFT adapter。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "facebook/opt-350m"
peft_model_id = "ybelkada/opt-350m-lora"
model = AutoModelForCausalLM.from_pretrained(model_id)
model.load_adapter(peft_model_id)基于 8bit 或 4bit 进行加载
bitsandbytes集成支持 8bit 和 4bit 精度数据类型，这对于加载大模型非常有用，因为它可以节省内存（请参阅bitsandbytes指南以了解更多信息）。要有效地将模型分配到您的硬件，请在 from_pretrained() 中添加load_in_8bit或load_in_4bit参数，并将device_map="auto"设置为：
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
peft_model_id = "ybelkada/opt-350m-lora"
model = AutoModelForCausalLM.from_pretrained(peft_model_id, quantization_config=BitsAndBytesConfig(load_in_8bit=True))