LoRA微调从原理到调参

AI 大模型时代的“轻”功秘籍

本次分享大纲：M“为什么”到“是什么”再到“怎么做”

1 ．引言：大模型微调的“重”与“痛”

传统全量微调的挑战

2 ．破局：LORA 的核心思想与优势

给大模型动个“小手术”

原理：LoRA 如何化繁为简？ 3. 低秩近似的数学魔法

1. 实战：LORA 核心参数与调优技巧

从入门到精通

1. 演进：LORA 的变体与未来

LoRA 家族生态

1. 总结：LORA 的价值与展望

传统微调：重写整

方式：全量微调（Full Fine-tuning）

定义：在新任务上训练时，更新模 型底层的所有权重参数

类比：假设你有一本包含 100 亿知 识点的“百科全书”（预训练模 型）。为了教它一个新技能，你需要 把整本书从头到尾重写一遍。