LoRA大模型微调

一、LoRA 是什么？

LoRA（Low-Rank Adaptation，低秩适应）是一种大模型微调技术。

大模型（比如 Qwen、Llama）动不动 7B、70B 参数。如果每次想让它学点新东西，都要重新训练所有参数，那需要几十张 A100 显卡跑几天——普通人根本没这个条件。

不碰原模型，只在旁边挂一个「小插件」。

打个比方：

做法	类比
全量微调	把整本教科书改写成你想要的版本
LoRA	在教科书页边贴几张便利贴，写上你的补充说明

原始模型的权重完全不改。LoRA 只在某些关键层旁边插入一个极小的矩阵（低秩矩阵），训练时只更新这个矩阵的参数。

数学上，一个大矩阵可以用两个小矩阵的乘积来近似。LoRA 利用这个原理：原始权重矩阵 $W$ 不动，额外训练两个小矩阵 $A$ 和 $B$，模型的最终输出变成 $W + A \cdot B$。$A$ 和 $B$ 加起来可能只有原权重的 千分之一 大小。

它的核心能力只有一个：以极低的成本，改变大模型的「行为方式」。

📌 LoRA 改变的是风格/格式/行为，不是知识

想让模型学会新知识 → 用 RAG（检索增强生成）

想让模型换一种方式说话、做事 → 用 LoRA

大体分四步：

把你想要模型学会的「行为」写成示例对话。

假设你想让模型变成毒舌客服，你就写 50-200 条这样的对话：

1
2
3
4
5


用户：我的快递到哪了？
客服：亲，不出意外的话应该在快递车里晒太阳呢，建议您晒个日光浴等等它。

用户：能退款吗？
客服：能，流程大概和唐僧取经差不多，准备好您的订单号，我帮您开启这趟西行之旅。

数据量不用多，50-200 条高质量示例就能看到明显效果。质量远比数量重要。

市面上一堆工具，但本质上都在做同一件事。推荐两个：

工具	特点	适合谁
LLaMA-Factory	有 Web UI，全程点鼠标	完全不想写代码的新手
Unsloth	快 2-5 倍，省一半显存	会写点 Python，追求效率

Unsloth 的核心代码不到 30 行，本质就是：加载模型 → 挂 LoRA → 喂数据 → 训练 → 保存。

设置几个关键参数，然后等：

训完后你得到一个几 MB 的 LoRA 文件。使用时同时加载原模型和这个 LoRA 文件，模型就变成了你训练的样子。

想切换回原模型？卸载 LoRA 就行，一秒恢复。

一个模型可以同时挂多个 LoRA——比如挂一个「毒舌风格」和一个「输出 JSON」，模型就变成一个会输出 JSON 的毒舌助手。

LoRA = 给大模型外挂一个小插件，只改行为不改知识，训练成本极低，几 MB 文件即插即用。