如今，像 GPT 系列这样的大模型已经展现出了惊人的通用能力，但要让它们在某个具体领域发挥最大效力，还需要进行“微调”（Fine-Tuning）。传统的“完整微调”方法，需要调整模型中全部的数百亿甚至千亿参数，这不仅需要海量的计算资源（比如数十上百块顶级 GPU），训练时间也十分漫长。因此，“参数高效微调”（PEFT，Parameter-Efficient Fine-Tuning）技术应运而生，它旨在只调整模型中极小一部分的参数，就能达到接近甚至超越完整微调的效果。
在 PEFT 家族中，LoRA 是一个里程碑式的工作。而研究团队关注到，业内最近提出的 DoRA（Weight-Decomposed Low-Rank Adaptation）在 LoRA 的基础上更进了一步。DoRA 的核心思想是，它认为模型权重的更新，可以被分解为“大小”（magnitude）和“方向”（direction）两个独立维度的变化。这个洞察非常深刻，因为它更贴近模型在完整微调时的真实动态。通过这种分解，DoRA 确实在很多任务上超越了 LoRA。
然而，在深入研究 DoRA 的过程中，研究团队发现它虽然方向走对了，但仍然存在一些问题。DoRA 在训练时，是同时优化大小和方向这两个部分的，并且用的是同一份训练数据。研究团队认为这种“耦合”的优化方式会带来两个关键问题：第一，它让模型的能力过于强大，很容易“死记硬背”训练数据，导致在面对新数据时表现不佳，也就是人们常说的“过拟合”。第二，大小和方向的同步更新会形成一种内在的牵制，限制了模型寻找最优解的学习能力。
所以，研究团队这次研究的核心目标非常明确：保留 DoRA 关于权重分解的深刻洞察，但
