LoRA 与 QLoRA:用交互实验理解低秩更新与量化微调
拖动秩、逐步查看训练路径、对比显存账本,理解两个小矩阵如何完成微调,以及 QLoRA 怎样压缩冻结基座。
#大模型#模型微调#LoRA#QLoRA#显存优化
理解模型结构、学习方法,以及训练与推理中的工程取舍。
博客目录 →拖动秩、逐步查看训练路径、对比显存账本,理解两个小矩阵如何完成微调,以及 QLoRA 怎样压缩冻结基座。
从混合精度 Adam 的显存账本出发,拆解 ZeRO 三阶段如何逐步切分优化器状态、梯度和参数,并用 7B、13B 例子估算显存与通信代价。