大模型与训练优化

理解模型结构、学习方法，以及训练与推理中的工程取舍。

专栏文章

共 8 篇

2026/10/20

拖动秩、逐步查看训练路径、对比显存账本，理解两个小矩阵如何完成微调，以及 QLoRA 怎样压缩冻结基座。

#大模型#模型微调#LoRA#QLoRA#显存优化

2026/10/12

沿着 Qwen 的公开结构变化，理解 KV cache 为什么拖慢生成，以及 GQA、Gated DeltaNet、MoE 与多 token 预测分别优化了什么。

#深度学习#Qwen#注意力机制#GQA#KV Cache#模型加速

2026/10/05

梳理 Q-Learning、DQN、PPO、SAC 与 GRPO，分清策略、价值、奖励和参考模型的职责，以及训练时谁更新、部署时保留谁。

#强化学习#Q-Learning#DQN#PPO#SAC#GRPO#RLHF

2026/09/30

从混合精度 Adam 的显存账本出发，拆解 ZeRO 三阶段如何逐步切分优化器状态、梯度和参数，并用 7B、13B 例子估算显存与通信代价。

#大模型训练#显存优化#ZeRO#DeepSpeed#分布式训练#模型微调

2026/09/27

从卷积核、注意力投影和前馈网络，到 ViT 的 patch embedding、LoRA 与 Adapter，掌握主流模型参数量的估算方法。

#模型参数量#CNN#Transformer#ViT#LoRA#Adapter