千问如何越跑越快：从 MHA、GQA 到混合注意力
沿着 Qwen 的公开结构变化，理解 KV cache 为什么拖慢生成，以及 GQA、Gated DeltaNet、MoE 与多 token 预测分别优化了什么。
#深度学习#Qwen#注意力机制#GQA#KV Cache#模型加速
模型基础与架构
理解模型结构、学习方法，以及训练与推理中的工程取舍。
博客目录 →话题文章
共 3 篇模型参数量怎么算：CNN、Transformer、ViT、LoRA 与 Adapter
从卷积核、注意力投影和前馈网络，到 ViT 的 patch embedding、LoRA 与 Adapter，掌握主流模型参数量的估算方法。
#模型参数量#CNN#Transformer#ViT#LoRA#Adapter