专栏 / 0111 篇文章
多模态与视觉
从图像与视频理解,到视觉语言模型和图像生成。
博客以介绍为主,不求甚解:沿着不同专栏的话题,认识一个概念、方法或工具。
博客目录 →从图像与视频理解,到视觉语言模型和图像生成。
理解模型结构、学习方法,以及训练与推理中的工程取舍。
围绕机器人如何感知、行动与预测,串起数据、模型和控制。
记录网站搭建、网络原理,以及日常工具的使用经验。
记录 VideoCaptioner 的安装、自动识别与硬字幕导出流程,以及通过 ASS 局部样式将关键词放大、加粗的实践。
拖动秩、逐步查看训练路径、对比显存账本,理解两个小矩阵如何完成微调,以及 QLoRA 怎样压缩冻结基座。
沿着 Qwen 的公开结构变化,理解 KV cache 为什么拖慢生成,以及 GQA、Gated DeltaNet、MoE 与多 token 预测分别优化了什么。
从训练信号、架构与输出区分同名 DINO,理解 DINOv2 的自蒸馏、iBOT、骨干能力,以及它与 CLIP 和检测 DINO 的关系。
分清生成目标、像素与潜空间、U-Net 与 Transformer,系统理解 GAN、扩散模型、LDM、Stable Diffusion、DiT 与流匹配生成架构,并看清流匹配当前在图像、视频、音频、3D 和机器人上的落地位置。