专栏 / 0111 篇文章
多模态与视觉
从图像与视频理解,到视觉语言模型和图像生成。
博客以介绍为主,不求甚解:沿着不同专栏的话题,认识一个概念、方法或工具。
博客目录 →从图像与视频理解,到视觉语言模型和图像生成。
理解模型结构、学习方法,以及训练与推理中的工程取舍。
围绕机器人如何感知、行动与预测,串起数据、模型和控制。
记录网站搭建、网络原理,以及日常工具的使用经验。
记录一次 QQ、百度手机浏览器页面样式异常的排查过程:从 Tailwind CSS 兼容性、Cloudflare 构建日志,到 npm ci 与 package-lock.json 不同步的修复和线上验证。
从混合精度 Adam 的显存账本出发,拆解 ZeRO 三阶段如何逐步切分优化器状态、梯度和参数,并用 7B、13B 例子估算显存与通信代价。
从 LLaVA 的视觉编码器、投影层和语言模型,到两阶段训练、GQA 数据集、LLaVA-1.5 以及它对后续开源多模态模型的影响。
从卷积核、注意力投影和前馈网络,到 ViT 的 patch embedding、LoRA 与 Adapter,掌握主流模型参数量的估算方法。
从跨层金字塔、双向路径、可学习加权,到层内多尺度上下文和全局依赖,理解五种经典视觉特征融合模块的差异与适用边界。