专栏 / 0111 篇文章
多模态与视觉
从图像与视频理解,到视觉语言模型和图像生成。
博客以介绍为主,不求甚解:沿着不同专栏的话题,认识一个概念、方法或工具。
博客目录 →从图像与视频理解,到视觉语言模型和图像生成。
理解模型结构、学习方法,以及训练与推理中的工程取舍。
围绕机器人如何感知、行动与预测,串起数据、模型和控制。
记录网站搭建、网络原理,以及日常工具的使用经验。
从重要性剪枝、相似度合并到可学习压缩率,理解视觉 token 压缩的位置、训练要求,以及 FLOPs 降低为何不等于推理同比加速。
从 OpenVLA、Octo 到 π0,理解动作量化、连续生成、动作分块,以及数据适配、微调和真实机器人部署中的关键边界。
从视觉编码器到跨模态连接器,梳理图文预训练、视觉特征融合与语言模型对齐,并延伸到 VLA 的离散动作和连续动作生成。
从 PyTorch 导出 ONNX,到在 NVIDIA GPU 上构建 TensorRT engine,梳理模型转换、图优化、精度选择、动态形状与结果验证的完整链路。
从三维卷积、权重膨胀、时序移位到分解注意力和掩码预训练,理解五种经典视频建模方法的机制、边界与工程取舍。