视觉语言模型

从图像与视频理解，到视觉语言模型和图像生成。

话题文章

共 5 篇

2026/09/27

从 LLaVA 的视觉编码器、投影层和语言模型，到两阶段训练、GQA 数据集、LLaVA-1.5 以及它对后续开源多模态模型的影响。

#LLaVA#多模态模型#视觉语言模型#视觉指令微调#GQA

2026/09/22

从重要性剪枝、相似度合并到可学习压缩率，理解视觉 token 压缩的位置、训练要求，以及 FLOPs 降低为何不等于推理同比加速。

#多模态#视觉Token#模型加速#ToMe#FastV#EViT#DiffRate

2026/09/20

从视觉编码器到跨模态连接器，梳理图文预训练、视觉特征融合与语言模型对齐，并延伸到 VLA 的离散动作和连续动作生成。

#多模态模型#CLIP#SigLIP#DINOv2#Q-Former#VLA

2026/09/20

从 Transformer 为什么需要位置，到 RoPE 的旋转、ALiBi 的线性偏置和视觉 2D-RoPE 的行列坐标，理解图像与多模态模型如何知道 token 在哪里。

#视觉位置编码#RoPE#ALiBi#2D-RoPE#Vision Transformer#多模态模型

2026/09/15

以 SimCLR、VACoT、MIDAS、VISTA 和 Cosmos-Drive-Dreams 为线索，理解数据增强如何从改变像素发展到保持模态关系、扩展长视频并生成稀有场景。

#AI#多模态学习#数据增强#VLM#VLA