多模态与视觉

从图像与视频理解，到视觉语言模型和图像生成。

专栏文章

共 11 篇

2026/10/10

从训练信号、架构与输出区分同名 DINO，理解 DINOv2 的自蒸馏、iBOT、骨干能力，以及它与 CLIP 和检测 DINO 的关系。

#计算机视觉#DINOv2#DINO#DETR#自监督学习#目标检测#CLIP

2026/10/08

分清生成目标、像素与潜空间、U-Net 与 Transformer，系统理解 GAN、扩散模型、LDM、Stable Diffusion、DiT 与流匹配生成架构，并看清流匹配当前在图像、视频、音频、3D 和机器人上的落地位置。

#图像生成#GAN#DDPM#Latent Diffusion#Stable Diffusion#DiT#Flow Matching

2026/10/06

从集合预测、稀疏注意力、动态锚框和去噪训练，到高精度 DINO 与实时 RT-DETR，梳理 DETR 系列的演进、指标边界与部署选择。

#目标检测#DETR#Deformable DETR#DAB-DETR#DN-DETR#DINO#RT-DETR

2026/10/03

从 Chunk-based Masking 出发，理解流式语音识别如何限制未来信息、复用历史缓存，并比较 Conformer、Emformer、U2/U2++ 和 Zipformer 的延迟与精度取舍。

#流式语音识别#Streaming ASR#Conformer#Emformer#Zipformer#U2#语音识别

2026/09/27

从 LLaVA 的视觉编码器、投影层和语言模型，到两阶段训练、GQA 数据集、LLaVA-1.5 以及它对后续开源多模态模型的影响。

#LLaVA#多模态模型#视觉语言模型#视觉指令微调#GQA