对齐、评估与多模态图文讲义1619 字

对比学习MOCO

·全库 46 / 611

《对比学习MOCO》共 15 页、0.2 万字,通篇围绕 GPU、显存、微调、预训练 展开,归在「对齐、评估与多模态」这一层。

覆盖GPU显存微调预训练多模态视觉

适合要给模型效果打分、判断它够不够用的人

目录骨架(8 节)
  1. 对比学习 MOCO:无监督学习的动量之舞
  2. 什么是对比学习?目标不是分类,而是学习“表示”
  3. “无中生有”:如何自动构建正负样本对?
  4. 对比学习的难点:为什么需要海量的负样本?
  5. 核心矛盾:负样本数量 vs.GPU 显存
  6. 一个好的对比学习框架,需要满足两大需求
  7. Encoder Parameters
  8. MoCo 完整工作流程

原 PDF 已逐页还原成图,共 15 页,这里先放前 3 页,其中 2 页识别出了标题。右侧文字由 OCR 按版面重排,可能有个别错字,以图为准;点图可全屏放大。

本讲义目录 · 3 页
  1. 01对比学习 MOCO:无监督学习的动量之舞
  2. 02本次探索之旅的路线图 1.基础篇:什…
  3. 03什么是对比学习?目标不是分类,而是学习“表示”
011 / 3
第 1 页:对比学习 MOCO:无监督学习的动量之舞
第 1 页

对比学习 MOCO:无监督学习的动量之舞

Momentum Contrast for Unsupervised Visual Representation Learning

022 / 3
第 2 页
第 2 页

本次探索之旅的路线图 1.基础篇:什…

本次探索之旅的路线图 1.基础篇:什么是以“对比”为核心的学习? 2. 挑战篇:对比学习面临的核心困境 3.破局篇:MoCo 如何巧妙破局? 4. 深入篇:深入 MoCo 架构与代码实现 5. 总结篇:核心贡献与展望

033 / 3
第 3 页:什么是对比学习?目标不是分类,而是学习“表示”
第 3 页

什么是对比学习?目标不是分类,而是学习“表示”

正例

推远

核心思想:在特征空间里,拉近“相似的” 推远“不相似的”、

负例

负例

。一种无监督学习,通过正例、负例,学习样本的优质特征表示。 •学到的特征表示,在下游任务上简单微调就可以取得好结果。

拉近

资料里没有你的场景?

把你手上的数据和想解决的那个环节发上来,我们按具体情况回,不复述方法论。

发布需求