训练、微调与数据面试题2785 字
ULM-FiT迁移学习面试题
·全库 177 / 611
《ULM-FiT迁移学习面试题》共 0.3 万字，通篇围绕 微调、预训练、数据集、标注 展开，归在「训练、微调与数据」这一层。
覆盖微调预训练数据集标注面试视觉
适合要自己训模型、或者判断这一版该不该训的人
目录骨架（5 节）
- 常见面试题
- 1 **回顾：****NLP****的预训练难题**
- 2 **论文关键部分选读**
- 3 **总结**
- 2.3 **Cookie****Monster的使用步骤：**
目录 · 3 节
常见面试题
- 回顾：NLP的预训练难题
- 论文关键部分选读
- 基于Fine-Tuning的迁移学习在NLP领域一直不成功
- 但Fine-Tuning没错，我们的办法可以在NLP实现类CV的迁移学习
- Cookie Monster的使用步骤
- Cookie Monster提出的三个新的微调技术
- 训练Cookie Monster的三步法
#我还是觉得ULM-FiT是NLP的ImageNet时刻，而不是Bert。ULM-FiT的出现，让那个时代的NLP终于有了一种像CV领域一样的迁移学习方法。
论文地址：Universal Language Model Fine-tuning for Text Classification
| Inductive transfer learning has greatly impacted computer vision, but existing approaches in NLP still require task-specific modifications and training from scratch. We propose Universal Language Model Fine-tuning (ULMFiT), an effectivetransfer learningmethod that can be applied to any task in NLP, and introduce techniques that are key for fine-tuning a language model. Our method significantly outperforms the state-of-the-art on six text classification tasks, reducing the error by 18-24% on the majority of datasets. Furthermore, with only 100 labeled examples, it matches the performance of training from scratch on 100x more data. We open-source our pretrained models and code. |
|---|
它是Cookie Monster。ULM-FiT其实和他没有任何关系，用它来代表ULM-FiT纯粹是为了好玩儿😘！
每次都打ULM-FiT，属实有点累了。接下来都用CookieMonster来表示ULM-FiT啦！
1 回顾：NLP的预训练难题
之前我们引用了ULM-FiT的论文的摘要，其中就说到了，归纳迁移学习极大地影响了计算机视觉的发展，但现有的NLP方法仍然需要针对特定任务进行修改，并从头开始训练具体的模型。
在8.1.5中我们解释了NLP领域迟迟没有出现像CV一样的Inductive transfer learning的原因：一个是数据集太少（标注成本非常高；而且网络上的语言质量参差不齐，是一种挑战）；另一个是，CV的大多数任务基本都是基于分类的，而NLP领域却有很多任务，包括基本的命名实体识别任务和句法分析任务；包括基于分类的任务，如情感分析；以及基于序列的任务，如机器翻译和自然语言生成。这些任务涉及不同的数据结构和算法，很难用同一个模型、同一个权重全部概括。
- 对于数据集太少问题，可以用利用半监督学习（Semi-supervised Learning）：用少量的有标签数据和大量的无标签数据进行训练，以提高模型的性能。这可以参考8.2中提到的LM-LSTM和SA-LSTM。
- 对于任务太多的问题，一个重要的解决方案就是12.2中我们会介绍的Multitask Learning, 多任务学习。
2 论文关键部分选读
2.1 基于Fine-Tuning的迁移学习在NLP领域一直不成功
- 虽然深度学习模型在许多NLP任务上达到了SOTA，但这些模型都是从头开始训练的，需要大量的数据集，而且需要几天的时间来收敛。对比隔壁的CV，他们已经很少从头开始Train Model了，基本都是基于已有的预训练模型做fine-tuning，羡慕的NLP从业者口水都流下来了🥺
- 鉴于预训练的好处，NLP领域应该能够比每次做任务都随机初始化我们模型的参数要做得更好。然而，通过微调的归纳转移对于NLP来说是不成功的。2015年，Dai和Le首次提出对语言模型（LM）进行微调（就是我们在第八章介绍的论文Semi-supervised Sequence Learning噢！），但需要数百万的in-domain documents来实现良好的性能，这严重限制了其适用性。
- 此外，语言模型容易过拟合，而且在被微调时容易出现灾难性遗忘（catastrophic forgetting）。