模型架构与原理面试题1.1 万字
GPT模型相关面试题
·全库 178 / 611
《GPT模型相关面试题》共 1.1 万字，通篇围绕 Transformer、预训练、微调、上下文 展开，归在「模型架构与原理」这一层。
覆盖Transformer预训练微调上下文架构数据集
适合要跟模型团队对话、得听懂他们在说什么的人
目录骨架（8 节）
- 常见面试题
- 1 **GPT****的诞生（2018.6）**
- 3 **GPT-3：语言模型是Few-Shot Learner （2020.5）**
- 1.1 **GPT****是一个12层的Transformer****解码器**
- 2.1 **先谈谈多任务学习：NLP的众多子任务都可以转为问答任务**
- 2.2 **Zero-Shot：要不咱不去微调了？**
- 3.1 **GPT-3的意义**
- 3.2 **GPT-3的模型架构与工程细节**
常见面试题
- GPT是一个12层的Transformer解码器
- GPT的训练范式是预训练+Fine-Tuning
- 无监督预训练 Unsupervised pre-training
- 微调的范式 An illustration of supervised fine-tuning
- GPT的创新点：Task-specific input transformations
- GPT-2：语言模型是无监督的Multitask Learner
- NLP的众多子任务都可以转为问答任务
- 多任务学习的定义
- Zero-Shot：要不咱不去微调了？
- Zero-shot难在哪？
- 从Zero-shot到Prompting
- Why Prompt Works at All？
- GPT-2的性能与对该模型的评价
- GPT-3：语言模型是Few-Shot Learner
- GPT-3的意义
- GPT-3的模型架构与工程细节
- In Context Learning 上下文学习（ICL）
- GPT-3模型的局限性 Limitations
- 留下的疑问：GPT-3是怎么进化成ChatGPT的？
- Codex：用Github代码Fine-tune一个GPT
如果对Transformer还不熟悉，千万先回到第十章去把Transformer学明白！
#学*GPT**不懂Transformer，就像读四大名著不看红楼梦，说明这个人技术造诣和自我修养不足，他理解不了这种内在的阳春白雪的高雅艺术，他只能看到外表的辞藻堆砌，参不透其中深奥的精神内核，他整个人的层次就卡在这里了，只能度过一个相对失败的人生。*
#GPTis short for*GenerativePretrainedTransformer。其实GPT和BERT的区别就写在他们的脸上。GPT是Generative的，目的就是要生成。它是一个预训练的Transformer，因为目的就是要生成，所以是Decoder-Only的Auto-Regressive架构。相比之下，Bert的论文名字叫BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding。它是很深很深的、双向的Transformer编码器的堆叠，目的是自然语言理解**。*
 |  |
|---|
这个文档的读者可能是为了GPT而来，但是能够坚持看到这里的肯定寥寥无几了！铺垫了这么久，我们终于见到主角了。来看看OpenAI如何在世界更看好BERT的情况下，坚持用Decoder-only的自回归*方法，不鸣则已，一鸣惊人！*
下表是本章节会涉及到的几个模型。
| 模型 | 论文 | 模型参数 | 范式与创新点 | 评价与意义 |
|---|---|---|---|---|
| GPT | Improving Language Understanding by Generative Pre-Training | 12层解码器，768维词嵌入，12个注意力头 | 预训练+微调，创新点在于Task-specific input transformations。 | 很快被Encoder-only的BERT击败，但自回归的技术路线的选择注定了GPT的难度更大，但天花板会更高。 |
| GPT-2 | Language Models are Unsupervised Multitask Learners | 15亿参数 | 预训练+Prompt+Predict，创新点在于Zero-shot | 被BERT Large横扫SOTA后，OpenAI未能给出很好的回应。Zero-shot新颖度拉满，但事实更像树模型性能拉胯，实用性低，只好以0S为卖点。 |
| GPT-3 | Language Models are Few-Shot Learners | 1750亿参数 | 预训练+Prompt+Predict，创新点在于in-context learning | 开创性提出in-context learning概念，是Prompting真正的祖师爷。In-context learning（ICL）是Prompting范式发展的第一阶段。 |
| Codex | Evaluating Large Language Models Trained on Code | 3亿参数和12亿参数 | 预训练+Fine-tuning。Fine-tune就是真香。 | 技术上没什么复杂的，爬完Github的代码用于训练更是极具争议。ChatGPT和GPT-4的代码生成能力很强，Codex功不可没。有人认为ChatGPT能进行复杂的reasoning是因为它学习了这些代码。 |