模型架构与原理面试题图文讲义778 字

Attention 进阶面试题

更新于 2025-11-08·全库 125 / 611

《Attention 进阶面试题》共 3 页、0.1 万字，通篇围绕 Attention、显存、上下文、推理展开，归在「模型架构与原理」这一层。

覆盖Attention显存上下文推理KV CacheTransformer

适合要跟模型团队对话、得听懂他们在说什么的人

目录骨架（1 节）

原 PDF 已逐页还原成图，共 3 页，这里先放前 3 页，其中 1 页识别出了标题。右侧文字由 OCR 按版面重排，可能有个别错字，以图为准；点图可全屏放大。

本讲义目录 · 3 页

第 1 页

1 传统 Attention 存在哪些问题？ 1. 传统 Attention 存在上下文长度约束问题； 2. 传统 Attention 速度慢，内存占用大；

2 Attention 优化方向 1. 提升上下文长度 2. 加速、减少内存占用 3 Attention 变体有哪些？
稀疏 attention。将稀疏偏差引入 attention 机制可以降低了复杂性；
线性化 attention。解开 attention 矩阵与内核特征图，然后以相反的顺序计算 attention 以实现线性复杂度；
原型和内存压缩。这类方法减少了查询或键值记忆对的数量，以减少注意力矩阵的大小；
低阶 self-Attention。这一系列工作捕获了 self-Attention 的低阶属性；
Attention 与先验。该研究探索了用先验 attention 分布来补充或替代标准 attention；
改进多头机制。该系列研究探索了不同的替代多头机制。 4 Multi-Query Attention 篇 4.1 Multi-head Attention 存在什么问题？
训练过程：不会显著影响训练过程，训练速度不变，会引起非常细微的模型效果损失；
推理过程：反复加载巨大的 KV cache，导致内存开销大，性能是内存受限； 4.2 介绍一下 Multi-Query Attention？ Multi-Query Attention 在所有注意力头上共享 key 和 value.

Scaled dot-product attention

K Q

Multi-Qvery Attentior shared key. valu embeddings

第 2 页

FFN 中间维度 n_heads head_dim 维度 h 11008 4096 4096 11008 4096 4096 13696

4h, 16384 4096 4544 4h, 18176

Output Output

SwiGLU Dropout

Multi-Query MLP Multi-Head Attention

Norm

Input Input

（2）LLaMA Block （3）Falcon Block

模型 LLaMA baichuan ChatGLM-6B ChatGLM2-6B Bloom Falcon

Falcon、PaLM.ChatGLM2-6B 都使用了 Multi-query Attention，但有细微差别。
为了保持参数量一致，
Falcon：把隐藏维度从 4096 增大到了 4544。多余的参数量分给了 Attention 块和 FFN 块
ChatGLM2：把 FFN 中间维度从 11008 增大到了 13696。多余的参数分给了 FFN 块 4.4 Multi-Query Attention 这样做的好处是什么？减少 KV cache 的大小，减少显存占用，提升推理速度。 4.5 有哪些模型是使用 Multi-Query Attention？
代表模型：PaLM、ChatGLM2、Falcon 等 5 Grouped-query Attention 5.1 什么是 Grouped-query Attention？ Grouped query attention：介于 multi head 和 multi query 之间，多个 key 和 value。 5.2 有哪些大模型使用 Grouped-query Attention？ ChatGLM2, LLaMA2-34B/70B 使用了 Grouped query attention。

6 FlashAttention •核心：用分块 softmax 等价替代传统 softmax