神经网络结构面试题

常见面试题

1. 简单聊一聊神经网络
2. 为什么让机器产生智能这么难？
3. MNIST手写数据集的特征：把一张图表示为一个784维的向量！
4. 什么是神经元（Neuron）？
5. 神经网络的结构
6. 输入层/输出层/隐层？
7. 我们指望隐层能做到什么？
8. 权重矩阵

神经网络概述：从MNIST手写数据集开始！

​语义鸿沟：为什么让机器产生智能这么难？

下面是几个手写的数字，像素非常低。人脑可以很轻易的看出来这些数字是3、7、6，但让计算机去识别出手写的数字和文字，却一直是个老大难题。<想起初高中教材里的OCR了吗>。

更鬼扯的事情是，上图中的两个数字3，投射到人的视网膜中之后，可以说是非常不一样，但人脑就是可以认识到，这两个手写的数字都是3。

上图就是让机器认识一个手写的0～9的数字，是不是很难？

尽管人眼可以很轻易的去手写的数字，但如果我们把随便一张由人来手写的个位数字扔给计算机，让计算机从0～9中判断出来我们写的数字是哪一张，这件事就会变得非常困难。人类通过视觉感知能够轻松地理解图像中的内容（一张手写的3；一张路况图里的指示灯，行人和汽车），包括物体、场景、语义信息等，并能够从图像中提取高级语义特征，如物体的形状、颜色、纹理、空间关系等；但是，计算机在处理图像时通常只能看到一些低级的视觉特征，如像素值、颜色直方图、边缘等，并且缺乏对图像高级语义信息的理解能力。我们称这种人机差异为“语义鸿沟（Semantic Gap）”。

​MNIST手写数据集的特征：把一张图表示为一个784维的向量！

Hey，还记得在1.4.1.2中我们提到的定义特征（Feature）吗？现在我们要开始思考这个问题了！

对于一张黑白的手写的数字，我们应该以什么作为它的特征，输入给机器让他学习呢？答案是，构成这张图的28*28=784个像素点的灰度！对于每一个像素，我们都给他赋一个从0到1的值。一个像素点越黑，他就越接近0；一个像素点越白，他就越接近1。那么……

密恐警告！！

其实很多东西，不管是图像，还是语音，本质上都可以拆分为许多许多个小块。

当我们用机器学习来解决实际任务时，会面对多种多样的数据形式，比如声音、图像、文本等，不同数据的特征构造方式差异很大。对于图像这类数据，我们可以很自然的将其表示为一个连续的向量。对于这个手写数字的例子，我们就很自然的按照像素点，把图像表达成了一个784维、每个元素都是介于0到1之间的实数的向量！

嗯，结论就是，这一张图被我们表示为了一个784维的、每个元素都在0到1之间的向量，接下来我们会把这个向量输入给神经网络的第一层，后者相应的会有784个神经元！但是什么是神经元呢？

​什么是神经元（Neuron）？

​机器学习中的神经元是对人脑的神经细胞的一种模仿

#大脑的神经细胞（也称为神经元）可以产生认知，因为它们通过复杂的网络连接和相互作用，形成了高度结构化和动态的神经网络，能够处理和整合信息，产生复杂的认知功能。*神经元和神经网络其实是对人脑结构的一种模仿。**在人脑中，神经元或神经细胞是构成大脑、脊髓和周围神经系统的基本单元，神经元通过在树突接收神经信号，经过细胞体的处理和集成，然后通过轴突传递神经信号到其他神经元或效应器，从而完成神经系统内的信息传递和处理，形成了复杂的神经网络。*

​神经元是人工神经网络的基本构成单位，本质上是一个函数的组合，包括了输入加权和求和操作以及激活函数（Activation Function）

• 神经元（或称为人工神经元，Artificial Neuron）是一种数学模型，用于模拟生物神经元的计算单元。神经元通常作为神经网络的基本组成单位，用于构建人工神经网络（Artificial Neural Networks, ANN）。在这个手写数字的案例中，我们可以先把神经元视为一个装着0～1的数字的容器。
• 在机器学习中，神经元通常表示为一个接收输入数据的函数，对输入数据进行处理，并生成输出。
• 神经元接收多个输入值（通常用向量表示），对输入值进行加权求和；然后通过一个激活函数（Activation Function）进行非线性映射，生成神经元的输出。

Q：什么是加权求和？

A：参考上面这张图，橙色的圈圈住了的这个神经元a9，连接了上一层的8个神经元a1~a8。那么，a1～a8里装着的数字都会被输入到a9里去。对于a1～a8的每一个值，神经元a9都会为其赋予一个权重w1～w8。那么，神经元a9的加权求和即为：。这称为神经的加权输入/激活前的值（Weighted sum)。