深度学习源自神经网络研究，可以认为是深度神经网络。通过它，可以获得特征的深度表示，消除了手动特征选择的复杂性和高维数据维度灾难的问题。目前公认的基本深度学习模型包括：

• 基于受限玻尔兹曼机（RBM）的深度置信网络（DBN）；
• 基于堆叠式自动编码器（SAE）AutoEncoder，AE）；
• 卷积神经网络 (CNN)；
• 循环神经网络 (RNN)。

1。深度置信网络DBN

DBN可以用于特征提取和数据分类等。基于RBM的DBN被堆叠成多个RBM，其结构如下图所示。

网络前馈运算时，输入数据从低层RBM馈入网络，通过逐层前馈运算得到网络的输出。网络训练过程与传统的人工神经网络（Artificial Neural Network）不同，分为两个阶段：

• 预训练（Pre-training）
• 全局微调（Fine-tuning）

预训练阶段从低层开始，对每个RBM进行独立训练，训练的目标是最小化RBM的网络能量。当低层RBM训练完成后，其隐藏层的输出作为高层RBM的输入，继续训练高层RBM。类似地，逐层进行训练，直到完成所有RBM训练。在学前阶段，仅使用未标记的输入数据，这就是无监督学习。

在全局微调阶段，将训练好的RBM之间的权重和偏差作为深度置信网络的初始权重和偏差，将数据标签作为监视信号计算网络误差，将BP （反向传播）算法用于计算各层误差，利用梯度下降法完成各层权重和偏差的调整。

2。堆叠式自动编码器SAE

与DBN类似，SAE由多个AE堆叠而成，其结构如下图所示。

SAE的前向计算与DBN类似，其训练过程也分为预训练和全局调优两个阶段。与 RBM 不同，AE 之间的连接是不对称的。每个AE可以被认为是一个具有一个隐藏层的人工神经网络，其输出目标是该AE的输入。

在预训练阶段，从较低层开始，对每个AE进行单独训练，以最小化其输出和输入之间的误差。低层AE训练完成后，其隐藏层输出作为高层AE输入，继续高层AE训练。类似地，逐层进行训练，直到所有AE训练完成。同样，SAE预训练阶段仅使用输入数据，并且是无监督学习。

在全局微调阶段，将训练好的AE的输入层和隐藏层之间的权重和偏差用作堆叠自动编码器的初始权重和偏差，并将数据标签用作监视信号计算网络误差使用BP算法计算各层的误差并使用梯度下降的方法调整各层的权重和偏移量。

3。卷积神经网络CNN

CNN可以提取输入数据的局部特征并逐层组合，抽象生成可用于图像识别等的高级特征。CNN由卷积层和下采样层组成（也称为池化层）交叉折叠。其结构如下图所示。

当网络进行前向计算时，在卷积层中，多个卷积核可以同时对输入进行卷积运算，生成多个特征图。每个特征图的维度相对于输入维度减小。在下采样层中，每个特征图被连接以获得进一步降低维度的相应图。

交叉堆叠多个卷积层和下采样层后，通过全连接层实现网络输出。训练网络与训练人工神经网络的传统方法类似。采用BP算法逐层反向传播误差，采用梯度下降法调整各层之间的参数。

4。循环神经网络 RNN

RNN 可用于处理时间序列数据或上下文数据。 RNN 还可以与 CNN 结合使用来解决考虑样本之间相关性的问题。

DBN、SAE 和 CNN 没有考虑样本之间的相关性。 RNN考虑样本之间的相关性，并将这种相关性反映为神经网络之间的连接。通常，在单向 RNN 中，一个神经网络的隐藏层连接到另一神经网络的隐藏层。这种连接方法考虑了先前样本对后续样本的影响。还有一种连接 RNN 的双向方式。一个神经网络的隐藏层连接其前一个和后续神经网络的隐藏层。这种连接方法考虑了之前和之后的样本对当前样本的影响。

一般认为每个RNN神经网络具有相同的权重和偏差。在训练RNN时，可以使用RBM或AE进行预训练来初始化网络参数，然后计算每个样本的输出误差，并用累积误差来训练网络参数。