• CNN：具有强大的提取局部特征的能力
• dropout：防止过拟合（drop 层内的一些 neurons）；
  • residual learning，是跳过某一些 layer
  • 加快模型的训练速度；
• softmax（全连接）：多分类任务

0. deep learning

• high-level abstractions in data
• deep graph with multiple processing layers
• composed of multiple linear & non-linear transformations

1. Vanishing Gradient（梯度消失）

• Greedy Layer-wised Pretraining（贪婪逐层预训练）和有监督调优训练，
  • Hinton 和他的学生 Salakhutdinov
  • G. E. Hinton and R. R. Salakhutdinov,”Reducing the dimensionality of data with neural networks,” Science, vol. 313, pp. 504-507, 2006.

2. auto-encoder

一种 compressed representation，压缩表示；

本身的架构 autoencoder 包括，encoder 和 decoder。

• autoencoder（input, output）

  • encoder(input, encoded)
  • decoder()

• input train input，以实现一种无监督的方式；

  • auto，自，是和 无监督相对应的；

其主要的特点在于（大量的学习）：

• data-specific，数据依赖；
• lossy，有损耗的，失真，
• learn from examples，如果是用 face 来 train，它可能会对 face 的压缩比较好；

后因为有一些新的算法的出现，取代了 auto-encoder 在模型预训练上的使命，使其主要应用在：

• 数据降噪；
• 数据降维；

3. 从 AE 到 SDA

SDA 的两大优势在于：

• nonlinearity：非线性性；
  • h(⋅)
• deep；
  • stacking of multiple layers；