66-Day8.md

Day 8

Automatic Differention (自动微分)

有几种求微分方法

• 写程序的将微分写入程序
• 数值微分:计算速度快，存在误差
• 符号微分：精准，但可能表达爆炸
• 自动微分

自动微分是基于类似数值微分和符号微分的方法。 自动微分有两种模式：

• 前向模式
  • 适用于当输出大小 $\gg$ 输入大小。
  • 需要利用 partial 和 dual value 计算。
• 反向模式

Tensorflow

Tensor 是张量。Graph。

利用C++编写的，Python 来使用。 新版去掉 session。

CNN

对张量进行 convolution, 可以学习到图形的 pattern。

可以进行图像、音频等识别。

RNN

可以利用时间做参数，适用于语音识别、天气预报等。

LSTM