47-Day8.md

自动微分

参数对loss function梯度下降进行更新

手动微分 数值微分 符号微分

自动微分 directed acyclic graph

前向模式

适用输入少，输出多的情况

对偶数

$v+\epsilon \dot{v}$作为整体

后向传播

适用输出少，输入多

图形实现

在原graph边建立梯度计算的graph

深度学习框架

Tensorflow

计算图，会自动微分，加速线性代数，“张量流”

Keras

CNN&RNN

CNN

卷积运算：卷积核，内积 并行化

卷积网络：卷积->pooling

图像识别

RNN

主要处理序列建模预测问题

双向RNN：手写识别，语音识别

通过时间反向传播

长短时记忆网络，GRU合并为更新门

Tensorflow实现

tf.keras.layers.Dense 多层Dense组成多层感知机（MLP），解分类问题

卷积网络：局部权重共用 卷积层，下采样层，Dropout层