17-Day6.md

第六周总结

反向传播与自动微分

• 求导运算

  • 数值微分：
    • 根据导数的定义来计算
    • 存在舍入误差
    • 计算效率较低
  • 符号微分
    • 从表达式出发，将表达式本身看作符号的运算，类似于算子
    • 随着函数变复杂，符号微分的表达式复杂度指数增长

• 自动微分

  • 前向模式：计算输出对某个输入的微分值
  • 反向模式：计算输出对所有输入的微分值

• 反向传播与自动微分

  • 反向传播是在神经网络上执行梯度下降法的主要算法
  • 反向传播算法会先按照前向传播方式计算（并缓存）每个节点的输出值，然后再按照反向传播遍历图的方式，计算损失函数值相对于每个参数的偏导数，可以认为反向传播是AD模式的一种
  • 反向传播算法：更新网络权重，将网络评估转换为目标函数的优化，然后用AD的反向模式
  • 反向传播算法需要保存中间的计算数值，会消耗比加大的空间
    • 优化方式：构建反向计算图

• 静态图与动态图

Python面向对象编程

• 类与继承

  • 类、对象、属性、方法、参数、实例化