47-Day7.md

Numpy

array,empty,ones,zeros,reshape,transpose,线性代数库

深度学习

人工神经元

F(w,x)

激活函数：sigmod，logistic,tanh,relu

模拟布尔电路

• 线性：AND OR NOT
• 非线性 XOR分解为线性的叠加

神经网络

前馈网络

以CNN为例，输入多维张量->卷积层（局域权重共享）->下采样层（避免过拟合）

计算快，可并行化

反馈网络

RNN

神经网络训练

求W

可微分网络结构：BP，AD

损失函数：D(y,y')

• regression：均方差
• 分类：交叉熵

梯度下降法，适当的学习率（步长） ，每次抽取随机样本

• 遍历batch：epoch
• 遍历min-batch：iteration