概述
后向传播,也称之为 反向传播
由于前向传播中,权重 是 随机初始化 的,偏置量 一般为 0,所以计算的结果 与 真实值有 误差
反向传播的作用:找到 合适的 权重 和 偏置量,让 误差尽可能的小
计算 真实值 与 前向传播结果 的误差
衡量 真实值 与 前向传播结果 误差的函数,称之为 损失函数
这里使用最简单的 均方误差 计算损失
https://www.malaoshi.top/show_1EF3qTvZH2yB.html
y是前向传播的结果,是通过y=wx+b计算而来,所以上面公式转换如下:
注意:
- x是样本特征
- y_true是样本的目标值
- m是样本数量
- w是要求得的权重
- b是要求得的偏置量
总结:
找到w和b,使得上面的式子尽可能的小,那么误差也就尽可能的小
求偏导
为了找到上面式子的极值,就需要对w、b求导,让其等于0
梯度下降
通过 最小二乘法 也可以算出w和b,但在多元线性回归中,计算量过大
所以采用 梯度下降
https://www.malaoshi.top/show_1EF44cFgc3QB.html




