需要掌握：导数
介绍
求导就是在问一个问题：当改变输入时，输出会怎么变？
更形象的解释
想象在开车，车速是：
速度 = 距离 / 时间
问自己：“如果我多踩一点点油门，车速会增加多少？”
这就是求导。
- 油门 = 输入
- 车速 = 输出
- 求导 = 输出对输入的“敏感程度”
导数的直观含义
设函数 y = f(x)
当 x 从 x_0 变到 x_0 + \Delta x 时，函数值从 f(x_0) 变到 f(x_0 + \Delta x)。
变化量：
\Delta y = f(x_0 + \Delta x) - f(x_0)
平均变化率：\frac{\Delta y}{\Delta x} = \frac{f(x_0 + \Delta x) - f(x_0)}{\Delta x}
如果让 \Delta x 越来越小，趋近于 0，这个平均变化率的极限（如果存在）就叫做函数在 x_0 处的导数：
f^\prime(x_0) = \lim_{\Delta x \to 0} \frac{f(x_0 + \Delta x) - f(x_0)}{\Delta x}
含义
f^\prime(x_0) 表示在 x_0 这一点，x 每增加一个极小量，y 大约会增加 f^\prime(x_0) 倍的这个极小量；
也就是函数在该点的“瞬时变化率”或“斜率”。
导数的几何意义
在几何上，函数 y=f(x) 的图像是一条曲线。
导数 f^\prime(x_0) 就是这条曲线在点 (x_0, f(x_0)) 处切线的斜率。
- 斜率为正：函数在该点递增；
- 斜率为负：函数在该点递减；
- 斜率绝对值越大：变化越“陡”；
- 斜率为 0：可能是极值点（极大/极小/拐点）。
例子
y = x²
当 x = 3 时：
导数是 6。
意思是：
在 x=3 这个位置，如果你把 x 稍微增加一点，y 会增加大约 6 倍那么多。
比如 x 从 3 → 3.01y 会从 9 → 9.06（差不多增加 0.06）
求导的本质
求导就是在测量“变化率”，也就是输入对输出的影响程度。
- 导数大 → 影响大
- 导数小 → 影响小
- 导数为正 → 输入变大，输出变大
- 导数为负 → 输入变大，输出变小
为什么深度学习要关心这个？
因为训练模型就是在调整参数，让损失变小。
求导告诉我们：
参数改变一点点，损失会怎么变？
- 导数为正 → 参数变大，损失变大 → 应该减小参数
- 导数为负 → 参数变大，损失变小 → 应该增大参数
- 导数绝对值大 → 影响大 → 步子要大一点
- 导数绝对值小 → 影响小 → 步子要小一点
这就是梯度下降的全部逻辑。
总结
- 求导 = 求变化率
- 变化率 = 输入对输出的影响程度
- 深度学习求导 = 找到让损失变小的方向