常见标量函数的导数与偏导数计算

你好。上一课我们从向量点积和矩阵乘法出发，理解了线性层的前向计算：输入特征与权重相乘、求和，再加上 bias。今天转向训练真正依赖的另一个问题：如果某个输入或参数轻微变化，输出会变化多少？

这正是导数与偏导数描述的内容。后训练中的损失函数、奖励模型分数、logits、概率和 KL 惩罚最终都会变成标量；反向传播则是在计算这些标量对大量参数的偏导数。本课先建立手算层面的直觉与基本规则。下一课会把它们组织成计算图中的链式法则。

---

导数：局部的变化率

对单变量函数

$$y=f(x)$$

导数 $f^{\prime }(x)$ 描述的是：在 $x$ 附近，输入 $x$ 增加一点时，输出 $f(x)$ 大约以多快的速度变化。

在某个特定点 $x_0$，导数的严格定义是：

$$f^{\prime }(x_0)=\underset{h\to 0}{\lim }\frac{f(x_0+h)-f(x_0)}{h}$$

其中：

• $h$ 是对输入施加的一个很小的扰动；
• 分子是输出变化量；
• 二者的比值是平均变化率；
• 当 $h$ 无限接近于 $0$ 时，平均变化率趋于该点的瞬时变化率，也就是切线斜率。

训练中更实用的是这个近似：

$$f(x_0+h)\approx f(x_0)+f^{\prime }(x_0)h$$

它说明导数是函数在局部的一阶线性近似系数。若 $f^{\prime }(x_0)=5$，输入在该点附近增加 $0.01$，输出大约增加 $0.05$；若导数为负，输出则会下降。

例如：

$$f(x)=x^2$$

在 $x=3$ 附近，导数是：

$$f^{\prime }(x)=2x$$

因此：

$$f^{\prime }(3)=6$$

这并不意味着把 $x$ 从 $3$ 增加到 $4$ 时输出恰好增加 $6$；实际增加量是：

$$4^2-3^2=7$$

导数说的是足够小的局部变化。例如令 $h=0.01$：

$$(3.01{)}^2-3^2=0.0601$$

而导数的一阶估计为：

$$6\times 0.01=0.06$$

误差 $0.0001$ 来自于 $h^2$ 这样的高阶小量。

下面的片段用“正方形边长轻微增加时，面积增加多少”来解释为什么 $x^2$ 的导数是 $2x$，并进一步给出幂法则的直觉。

---

一组必须熟练的标量导数

在后续推导中，不应每次都从极限定义重新计算。最常用的是下面几条规则。

常数、线性函数与幂函数

设 $c$ 为常数，$n$ 为实数。在函数有定义的范围内：

$$\frac{d}{dx}c=0$$ $$\frac{d}{dx}x=1$$ $$\frac{d}{dx}(cx)=c$$ $$\frac{d}{dx}{x}^n=n{x}^{n-1}$$

最后一条称为幂法则。计算时可记为：“指数乘到前面，原指数减一。”

函数	导数
$7$	$0$
$x$	$1$
$x^2$	$2x$
$x^3$	$3x^2$
$x^5$	$5x^4$
$x^{-1}=\frac{1}{x}$	$-x^{-2}=-\frac{1}{x^2}$
$\sqrt{x}=x^{1/2}$	$\frac{1}{2\sqrt{x}}$

例如：

$$f(x)=3x^4-2x^2+5x-7$$

利用每一项分别求导：

$$f^{\prime }(x)=12x^3-4x+5$$

注意常数 $-7$ 的导数是 $0$。它会改变函数整体的数值，却不会改变函数随 $x$ 变化的速率。

导数的线性性质

对函数 $u(x)$、$v(x)$ 和常数 $a,b$，有：

$$\frac{d}{dx}\left[au(x)+bv(x)\right]=a{u}^{\prime }(x)+b{v}^{\prime }(x)$$

因此，遇到多项式或加减组合时，可以拆项求导。这也是为什么前面的多项式例子可以逐项处理。

如果两个随 $x$ 变化的函数相乘，则必须使用乘积法则：

$$\frac{d}{dx}\left[u(x)v(x)\right]=u^{\prime }(x)v(x)+u(x)v^{\prime }(x)$$

例如：

$$g(x)=x{e}^x$$

这里 $x$ 和 $e^x$ 都随 $x$ 变化，不能把导数误写为 $e^x$。正确结果是：

$$g^{\prime }(x)=1\cdot e^x+x\cdot e^x=(1+x)e^x$$

在神经网络推导里，乘积法则经常以“某个局部项既作为一个值出现，又影响另一个值”的形式出现；下一课的计算图会系统处理它。

指数与对数：softmax 和对数概率的基础

后训练中频繁出现 exp、log_softmax、对数概率和 KL 散度，因此以下规则尤其重要：

$$\frac{d}{dx}{e}^x=e^x$$ $$\frac{d}{dx}\ln x=\frac{1}{x},x>0$$

指数函数的特殊之处是：函数值与其变化率相同。若 $x$ 较大，$e^x$ 本身大，导数也大；若 $x$ 很小，导数也小。这也是 softmax 直接计算指数时容易发生数值溢出的原因之一，后面学习数值稳定 softmax 时会重新用到这一点。

对数函数的导数：

$$\frac{1}{x}$$

揭示了一个重要特征：当 $x$ 接近 $0$ 的正侧时，导数会非常大。对数概率、概率比率或归一化分母接近零时，数值稳定性就会变得敏感。

对于机器学习中常见、但暂时不要求你自行推导的函数，可以先识别其导数形式：

$$\sigma (x)=\frac{1}{1+e^{-x}}$$ $${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$$

以及：

$$\frac{d}{dx}\tanh (x)=1-{\tanh }^2(x)$$

这些结果依赖于今天的基本规则和下一课的链式法则。当前的目标是先知道：导数不是神秘的新函数，而是原函数在局部对输入变化的响应。

ReLU 的一个例外

ReLU 定义为：

$$\mathrm{ReLU}(x)=\max (0,x)=\{\begin{array}{ll}0,& x<0\\ x,& x\ge 0\end{array}$$

因此，在非零位置：

$$\frac{d}{dx}\mathrm{ReLU}(x)=\{\begin{array}{ll}0,& x<0\\ 1,& x>0\end{array}$$

在 $x=0$ 处，左右两侧斜率不同，严格来说导数不存在。训练框架通常会在该点选择一个约定的次梯度，常见实现取 $0$。这提醒我们：自动微分并不要求每个算子在每一点都拥有传统意义上的光滑导数，但模型设计通常会尽量避免这种不确定点造成严重问题。

---

从普通导数到偏导数

单变量函数只有一个输入方向，因此问“输入改变一点，输出怎样变化”是明确的。

但训练中的标量通常有许多输入。例如，单个线性单元：

$$z(x,w,b)=wx+b$$

这里 $x$ 是输入，$w$ 是权重，$b$ 是 bias。它们都能影响 $z$，但影响方式不同。因此我们必须明确：究竟让哪个变量改变，其他变量保持不变？

这就是偏导数。

$$\frac{\partial z}{\partial x}$$

表示只改变 $x$，固定 $w,b$，观察 $z$ 的变化率。

$$\frac{\partial z}{\partial w}$$

表示只改变 $w$，固定 $x,b$。

$$\frac{\partial z}{\partial b}$$

表示只改变 $b$，固定 $x,w$。

对上面的线性单元：

$$z(x,w,b)=wx+b$$

有：

$$\frac{\partial z}{\partial x}=w$$ $$\frac{\partial z}{\partial w}=x$$ $$\frac{\partial z}{\partial b}=1$$

这三个结果值得停下来理解：

• $\frac{\partial z}{\partial x}=w$：输入变化对输出的影响由权重缩放；
• $\frac{\partial z}{\partial w}=x$：权重的梯度会带有输入激活值；
• $\frac{\partial z}{\partial b}=1$：bias 增加多少，线性输出就增加多少。

真实模型当然包含向量、矩阵和上亿参数，但反向传播底层就是在重复组合这类局部偏导数。

---

偏导数的计算规则：其他变量先当常数

设：

$$f(x,y)=x^{2}y+3x-e^y$$

求关于 $x$ 的偏导数时，$y$ 被视为一个常数：

$$\frac{\partial f}{\partial x}=\frac{\partial }{\partial x}\left(x^{2}y+3x-e^y\right)$$

逐项计算：

$$\frac{\partial f}{\partial x}=2xy+3-0=2xy+3$$

这里：

• $x^{2}y$ 中的 $y$ 像常数系数一样保留；
• $3x$ 的偏导数是 $3$；
• $e^y$ 中没有 $x$，因此对 $x$ 的偏导数为 $0$。

求关于 $y$ 的偏导数时，改为把 $x$ 固定：

$$\frac{\partial f}{\partial y}=\frac{\partial }{\partial y}\left(x^{2}y+3x-e^y\right)$$

于是：

$$\frac{\partial f}{\partial y}=x^2+0-e^y=x^2-e^y$$

在点 $(x,y)=(2,0)$ 处：

$$\frac{\partial f}{\partial x}(2,0)=2\times 2\times 0+3=3$$ $$\frac{\partial f}{\partial y}(2,0)=2^2-e^0=3$$

这两个值都等于 $3$，但含义不同：

• 固定 $y=0$，只沿 $x$ 方向微调时，函数局部变化率为 $3$；
• 固定 $x=2$，只沿 $y$ 方向微调时，函数局部变化率也为 $3$。

数值偶然相同，并不代表两种扰动相同；在大多数函数和大多数点上，它们会不同。

下面的视频专门处理“多变量函数如何沿指定方向微小移动”这一问题。它包含在具体点求偏导和先得到一般公式两种做法。

---

偏导数的几何含义：固定一个方向，切出一条曲线

若

$$z=f(x,y)$$

那么它的图像是一个三维曲面。普通导数的图像是曲线上的切线斜率；偏导数则是先沿某个坐标方向把曲面切开，得到一条曲线，再看该曲线上的切线斜率。

因此：

$$\frac{\partial f}{\partial x}(x_0,y_0)$$

不是“整个曲面的唯一斜率”，而是固定 $y=y_0$ 时，沿 $x$ 方向的局部斜率。

同理：

$$\frac{\partial f}{\partial y}(x_0,y_0)$$

固定 $x=x_0$，只考察 $y$ 方向的局部斜率。

在神经网络训练中，损失 $L$ 依赖大量参数：

$$L=L({\theta }_1,{\theta }_2,\dots ,{\theta }_n)$$

某个参数的偏导数

$$\frac{\partial L}{\partial {\theta }_i}$$

表达的是：保持其他参数不动，只轻微调整 ${\theta }_i$，损失会如何局部变化。优化器最终正是依据这些偏导数决定每个参数的更新方向和更新幅度。

---

容易出错的地方

1. 混淆导数函数与某点的导数值

$$f^{\prime }(x)=2x$$

是一个关于 $x$ 的新函数；而：

$$f^{\prime }(3)=6$$

才是一个具体的标量值。

偏导数也一样：

$$\frac{\partial f}{\partial x}=2xy+3$$

是一般公式；只有代入点以后才得到特定数值。

2. 忘记“非目标变量是常数”

对于：

$$f(x,y)=xy$$

有：

$$\frac{\partial f}{\partial x}=y$$

而不是 $1$。因为相对于 $x$，$y$ 是一个常数系数。

同时：

$$\frac{\partial f}{\partial y}=x$$

而：

$$\frac{\partial }{\partial x}y=0$$

因为当我们只沿 $x$ 方向移动时，$y$ 根本没有改变。

3. 把函数值当作导数值

$$\frac{d}{dx}{x}^2=2x$$

不是 $x^2$。在 $x=3$ 时，函数值是 $9$，导数值是 $6$。前者表示当前位置的输出，后者表示该点附近的变化率。

4. 忽略函数定义域

$$\frac{d}{dx}\ln x=\frac{1}{x}$$

只在 $x>0$ 的实数范围内成立。类似地，$\frac{1}{x}$ 在 $x=0$ 无定义，ReLU 在 $x=0$ 不可导。推导训练目标时，概率、归一化项和对数的定义域不能被忽略。

---

小结

本课建立了反向传播所需的第一层语言：

• 导数表示单变量函数在局部对输入微小变化的响应，也可看作切线斜率。
• 常用规则包括常数法则、幂法则、线性性质、乘积法则，以及 $e^x$、$\ln x$ 的导数。
• 偏导数用于多变量标量函数：对一个变量求导时，其他变量固定不动。
• 对线性单元 $z=wx+b$，有：

$$\frac{\partial z}{\partial x}=w,\frac{\partial z}{\partial w}=x,\frac{\partial z}{\partial b}=1$$

这正是参数梯度为何与输入激活相关的最小原型。

下一课将学习链式法则：当一个损失经过多层运算得到时，如何把这些局部导数逐层组合，得到最终的参数梯度。