导数

导数

设函数 $f:{\mathbf{R}}^n\to {\mathbf{R}}^m$，$x\in \mathrm{int}\mathrm{dom}f$。如果存在矩阵 $Df(x)\in {\mathbf{R}}^{m\times n}$，满足

$$\begin{array}{r}\underset{z\in \mathrm{dom}f,z\ne x,z\to x}{lim}{\displaystyle \frac{\parallel f(z)-f(x)-Df(x)(z-x){\parallel }_2}{\parallel z-x{\parallel }_2}}=0\end{array}$$

则称函数 $f$ 可微，并称 $Df(x)$ 为 $f$ 在 $x$ 处的导数（或 Jacobian 矩阵）。

我们将 $z$ 的仿射函数

$$\begin{array}{r}f(x)+Df(x)(z-x)\end{array}$$

称为 $f$ 在 $x$ 处（或附近）的一次逼近。当 $z$ 接近 $x$ 时，该仿射函数非常接近 $f$。

$Df(x)$ 可以通过计算偏导数的方式求得：

$$\begin{array}{r}Df(x{)}_{ij}={\displaystyle \frac{\partial f_i(x)}{\partial x_j}},i=1,\cdots ,m,j=1,\cdots ,n\end{array}$$

梯度

$$\begin{array}{r}\mathrm{\nabla }f(x)=Df(x{)}^{\mathrm{\top }}\end{array}$$

梯度是一个列向量，它的分量是 $f$ 的偏导数。

$$\begin{array}{r}\mathrm{\nabla }f(x{)}_i={\displaystyle \frac{\partial f(x)}{\partial x_i}},i=1,\cdots ,n\end{array}$$

链式规则

设 $f:{\mathbf{R}}^n\to {\mathbf{R}}^m$、$g:{\mathbf{R}}^m\to {\mathbf{R}}^p$ 均可微，复合函数 $h(x)=g(f(x))$ 的导数为

$$Dh(x)=Dg(f(x))Df(x).$$

当 $p=1$、即外层函数为实值函数时，梯度是 Jacobian 的转置，因此

$$\mathrm{\nabla }h(x)=Df(x{)}^{\mathrm{\top }}\mathrm{\nabla }g(f(x)).$$

特别地，若 $m=1$ 且 $g:\mathbf{R}\to \mathbf{R}$，则化为标量复合公式

$$\mathrm{\nabla }h(x)=g^{\prime }(f(x))\mathrm{\nabla }f(x).$$

例如，令 $f(x)=x_1^2+x_2^2$、$g(t)=e^t$，则

$$\mathrm{\nabla }(g(f(x)))=e^{x_1^2+x_2^2}\left[\begin{array}{c}2x_1\\ 2x_2\end{array}\right].$$

仿射函数

设仿射函数 $g(x)=f(Ax+b)$，其中 $f:{\mathbf{R}}^n\to {\mathbf{R}}^m$，$A\in {\mathbf{R}}^{n\times p}$，$b\in {\mathbf{R}}^n$，则 $g:{\mathbf{R}}^p\to {\mathbf{R}}^m$。当 $f$ 是实函数时（即 $m=1$），仿射函数 $g$ 的梯度公式为：

$$\begin{array}{r}\mathrm{\nabla }g(x)=A^{\mathrm{\top }}\mathrm{\nabla }f(Ax+b)\end{array}$$

INFO

仿射

从 ${\mathbf{R}}^n$ 到 ${\mathbf{R}}^m$ 的映射 $x\to Ax+b$ 称为仿射变换。当 $m=1$ 时，称上述仿射变换为仿射函数。若仿射函数的 $b=0$，则称之为线性函数。

方向导数

设 $f:{\mathbf{R}}^n\to {\mathbf{R}}^m$，$x,v\in {\mathbf{R}}^n$。定义函数 $\tilde{f}=f(x+tv)$。（粗略地说，$\tilde{f}$ 是将 $f$ 限制在直线 $\{x+tv\mid t\in \mathbf{R}\}$ 上的函数。）则

$$\begin{array}{r}D\tilde{f}(t)={\tilde{f}}^{\prime }(t)=\mathrm{\nabla }f(x+tv{)}^{\mathrm{\top }}v\end{array}$$

并称标量 ${\tilde{f}}^{\prime }(0)$ 为函数 $f$ 在 $x$ 处沿方向 $v$ 的方向导数。

二阶导数

设函数 $f:{\mathbf{R}}^n\to \mathbf{R}$，$x\in \mathrm{int}\mathrm{dom}f$。那么 $f$ 在 $x$ 处的二阶导数（或 Hessian 矩阵）为

$$\begin{array}{r}{\mathrm{\nabla }}^{2}f(x{)}_{ij}={\displaystyle \frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}},i=1,\cdots ,n,j=1,\cdots ,n\end{array}$$

函数 $f$ 在（或接近）$x$ 处以 $z$ 为变量的二次逼近为

$$\begin{array}{r}\hat{f}(z)=f(x)+\mathrm{\nabla }f(x{)}^{\mathrm{\top }}(z-x)+{\displaystyle \frac{1}{2}}(z-x{)}^{\mathrm{\top }}{\mathrm{\nabla }}^{2}f(x)(z-x)\end{array}$$

二阶导数的链式规则

标量复合函数

设 $f:{\mathbf{R}}^n\to \mathbf{R}$，$g:\mathbf{R}\to \mathbf{R}$，$h(x)=g(f(x))$。我们有

$$\begin{array}{r}{\mathrm{\nabla }}^{2}h(x)=g^{\prime }(f(x)){\mathrm{\nabla }}^{2}f(x)+g^{\prime \prime }(f(x))\mathrm{\nabla }f(x)\mathrm{\nabla }f(x{)}^{\mathrm{\top }}\end{array}$$

复合仿射函数

设 $f:{\mathbf{R}}^n\to \mathbf{R}$，$A\in {\mathbf{R}}^{n\times m}$，$b\in {\mathbf{R}}^n$，定义 $g:{\mathbf{R}}^m\to \mathbf{R}$ 为 $g(x)=f(Ax+b)$。我们有

$$\begin{array}{r}{\mathrm{\nabla }}^{2}g(x)=A^{\mathrm{\top }}{\mathrm{\nabla }}^{2}f(Ax+b)A\end{array}$$