深度学习中的矩阵求导基础

---

本文根据合集·深度学习中的数学by齐宪标系列视频整理。

在本文中，用小写字母表示标量，用粗体小写字母表示向量，用粗体大写字母表示矩阵。

导数的定义

在高等数学和数学分析的课程中，我们知道一元函数 $y=f(x)$ 的导数定义为

$${\displaystyle \frac{\mathrm{d}y}{\mathrm{d}x}}=\underset{h\to 0}{lim}{\displaystyle \frac{f(x+h)-f(x)}{h}}$$

而对于多元函数，则会引入方向导数和梯度的概念。

梯度与方向导数

给定一个多元函数

$$y=f(\mathbf{x})=f(x_1,x_2,\dots ,x_n)(\mathbf{x}\in {\mathbb{R}}^n)$$

其梯度为 $\mathrm{\nabla }f(\mathbf{x})$ 定义为

$$\mathrm{\nabla }f(\mathbf{x})=\left[\begin{array}{c}{\displaystyle \frac{y}{\partial x_1}}\\ {\displaystyle \frac{y}{\partial x_2}}\\ ⋮\\ {\displaystyle \frac{y}{\partial x_n}}\end{array}\right]$$

简单来说，梯度即为以单位正交向量为基底，$y$ 对 $\mathbf{x}$ 各分量的导数的线性组合。对于多元函数而言，其梯度是一个和 $\mathbf{x}$ 同样维度的向量。

而方向导数是指函数在某一点处，在某一给定方向上的变化率，是一个标量。它定义为

$$D_{\mathbf{v}}f(\mathbf{x})=\mathrm{\nabla }f(\mathbf{x}{)}^{\mathrm{\top }}\cdot \mathbf{v}$$

Jacobian 矩阵

对于一簇多元函数（也称为向量函数，即定义域和值域都是向量的集合的函数）

$$\mathbf{y}=f(\mathbf{x})=\left[\begin{array}{c}{f}_1(\mathbf{x})\\ f_2(\mathbf{x})\\ ⋮\\ f_m(\mathbf{x})\end{array}\right](\mathbf{x}\in {\mathbb{R}}^n,\mathbf{y}\in {\mathbb{R}}^m)$$

其各个函数的梯度组合成一个矩阵，称为 Jacobian 矩阵，记为 $\mathbf{J}(\mathbf{x})$。它定义为

$$\begin{array}{rl}\mathbf{J}(\mathbf{x})& =\left[\begin{array}{cccc}{\displaystyle \frac{\partial y_1}{\partial x_1}}& {\displaystyle \frac{\partial y_1}{\partial x_2}}& \cdots & {\displaystyle \frac{\partial y_1}{\partial x_n}}\\ {\displaystyle \frac{\partial y_2}{\partial x_1}}& {\displaystyle \frac{\partial y_2}{\partial x_2}}& \cdots & {\displaystyle \frac{\partial y_2}{\partial x_n}}\\ ⋮& ⋮& \ddots & ⋮\\ {\displaystyle \frac{\partial y_m}{\partial x_1}}& {\displaystyle \frac{\partial y_m}{\partial x_2}}& \cdots & {\displaystyle \frac{\partial y_m}{\partial x_n}}\end{array}\right]\\ & ={\left[\begin{array}{cccc}\mathrm{\nabla }{f}_1(\mathbf{x})& \mathrm{\nabla }{f}_2(\mathbf{x})& \cdots & \mathrm{\nabla }{f}_m(\mathbf{x})\end{array}\right]}^{\mathrm{\top }}\end{array}$$

是一个 $m\times n$ 的矩阵，其中 $m$ 是输出的维度，$n$ 是输入的维度。

WARNING

注意

Jacobian 矩阵的维度是 $m\times n$，而不是 $n\times m$。这意味着，Jacobian 矩阵不能用来直接表示向量函数的导数和梯度——Jacobian 矩阵的转置才能表示向量函数的导数和梯度。

实际上，向量函数的求导运算是一种从函数到函数的映射。用形式化的语言表达就是

$$\begin{array}{r}\mathrm{\nabla }:{\mathbb{R}}^n\to {\mathbb{R}}^m⟶{\mathbb{R}}^n\to {\mathbb{R}}^{n\times m}\end{array}$$

Hessian 矩阵

给定一个多元函数

$$y=f(\mathbf{x})=f(x_1,x_2,\dots ,x_n)(\mathbf{x}\in {\mathbb{R}}^n)$$

其 Hessian 矩阵定义为

$$\begin{array}{rl}\mathbf{H}(\mathbf{x})& ={\mathrm{\nabla }}^{2}f(\mathbf{x})\\ & ={\displaystyle \frac{\partial }{\partial \mathbf{x}}}\left({\displaystyle \frac{\partial y}{\partial \mathbf{x}}}\right)\\ & =\left[\begin{array}{cccc}{\displaystyle \frac{{\partial }^{2}y}{\partial x_1^2}}& {\displaystyle \frac{{\partial }^{2}y}{\partial x_1\partial x_2}}& \cdots & {\displaystyle \frac{{\partial }^{2}y}{\partial x_1\partial x_n}}\\ {\displaystyle \frac{{\partial }^{2}y}{\partial x_2\partial x_1}}& {\displaystyle \frac{{\partial }^{2}y}{\partial x_2^2}}& \cdots & {\displaystyle \frac{{\partial }^{2}y}{\partial x_2\partial x_n}}\\ ⋮& ⋮& \ddots & ⋮\\ {\displaystyle \frac{{\partial }^{2}y}{\partial x_n\partial x_1}}& {\displaystyle \frac{{\partial }^{2}y}{\partial x_n\partial x_2}}& \cdots & {\displaystyle \frac{{\partial }^{2}y}{\partial x_n^2}}\end{array}\right]\end{array}$$

导数的链式求导法则

对于复合函数

$$\begin{array}{rl}f(x)& =f_n\circ f_{n-1}\circ \cdots \circ f_2\circ f_1(x)\\ & =f_n(f_{n-1}(\cdots f_2(f_1(x))))\end{array}$$

其链式求导法则为

$${\displaystyle \frac{\mathrm{d}f(x)}{\mathrm{d}x}}={\displaystyle \frac{\mathrm{d}f(x)}{\mathrm{d}{f}_n(x)}}\cdot {\displaystyle \frac{\mathrm{d}{f}_n(x)}{\mathrm{d}{f}_{n-1}(x)}}\cdots {\displaystyle \frac{\mathrm{d}{f}_2(x)}{\mathrm{d}{f}_1(x)}}\cdot {\displaystyle \frac{\mathrm{d}{f}_1(x)}{\mathrm{d}x}}$$

不过，如果自变量是一个向量或者矩阵，那么由于矩阵乘法不满足交换律，于是就存在分母表达式和分子表达式两种形式。

分母表达式和分子表达式

这里的分子和分母指的是原微商式中的分子和分母，即 $\mathrm{d}f(x)$ 和 $\mathrm{d}x$。顾名思义，分母/分子表达式的含义就是先求含分母/分子的那一项，即

$$\begin{array}{rl}{\displaystyle \frac{\mathrm{d}f(x)}{\mathrm{d}x}}& ={\displaystyle \frac{\mathrm{d}f(x)}{\mathrm{d}{f}_n(x)}}\cdot {\displaystyle \frac{\mathrm{d}{f}_n(x)}{\mathrm{d}{f}_{n-1}(x)}}\cdots {\displaystyle \frac{\mathrm{d}{f}_2(x)}{\mathrm{d}{f}_1(x)}}\\ & ={\displaystyle \frac{\mathrm{d}{f}_1(x)}{\mathrm{d}x}}\cdot {\displaystyle \frac{\mathrm{d}{f}_2(x)}{\mathrm{d}{f}_1(x)}}\cdots {\displaystyle \frac{\mathrm{d}{f}_n(x)}{\mathrm{d}{f}_{n-1}(x)}}\end{array}$$

其中，$(1)$ 式是分子表达式，$(2)$ 是分母表达式。由此可见，分子表达式是先求外层函数，然后逐层深入求导；分母表达式是先求内层函数，然后逐层向外求导。

在深度学习中，为了方便，一般采用分母表达式来表示导数。稍后我们就会看到这种表达方式的方便之处。

多项式向量函数的导数

多项式向量函数是指，每个因变量 $y_1,y_2,\cdots ,y_m$ 都是关于自变量 $x_1,x_2,\cdots ,x_n$ 和常数的线性函数的函数。本小节主要讨论一次多项式和二次多项式向量函数的导数计算，只需要理解齐次式的导数计算即可。

一次齐次式

$$\begin{array}{rl}\mathbf{y}& =\mathbf{Wx}(\mathbf{x}\in {\mathbb{R}}^n,\mathbf{y}\in {\mathbb{R}}^m)\\ {\displaystyle \frac{\partial \mathbf{y}}{\partial \mathbf{x}}}& =\left[\begin{array}{cccc}{\displaystyle \frac{\partial y_1}{\partial x_1}}& {\displaystyle \frac{\partial y_2}{\partial x_1}}& \cdots & {\displaystyle \frac{\partial y_m}{\partial x_1}}\\ {\displaystyle \frac{\partial y_1}{\partial x_2}}& {\displaystyle \frac{\partial y_2}{\partial x_2}}& \cdots & {\displaystyle \frac{\partial y_m}{\partial x_2}}\\ ⋮& ⋮& \ddots & ⋮\\ {\displaystyle \frac{\partial y_1}{\partial x_n}}& {\displaystyle \frac{\partial y_2}{\partial x_n}}& \cdots & {\displaystyle \frac{\partial y_m}{\partial x_n}}\end{array}\right]\\ & ={\mathbf{W}}^{\mathrm{\top }}\end{array}$$

注意到，$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ 是一个将向量从 $n$ 维映射到 $m$ 维的向量函数。所以，这里的 $\mathbf{W}\in {\mathbb{R}}^{m\times n}$，恰好是其 Jacobian 矩阵的转置。

INFO

常用线性函数求导公式

$$\begin{array}{rl}{\displaystyle \frac{\partial \mathbf{Wx}}{\partial \mathbf{x}}}& ={\mathbf{W}}^{\mathrm{\top }}\\ {\displaystyle \frac{\partial \mathbf{Wx}}{\partial \mathbf{W}}}& ={\mathbf{x}}^{\mathrm{\top }}\end{array}$$

二次齐次式（二次型）

$$\begin{array}{rl}y& ={\mathbf{x}}^{\mathrm{\top }}\mathbf{W}\mathbf{x}(\mathbf{x}\in {\mathbb{R}}^n,y\in \mathbb{R})\\ & =\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{cccc}{w}_{11}& w_{12}& \cdots & w_{1n}\\ w_{21}& w_{22}& \cdots & w_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ w_{n1}& w_{n2}& \cdots & w_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\\ & =\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}{x}_i{x}_j\\ {\displaystyle \frac{\partial y}{\partial \mathbf{x}}}& =\left[\begin{array}{c}{\displaystyle \frac{\partial }{\partial x_1}}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}{x}_i{x}_j\\ {\displaystyle \frac{\partial }{\partial x_2}}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}{x}_i{x}_j\\ ⋮\\ {\displaystyle \frac{\partial }{\partial x_n}}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}{x}_i{x}_j\end{array}\right]\\ & =\left[\begin{array}{c}{\displaystyle \frac{\partial }{\partial x_1}}[w_{11}{x}_1^2+(w_{12}{x}_1{x}_2+\cdots +w_{1n}{x}_1{x}_n)+(w_{21}{x}_2{x}_1+\cdots +w_{n1}{x}_n{x}_1)]\\ {\displaystyle \frac{\partial }{\partial x_2}}[w_{22}{x}_2^2+(w_{21}{x}_2{x}_1+\cdots +w_{2n}{x}_2{x}_n)+(w_{12}{x}_1{x}_2+\cdots +w_{n2}{x}_n{x}_2)]\\ ⋮\\ {\displaystyle \frac{\partial }{\partial x_n}}[w_{nn}{x}_n^2+(w_{n1}{x}_n{x}_1+\cdots +w_{n(n-1)}{x}_n{x}_{n-1})+(w_{1n}{x}_1{x}_n+\cdots +w_{(n-1)n}{x}_{n-1}{x}_n)]\end{array}\right]\\ & =\left[\begin{array}{c}2w_{11}{x}_1+(w_{12}{x}_2+\cdots +w_{1n}{x}_n)+(w_{21}{x}_2+\cdots +w_{n1}{x}_n)\\ 2w_{22}{x}_2+(w_{21}{x}_1+\cdots +w_{2n}{x}_n)+(w_{12}{x}_1+\cdots +w_{n2}{x}_n)\\ ⋮\\ 2w_{nn}{x}_n+(w_{n1}{x}_1+\cdots +w_{n(n-1)}{x}_{n-1})+(w_{1n}{x}_1+\cdots +w_{(n-1)n}{x}_{n-1})\end{array}\right]\\ & =\left[\begin{array}{c}\sum _{i=1}^n{w}_{i1}{x}_i\\ \sum _{i=1}^n{w}_{i2}{x}_i\\ ⋮\\ \sum _{i=1}^n{w}_{in}{x}_i\end{array}\right]+\left[\begin{array}{c}\sum _{j=1}^n{w}_{1j}{x}_j\\ \sum _{j=1}^n{w}_{2j}{x}_j\\ ⋮\\ \sum _{j=1}^n{w}_{nj}{x}_j\end{array}\right]\\ & =\left[\begin{array}{cccc}{w}_{11}& w_{21}& \cdots & w_{n1}\\ w_{12}& w_{22}& \cdots & w_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ w_{1n}& w_{2n}& \cdots & w_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]+\left[\begin{array}{cccc}{w}_{11}& w_{12}& \cdots & w_{1n}\\ w_{21}& w_{22}& \cdots & w_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ w_{n1}& w_{n2}& \cdots & w_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\\ & =({\mathbf{W}}^{\mathrm{\top }}+\mathbf{W})\mathbf{x}\end{array}$$

常见神经网络层的导数计算

全连接层

一层全连接层的函数表达式为

$$\mathbf{y}=\mathbf{W}\mathbf{x}+\mathbf{b}(\mathbf{x}\in {\mathbb{R}}^n,\mathbf{y}\in {\mathbb{R}}^m)$$

它是一个典型的一次多项式向量函数，其导数为

$${\displaystyle \frac{\mathrm{d}\mathbf{y}}{\mathrm{d}\mathbf{x}}}={\mathbf{W}}^{\mathrm{\top }}$$

一般地，全连接层的参数矩阵 $\mathbf{W}$ 是可学习的参数，需要通过梯度下降法来更新，就不可避免地需要对其求导数。显然

$$\begin{array}{r}{\displaystyle \frac{\mathrm{d}\mathbf{y}}{\mathrm{d}\mathbf{W}}}={\mathbf{x}}^{\mathrm{\top }}\end{array}$$

激活函数

以 ReLU 为例，其函数表达式为

$$\mathrm{ReLU}(x)=max(0,x)$$

其导函数为

$$\begin{array}{rl}{\displaystyle \frac{\mathrm{d}}{\mathrm{d}x}}\mathrm{ReLU}(x)& =\{\begin{array}{ll}1& x>0\\ 0& x⩽0\end{array}\end{array}$$

对于一簇多元函数 $\mathbf{y}=\mathrm{ReLU}(\mathbf{x})$，其 Jacobian 矩阵为

$$\begin{array}{rl}\mathbf{J}(\mathbf{x})& =\mathrm{diag}(\mathbf{x}>\mathbf{0})\end{array}$$

它是一个对角线上的元素可能为 0 或 1，而其他元素均为 0 的矩阵。

INFO

对角矩阵

$$\begin{array}{r}\mathrm{diag}(\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right])=\left[\begin{array}{cccc}{x}_1& 0& \cdots & 0\\ 0& x_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & x_n\end{array}\right]\end{array}$$

卷积层

待补充。

自注意力层

待补充。

归一化层

不论是 BatchNorm 还是 LayerNorm，其函数形式都相同，都是将任何特征分布转化为均值为 0，方差为 1 的特征分布。

$$\mathbf{y}={\displaystyle \frac{\mathbf{x}-\mu }{\sqrt{{\sigma }^2+\epsilon }}}\cdot \gamma +\beta (\mathbf{x}\in {\mathbb{R}}^n,\mathbf{y}\in {\mathbb{R}}^n)$$

其中，$\gamma ,\beta \in {\mathbb{R}}^n$ 是可学习的参数，都是

分子是用线性代数表示为

$$\begin{array}{}\text{(1)}& \begin{array}{rl}\mathbf{x}-\mu & =\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]-\left[\begin{array}{c}{\displaystyle \frac{1}{n}}\sum _{i=1}^n{x}_i\\ {\displaystyle \frac{1}{n}}\sum _{i=1}^n{x}_i\\ ⋮\\ {\displaystyle \frac{1}{n}}\sum _{i=1}^n{x}_i\end{array}\right]\\ & =\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]-{\displaystyle \frac{1}{n}}\left[\begin{array}{cccc}1& 1& \cdots & 1\\ 1& 1& \cdots & 1\\ ⋮& ⋮& \ddots & ⋮\\ 1& 1& \cdots & 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\\ & =\mathbf{I}\mathbf{x}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }}\mathbf{x}\\ & =(\mathbf{I}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }})\mathbf{x}\end{array}\end{array}$$

其中，$\mathbf{I}$ 是单位矩阵，$\mathbf{1}$ 是元素全为 1 的列向量。

分母的被开方数用线性代数表示为

$$\begin{array}{}\text{(2)}& \begin{array}{rl}{\sigma }^2+\epsilon & ={\Vert \mathbf{x}-\mu \Vert }_2^2+\epsilon \\ & =(\mathbf{x}-\mu {)}^{\mathrm{\top }}(\mathbf{x}-\mu )+\epsilon \\ & ={\mathbf{x}}^{\mathrm{\top }}{(\mathbf{I}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }})}^{\mathrm{\top }}(\mathbf{I}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }})\mathbf{x}+\epsilon \\ & ={\mathbf{x}}^{\mathrm{\top }}(\mathbf{I}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }})(\mathbf{I}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }})\mathbf{x}+\epsilon \\ & ={\mathbf{x}}^{\mathrm{\top }}(\mathbf{I}-{\displaystyle \frac{2}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }}+{\displaystyle \frac{1}{n^2}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }})\mathbf{x}+\epsilon \\ & ={\mathbf{x}}^{\mathrm{\top }}(\mathbf{I}-{\displaystyle \frac{2}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }}+{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }})\mathbf{x}+\epsilon \\ & ={\mathbf{x}}^{\mathrm{\top }}(\mathbf{I}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }})\mathbf{x}+\epsilon \end{array}\end{array}$$

其结果其实是一个标量。

由 $(1),(2)$ 两式的结果可知，原函数解析式可化为

$$\begin{array}{rl}\mathbf{y}& =\sqrt{\mathbf{I}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }}}\times {\displaystyle \frac{\mathbf{x}}{\sqrt{{\mathbf{x}}^{\mathrm{\top }}\mathbf{x}+\epsilon }}}\cdot \gamma +\beta \end{array}$$

因此，其 Jacobian 矩阵为

$$\begin{array}{rl}\mathbf{J}(\mathbf{x})& =\sqrt{\mathbf{I}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }}}\times \left[{\displaystyle \frac{\mathbf{I}}{{\mathbf{x}}^{\mathrm{\top }}\mathbf{x}+\epsilon }}(\sqrt{{\mathbf{x}}^{\mathrm{\top }}\mathbf{x}+\epsilon }-{\displaystyle \frac{\mathbf{x}}{\sqrt{{\mathbf{x}}^{\mathrm{\top }}\mathbf{x}+\epsilon }}})\right]\times \mathrm{diag}(\gamma )\\ & =\sqrt{\mathbf{I}-{\displaystyle \frac{1}{n}}\mathbf{1}{\mathbf{1}}^{\mathrm{\top }}}\times {\displaystyle \frac{({\mathbf{x}}^{\mathrm{\top }}\mathbf{x}+\epsilon )\mathbf{1}-\mathbf{x}}{({\mathbf{x}}^{\mathrm{\top }}\mathbf{x}+\epsilon {)}^{{\displaystyle \frac{3}{2}}}}}\times \mathrm{diag}(\gamma )\end{array}$$

深度神经网络的导数计算

我们以 Feed Forward 网络为例，其网络结构为

用解析式表示就是

$$\{\begin{array}{rl}& \mathbf{g}={\mathbf{W}}_{\mathbf{in}}\mathbf{x}+{\mathbf{b}}_{\mathbf{in}}\\ & \mathbf{h}=\mathrm{ReLU}(\mathbf{g})\\ & \mathbf{y}={\mathbf{W}}_{\mathbf{out}}\mathbf{h}+{\mathbf{b}}_{\mathbf{out}}\end{array}$$

反向传播算法是从后向前计算导数的。我们可以很容易算出 $\mathbf{y}$ 对参数矩阵 ${\mathbf{W}}_{\mathbf{out}}$ 的导数为

$$\begin{array}{rl}{\displaystyle \frac{\mathrm{d}\mathbf{y}}{\mathrm{d}{\mathbf{W}}_{\mathbf{out}}}}& =\mathbf{h}\end{array}$$

在 DNN 训练过程中，中间状态是需要存储在显存中的。可以认为，这里的 $\mathbf{x},\mathbf{h},\mathbf{g},\mathbf{y}$ 都是已知的。参数矩阵从后向前通过梯度下降算法进行更新，即先更新 ${\mathbf{W}}_{\mathbf{out}},{\mathbf{b}}_{\mathbf{out}}$，再更新 ${\mathbf{W}}_{\mathbf{in}},{\mathbf{b}}_{\mathbf{in}}$。

现在计算 $\mathbf{y}$ 对参数矩阵 ${\mathbf{W}}_{\mathbf{in}}$ 的导数。由求导链式法则的分母表达式，有

$$\begin{array}{rl}{\displaystyle \frac{\mathrm{d}\mathbf{y}}{\mathrm{d}{\mathbf{W}}_{\mathbf{in}}}}& ={\displaystyle \frac{\mathrm{d}\mathbf{g}}{\mathrm{d}{\mathbf{W}}_{\mathbf{in}}}}\times {\displaystyle \frac{\mathrm{d}\mathbf{h}}{\mathrm{d}\mathbf{g}}}\times {\displaystyle \frac{\mathrm{d}\mathbf{y}}{\mathrm{d}\mathbf{h}}}\\ & =\mathbf{x}\times \mathrm{diag}(\mathbf{g}>0)\times {\mathbf{W}}_{\mathbf{out}}\end{array}$$

对偏置 ${\mathbf{b}}_{\mathbf{in}},{\mathbf{b}}_{\mathbf{out}}$ 的求导是类似的，本文不再赘述。

小结

深度学习中的矩阵求导，主要是利用导数的链式法则，让输出对深度神经网络中的参数矩阵进行求导。在求导过程中，主要涉及两种情况：一是直接对参数矩阵求导，二是对输入中间状态进行求导。采用分母表达式进行求导，可以按照神经网络的顺序进行，较为方便和直观。