本小节的例子将说明,对一个问题进行简单的等价变形有可能得到非常不一样的对偶问题。
引入新的变量以及相应的等式约束
$$ \mathrm{minimize} \quad f_0(Ax+b) $$该问题的 Lagrange 对偶函数是常数 $p^{\star}$。即使强对偶性成立,但其 Lagrange 对偶问题没有什么意义和用途。
现在我们对原问题作等价变形
$$ \begin{aligned} \mathrm{minimize} \quad & f_0(y) \\ \mathrm{subject\ to} \quad & Ax+b = y \end{aligned} $$我们引入了新的变量 $y$,并且增加了新的等式约束,将原来作为目标函数的复合函数拆开了。这样,变换之后的问题的 Lagrange 函数为
$$ L(x, y, \nu) = f_0(y) + \nu^{\top}(Ax+b-y) $$求解 Lagrange 对偶函数
$$ g(\nu) = b^{\top} \nu + \inf_y (f_0(y) - \nu^{\top} y) = b^{\top} - f_0^{\star}(\nu) $$于是对偶问题可以描述为
$$ \begin{aligned} \mathrm{minimize} \quad & b^{\top} \nu - f_0^{\star}(\nu) \\ \mathrm{subject\ to} \quad & A^{\top} \nu = 0 \end{aligned} $$显然,变换后的问题的对偶问题要比原问题的对偶问题更有意义。
引入新的等式约束的思想同样可以用在约束函数上面。例如,考虑问题
$$ \begin{aligned} \mathrm{minimize} \quad & f_0(A_0x + b_0) \\ \mathrm{subject\ to} \quad & f_i(A_ix+ b_i) \leqslant 0, \quad i=1,\cdots,m \end{aligned} $$其中 $A_i \in \mathbf{R}^{k_i \times n}$,函数 $f_i: \mathbf{R}^{k_i} \rightarrow \mathbf{R}$ 是凸函数。对 $i=0,\cdots,m$,引入新的变量 $y_i \in \mathbf{R}^{k_i}$,将原问题重新描述为
$$ \begin{aligned} \mathrm{minimize} \quad & f_0(y_0) \\ \mathrm{subject\ to} \quad & f_i(y_i) \leqslant 0, \quad i=1,\cdots,m \\ \quad & A_ix + b_i = y_i, i=0,\cdots,m \end{aligned} $$后面的步骤与之前类似,同样也是求解 Lagrange 对偶函数,并描述对偶问题。
变换目标函数
如果我们将目标函数 $f_0$ 替换为 $f_0$ 的增函数,得到的问题与原问题显然是等价的。但是,等价问题的对偶问题可能和原问题的对偶问题大不相同。
考虑最小范数问题
$$ \mathrm{minimize} \quad \| Ax-b \| $$我们将问题重新描述为
$$ \begin{aligned} \mathrm{minimize} \quad & \frac{1}{2} \| y \|^2 \\ \mathrm{subject\ to} \quad & Ax-b = y \end{aligned} $$隐式约束
接下来考虑一个简单的重新描述问题的方式,通过修改目标函数将约束包含到目标函数中,当约束被违背时,目标函数为无穷大。
考虑下列具有框约束的线性规划问题
$$ \begin{aligned} \mathrm{minimize} \quad & c^{\top}x \\ \mathrm{subject\ to} \quad & Ax=b \\ \quad & l \preceq x \preceq u \end{aligned} $$原问题的对偶问题很容易就能够得到,但是特别复杂。我们换一种做法,将原问题重新描述为
$$ \begin{aligned} \mathrm{minimize} \quad & f_0(x) \\ \mathrm{subject\ to} \quad & Ax = b \end{aligned} $$其中 $f_0(x)$ 定义为
$$ f_0(x) = \left\{\begin{matrix} c^{\top}x & l \preceq x \preceq u \\ \infty & \text{otherwise} \end{matrix}\right. $$这样一来新问题的对偶问题则是一个更为简单的无约束问题。