等价的对偶问题

本小节的例子将说明,对一个问题进行简单的等价变形有可能得到非常不一样的对偶问题。

引入新的变量以及相应的等式约束

$$ \mathrm{minimize} \quad f_0(Ax+b) $$

该问题的 Lagrange 对偶函数是常数 $p^{\star}$。即使强对偶性成立,但其 Lagrange 对偶问题没有什么意义和用途。

现在我们对原问题作等价变形

$$ \begin{aligned} \mathrm{minimize} \quad & f_0(y) \\ \mathrm{subject\ to} \quad & Ax+b = y \end{aligned} $$

我们引入了新的变量 $y$,并且增加了新的等式约束,将原来作为目标函数的复合函数拆开了。这样,变换之后的问题的 Lagrange 函数为

$$ L(x, y, \nu) = f_0(y) + \nu^{\top}(Ax+b-y) $$

求解 Lagrange 对偶函数

$$ g(\nu) = b^{\top} \nu + \inf_y (f_0(y) - \nu^{\top} y) = b^{\top} - f_0^{\star}(\nu) $$

于是对偶问题可以描述为

$$ \begin{aligned} \mathrm{minimize} \quad & b^{\top} \nu - f_0^{\star}(\nu) \\ \mathrm{subject\ to} \quad & A^{\top} \nu = 0 \end{aligned} $$

显然,变换后的问题的对偶问题要比原问题的对偶问题更有意义。

引入新的等式约束的思想同样可以用在约束函数上面。例如,考虑问题

$$ \begin{aligned} \mathrm{minimize} \quad & f_0(A_0x + b_0) \\ \mathrm{subject\ to} \quad & f_i(A_ix+ b_i) \leqslant 0, \quad i=1,\cdots,m \end{aligned} $$

其中 $A_i \in \mathbf{R}^{k_i \times n}$,函数 $f_i: \mathbf{R}^{k_i} \rightarrow \mathbf{R}$ 是凸函数。对 $i=0,\cdots,m$,引入新的变量 $y_i \in \mathbf{R}^{k_i}$,将原问题重新描述为

$$ \begin{aligned} \mathrm{minimize} \quad & f_0(y_0) \\ \mathrm{subject\ to} \quad & f_i(y_i) \leqslant 0, \quad i=1,\cdots,m \\ \quad & A_ix + b_i = y_i, i=0,\cdots,m \end{aligned} $$

后面的步骤与之前类似,同样也是求解 Lagrange 对偶函数,并描述对偶问题。

变换目标函数

如果我们将目标函数 $f_0$ 替换为 $f_0$ 的增函数,得到的问题与原问题显然是等价的。但是,等价问题的对偶问题可能和原问题的对偶问题大不相同。

考虑最小范数问题

$$ \mathrm{minimize} \quad \| Ax-b \| $$

我们将问题重新描述为

$$ \begin{aligned} \mathrm{minimize} \quad & \frac{1}{2} \| y \|^2 \\ \mathrm{subject\ to} \quad & Ax-b = y \end{aligned} $$

隐式约束

接下来考虑一个简单的重新描述问题的方式,通过修改目标函数将约束包含到目标函数中,当约束被违背时,目标函数为无穷大。

考虑下列具有框约束的线性规划问题

$$ \begin{aligned} \mathrm{minimize} \quad & c^{\top}x \\ \mathrm{subject\ to} \quad & Ax=b \\ \quad & l \preceq x \preceq u \end{aligned} $$

原问题的对偶问题很容易就能够得到,但是特别复杂。我们换一种做法,将原问题重新描述为

$$ \begin{aligned} \mathrm{minimize} \quad & f_0(x) \\ \mathrm{subject\ to} \quad & Ax = b \end{aligned} $$

其中 $f_0(x)$ 定义为

$$ f_0(x) = \left\{\begin{matrix} c^{\top}x & l \preceq x \preceq u \\ \infty & \text{otherwise} \end{matrix}\right. $$

这样一来新问题的对偶问题则是一个更为简单的无约束问题。

Previous
Next