Introduction 对偶（ duality ）是 优化 中的一个重要概念，当原问题的最小值很难求解时，我们常常将其变为对偶形式，通过求解对偶问题的最大值，从而得到原问题的最优解。我们从最简单的线性规划问题入手来介绍对偶的概念。 线性规划的下界 假设我们想要寻找一个凸 优化 问题的下界（lower bound），即寻找B≤min⁡xf(x)B\leq \min_xf(x)B≤minx​f(x)。 以线性规...

注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中的凸 优化 部分的内容进行翻译学习。 1. 拉格朗日对偶 一般来说，拉格朗日对偶理论是研究凸 优化 问题的最优解。正如我们在之前的课上看到的，当最小化一个关于x∈Rnx\in R^nx∈Rn的可微凸函数f(x)f(x)f(x)时，使得解集x∗∈R...