凡事追求尽善尽美是人的天性，因而在解决实际问题的时候往往需要寻求最优的方案，尤其是在工程领域，优化更是基石，所以优化技术在工程领域有这大量的应用。

最优化问题可以分为无约束最优化问题和约束最优化问题两大类。

无约束最优化问题是求一个函数的极值问题，即 min \\ f(x) ，其中 x\\in R^n 称为决策变量， f(x)\\in R 称为目标函数。

上述问题的解称之为最优解，记为 x^* ，该点的函数值称为最优值。

如果极值问题收到了某些条件的限制，该极值问题就成为了约束最优化问题，如：

min f(x) \\\\ s.t\\ c_i(x)=0,i\\in \\varepsilon \\\\ \\ \\ \\ \\ \\ \\ c_i(x)\\geq 0,i\\in \\gamma


其中包含了等式约束和不等式约束， \\varepsilon 和 \\gamma 称为约束的指标集合。

最优化问题的分类是多样的，根据变量的取值是否连续，最优化问题可以分为：

- 连续的最优化问题

- 离散的最优化问题


根据连续问题最优化问题中函数是否连续可微，连续最优化问题可以分为：

- 光滑最优化问题

- 非光滑最优化问题


约束最优化问题中，又分目标函数和约束函数均为线性函数的线性规划问题和目标函数和约束条件中至少存在一个非线性函数的非线性规划问题。


建模：将需要解决的实际问题抽象成为数学问题。

求解：根据问题的特点，建立最优化方法，寻找问题的最优解或近似最优解的过程。

检验：一般来说得到的解为近似解，而非精确解，需要与问题精确解进行对比，缩小误差到一定范围。


1、摩根定律：A、B为两个命题，则有命题“非（A且B）”等价于“（非A）或（非B）。”

2、原命题与逆反命题同真同假。

3、 A\\Rightarrow B 命题的证明方法包含3种：

- 直接法：一步一步推演，从A得到B。

- 对位证明法：从非B开始，推断多个中间结果，最后以非A作为结论。

- 反证法或归纳法。

4、 f:X\\rightarrow Y 表示：“f是一个从集合X到集合Y的函数”

5、符号":="表示一个算术赋值操作。


1、如果不进行特别说明，向量一般指列向量。

2、子空间： \ u 表示n维空间的一个子集，如果 \ u 在向量加和运算及标量乘积运算下是封闭的，则 \ u 为n维空间的一个子空间。每个子空间都包含0向量。

3、矩阵的秩：矩阵A的秩等于它的非零子式的最高阶数；一个非奇异（可逆）的矩阵是一个行列式非零的方阵。

4、线性方程组相关知识：当系数矩阵和增广矩阵的秩相等时才有解，并解的数量与系数矩阵A的秩有关。

5、内积和范数相关知识

- 内积： <x,y>=\\sum_{i=1}^{n}x_i y_i=x^Ty

- 欧式范数： ||x||=\\sqrt{<x,x>}=\\sqrt{x^Tx}

- p范数

- 两向量内积的绝对值小于相应范式的内积。


6、线性变换：通过函数可以将一个n维空间中的向量转为m为空间中的向量。

7、特征值与特征向量，一个实对称矩阵的所有特征值都是实数，且n个特征向量都是相互正交的。



1、线段：对于n维空间中的两点x和y，如果z位于x和y之间的话，则有 z-y=\\alpha(x-y) ，x和y之间的线段可以表示为： \\alpha x+(1-\\alpha)y ，其中 \\alpha 表示(0,1)之间的实数。

2、超平面和线性簇的概念

3、凸集


1、序列与极限：收敛序列的极限唯一，任意收敛序列是有界的。

2、可微性

3、导数矩阵:

若 f(x)=\\begin{bmatrix}f_1(x)\\\\ \\cdots\\\\ f_m(x) \\end{bmatrix} ,

那么有 \\frac{\\partial f}{\\partial x_j}(x_0)=\\begin{bmatrix}\\frac{\\partial f_1}{\\partial x_j}(x_0)\\\\ \\cdots\\\\ \\frac{\\partial f_m}{\\partial x_j}(x_0) \\end{bmatrix} ,


导数矩阵（雅克比矩阵）为： Df(x_0)=[\\frac{\\partial f}{\\partial x_1}(x_0) \\cdots \\frac{\\partial f}{\\partial x_n}(x_0)]=\\begin{bmatrix}\\frac{\\partial f_1}{\\partial x_1}(x_0) &\\cdots & \\frac{\\partial f_1}{\\partial x_n}(x_0)\\\\ \\cdots & & \\cdots \\\\ \\frac{\\partial f_m}{\\partial x_1}(x_0) &\\cdots & \\frac{\\partial f_m}{\\partial x_n}(x_0) \\end{bmatrix}


如果二次可微，则对应的黑塞矩阵为：

D^2f=\\begin{bmatrix}\\frac{\\partial^2 f}{\\partial x_1^2}&\\frac{\\partial^2 f}{\\partial x_2\\partial x_1}& \\cdots & \\frac{\\partial^2 f}{\\partial x_n\\partial x_1}\\\\ \\frac{\\partial^2 f}{\\partial x_1\\partial x_2}& \\frac{\\partial^2 f}{\\partial x_2 ^2}& \\cdots & \\frac{\\partial^2 f}{\\partial x_n\\partial x_2}\\\\ \\vdots &\\vdots & \\ddots &\\vdots\\\\ \\frac{\\partial^2 f}{\\partial x_1\\partial x_n}& \\frac{\\partial^2 f}{\\partial x_2\\partial x_n}& \\cdots & \\frac{\\partial^2 f}{\\partial x_n ^2}\\end{bmatrix}


4、微分法则：链式法则

5、梯度：梯度方向为函数f在点x0处增加速度最快的方向。

6、泰勒级数