2023-11-19-微积分临时框架之导数和偏导.md

链接：https://pan.baidu.com/s/1QFvTMLRiLfijFYF9_ZwOhQ?pwd=0esv

提取码：0esv

---

我承认我急了，我现在就想搞机器学习，所以追求能看懂公式即可。

函数在某一点上的极限

函数在某一点上的左极限和右极限相等当且仅当函数在某一点有极限。函数极限在自变量轴上的单变量邻域表述和双变量邻域表述其实是一回事，可以证的。

函数极限 $\lim_{x\to x_0}f(x) =L$ 意味着对任意 $\varepsilon>0$，都存在一个 $\delta>0$ 使得对任意 $0<|x-x_0|<\delta$，都满足 $|f(x)-L|<\varepsilon$。

一元函数的导数

$f'(a)=f'(x)|_a=\dfrac{{\rm d} f(x)}{{\rm d}x}|a$ 表示的都是一个意思，第三种表示更接近 导数的定义，也就是： $$\dfrac{{\rm d} f(x)}{{\rm d}x}|a=\lim{\Delta x\to 0}\dfrac{f(a+\Delta x)-f(a)}{\Delta x}$$ 例子（同样是有用的结论）： 设 $f(x)=x^n$，则 $f'(x_0)=\lim{\Delta x\to 0}\dfrac{(x_0+\Delta x)^n-x_0^n}{\Delta x}$， 而如果将 $(x_0+\Delta x)^n$ 展开，其中不含 $\Delta x$ 的项是 $x_0^n$，只含一次 $\Delta x$ 的项是 $\binom{n}{1}x_0^{n-1}\Delta x=nx_0^{n-1}\Delta x$，也就是说 $(x^n)'=nx^{n-1}$。

常规求导法则

1. $[f(x)\pm g(x)]'=f'(x)\pm g'(x)$
2. $[f(x)\times g(x)]'=f'(x)\times g(x)+ f(x)\times g'(x)$
3. $\left[\dfrac{f(x)}{g(x)}\right]'=\dfrac{f'(x)g(x)-f(x)g'(x)}{g^2(x)}$

对于 1. 可以推广到有限个函数相加的导数等于它们导数的相加。

对于 2. 的推广如下：

$\left[\prod_{i=1}^n f_i(x)\right]'=f_n'(x)\prod_{i=1}^{n-1} f_i(x)+f(n)\left[\prod_{i=1}^{n-1} f_i(x)\right]'$ ，这实际上是 $\sum_{i=1}^n \dfrac{\prod_{j=1}^n f_j(x)}{f_i(x)}f_i'(x)$

对于 3. 我们现在只做有限的推广，即：

$\left[\dfrac{1}{f(x)}\right]'=\dfrac{-f'(x)}{f^2(x)}$

链式法则

对于 $y=f(g(h(x)))$，还有另一种表达方式就是 $y=f_1(u),u=f_2(v),v=f_3(x)$，这样写并不会比前面那种方式复杂多少，但会给我们表达链式法则相关的东西提供方便，所以，链式法则是：

$$\dfrac{{\rm d}y}{{\rm d}x}=\dfrac{{\rm d} y}{{\rm d}u}\cdot\dfrac{{\rm d}u}{{\rm d}v}\cdot \dfrac{{\rm d}v}{{\rm d}x}$$ 至于更一般化的表达，相信读者可以猜出来，也可以写出来。

链式法则的起点是 $y=f(g(x))$，$y'=f'(g(x))g'(x)$，而一般化的表达是用这个基本规则推广出来的，就像我们对求导法则 2. 做的那样。

我们现在来证明链式法则。

设 $u=f_1(v),v=f_2(x)$，首先把这些东西列出来： $$\dfrac{{\rm d}u}{{\rm d}x}|{x_0}=\lim{\Delta x\to 0}\dfrac{f_1(f_2(x_0+\Delta x))-f_1(f_2(x_0))}{\Delta x}$$ $$\dfrac{{\rm d}v}{{\rm d}x}|{x_0}=\lim{\Delta x\to 0}\dfrac{f_2(x_0+\Delta x)-f_2(x_0)}{\Delta x}$$ $$\dfrac{{\rm d}u}{{\rm d}v}|{v_0}=\lim{\Delta v\to 0}\dfrac{f_1(v_0+\Delta v)-f_1(v_0)}{\Delta v}$$ 观察 $\dfrac{{\rm d}u}{{\rm d}v}|{v_0}$，首先 $v_0$ 是一个定值，那就可以写成 $f_2(x_O)$ 的形式（$x_O$ 是定值）； 其次 $\Delta v$ 就可以顺势写成 $f_2(x{O}+\Delta x)-f_2(x_{O})$ 的形式 $\Delta v\to 0$，从这个形式可以看出 $\Delta x\to 0$ 就相当于 $\Delta v\to 0$。 所以 $\dfrac{{\rm d}u}{{\rm d}v}|{v_0}$ 可以写成 $\lim{\Delta x\to 0}\dfrac{f_1(f_2(x_{O}+\Delta x))-f_1(f_2(x_O))}{f_2(x_{O}+\Delta x)-f_2(x_{O})}$ 的形式。 所以，我们要证的东西就显然了。

驻点

即导数为零的点，这个点可能是局部极大值点，局部极小值点，也可能是鞍点。

多元函数的偏导数

从几何视角来看，对于三维光滑曲面上的一点 $[x_0,y_0,f(x_0,y_0)]$，经过该点有无数条切线。

当然，我们可以关注稍微简单的对象，如 $f(x=x_0,y)$ 和 $f(x,y=y_0)$，它们分别是曲面和与 $x=x_0$ 和 $y=y_0$ 这两个无限平面的交集，实际上它们的形状分别就是在 $x=x_0$ 和 $y=y_0$ 内的一个一元函数。

偏就是偏向的意思，这样求出的就是偏导数。

而所谓偏导函数，就是像这样只考虑一个或一些维度，把曲面按照一个维度方向切分为无数个曲线，而这些曲线可以直接求导。

注意，曲面的偏导函数仍是曲面。（只是复杂度会降低，比如曲面的偏导函数可能变成平面）

偏导数定义

$\LaTeX$ 里打 \partial 就是 $\partial$，是对应于 $\rm d$ 的符号。

$f(x,y)$ 在自变量 $(a,b)$ 处关于 $x,y$ 这两个维度的偏导数分别为：

$$f_x'(a,b)=\dfrac{\partial f}{\partial x}|{x=a,y=b}=\lim{\Delta x\to 0}\dfrac{f(a+\Delta x,b)-f(a,b)}{\Delta x}$$ $$f_y'(a,b)=\dfrac{\partial f}{\partial y}|{x=a,y=b}=\lim{\Delta y\to 0}\dfrac{f(a,b+\Delta y)-f(a,b)}{\Delta y}$$

二阶偏导 $f(x)$ 在维度 $x$ 的二阶偏导一般表示为 $f_x''$ 或 $\dfrac{\partial}{\partial x}\left(\dfrac{\partial f}{\partial x}\right)$，也可写成 $(f_x')_x'$ （也有一些邪道的写成 $\dfrac{\partial^2 f}{\partial x^2}$，这种咱们还是别采用了）

二阶混合偏导 如先对 $y$ 偏导后对 $x$ 偏导，写成 $(f_y')_x'$ 或 $\dfrac{\partial}{\partial x}\left(\dfrac{\partial f}{\partial y}\right)$。

有个定理，就是如果二阶混偏连续，那么两种二阶混偏（即 $(f_x')_y'$ 和 $(f_y')_x'$）是等价的。

证明： $(f_x')y'[a,b]=\lim{\Delta y\to 0}\dfrac{f_x'(a,b+\Delta y)-f_x'(a,b)}{\Delta y}$ 展开成

$\lim_{\Delta y\to 0}\dfrac{\lim_{\Delta x\to 0}\dfrac{f(a+\Delta x,b+\Delta y)-f(a,b+\Delta y)}{\Delta x}-\dfrac{f(a+\Delta x,b)-f(a,b)}{\Delta x}}{\Delta y}$

$(f_y')x'[a,b]=\lim{\Delta x\to 0}\dfrac{f_y'(a+\Delta x,b)-f_y'(a,b)}{\Delta x}$ 展开成 $$\lim_{\Delta x\to 0}\dfrac{\lim_{\Delta y\to 0}\dfrac{f(a+\Delta x,b+\Delta y)-f(a+\Delta x,b)}{\Delta y}-\dfrac{f(a,b+\Delta y)-f(a,b)}{\Delta y}}{\Delta x}$$ 显然正确。

当然，这个二阶混偏等价的定理也可以简单地加以推广（因为这个东西本身就是类似于交换律的东西），即多阶偏导中，偏导的顺序没有分别。

曲面的驻点

即一阶偏导为零的点。

不管是对哪个维度偏导，驻点都是一样的。