这篇文章挺短的,因为我也不怎么会…(⊙_⊙;)…
引子
众所周知,用导数可以求一个函数的最值
如果…要求的东西不是函数呢?
比如:
$$
a^2+b^2-2ab
$$
一般的做法肯定是均值不等式:
$$
a^2+b^2-2ab \ge 2ab-2ab =0
$$
但如果复杂到均值不等式做不了呢?
大佬:“那就来一把柯西,没有一把柯西搞不定的东西,如果有,就用两把!”
当然,我们不是大佬,用一点蠢一点的办法,比如 ”偏微分“
栗子
我们会求单变量函数的最值,能不能想办法把两个变量化成一个变量呢?
不如我们先把 $b$ 当成常数,如果无论 $b$ 取何值,$a$ 原式永远在 $a$取同一个值时取到最小值,那么当原式取到最小值时,$a$ 一定等于这个值
$b$ 也是同理
这样我们只要把这两个值肝出来,问题就解决了嘛q(≧▽≦q),至于方法,肯定是求导啊
看不懂?我们来试一下:
先把$b$当成常数,求其导数:
$$
{\partial \over \partial a}\cdot (a^2+b^2-2ab)=2a-2b
$$
令其等于0:
$$
\Rightarrow a=b
$$
故$a=b$时原式取到最小值(需要讨论,此处省略)
同样地,把$a$当成常数,求其导数:
$$
{\partial \over \partial b} (a^2+b^2-2ab)=2b-2a
$$
令其等于0:
$$
\Rightarrow a=b
$$
故$a=b$时原式取到最小值(需要讨论,此处省略)
综上所述,$a=b$时原式取到最小值,为0
注意到: $d\rightarrow \partial$ 了吗?$d$ 表示常微分,$\partial$ 表示偏微分(微的都不是单变量函数了,当然得换一个)
至于为什么上面单独有一个$\partial$ ,那是因为右边那一坨太大了,怼上去不好看,所以单独拿出来,只留一个$\partial$ 在上面
本质
还是看不懂,那让我们看看偏微分的本质
函数为什么一定是一个单变量的呢?为什么不能有两个自变量呢?
当然可以,专业点,这个东西叫 二元函数
既然是个函数,就可以化它的图像啦,不如看看$f(x,y)=x^2+y^2-2xy$的图像:
这玩意变成一个立体图了!o((⊙﹏⊙))o.
联系一下一元函数取最值的情况——切线水平
不难推测,二元函数取最值的情况是:切面水平
切面水平,怎么表示呢?
显然,如果一个平面和一个曲面相切,过切点的任何一个面截这两个面所得的直线和曲线一定相切,反之亦然 (此处不严谨)
所以我们只要找两条直线就好啦~
所以我们只要找两个截面就行啦~
截面当然是沿x轴一个沿y轴一个最方便啦~
要问x轴上的截面截得的两条线的解析式当然令x等于一个固定值就行啦,y轴也一样~
把x当成常数,导数就是这个曲面在沿x截面截得的曲线的切点的斜率随y变化的关系
反之亦然
我们只需要令这两个导数等于0,就确定了水平两条相交直线,并且这两条直线还与图像相切
这样就确定了水平的切面
进而就可以求出最大值
以上部分看懂了最好,看不懂也没关系 (因为我写的也很绕(。_。))
但只要记住:
- 把一个变量当常数,求导,令导数等于0,得到一条方程
- 把另一个变量当常数,求导,令导数等于0,得到另一条方程
- ……
- 解这些方程,得到个个变量的值
- 把这些值带入原式,得到最值(此处还需讨论一下)
就可以使用了
应用
有了这么强大的工具,我们干点什么好呢?
不如来推导一下回归直线的最小二乘法的公式~
有一堆点:
$$
(x_1,y_1) , (x_2,y_2) , (x_3,y_3) … (x_n,y_n)
$$
设回归直线为
$$
y=ax+b
$$
那么原来的点在直线上就是:
$$
(x_1,ax_1+b) , (x_2,ax_2+b) , (x_3,ax_3+b) … (x_n,ax_n+b)
$$
纵坐标的方差(类似?)的n倍就是:
$$
\begin{aligned}
n\sigma^2 &=\sum_{i=1}^n (ax_i+b-y_i)^2=a^2\sum_{i=1}^n x_i^2+2ab\sum_{i=1}^nx_i-2a\sum_{i=1}^nx_iy_i+nb^2+\sum_{i=1}^ny_i^2-2b\sum_{i=1}^ny_i\
&=a^2\sum_{i=1}^n x_i^2+2nab\overline x-2a\sum_{i=1}^nx_iy_i+nb^2+\sum_{i=1}^ny_i^2-2nb\overline y
\end{aligned}
$$
当其取到最小值时,偏导数为0
对$a$求偏导:
$$
{\partial (n\sigma^2)\over \partial a} = 2a\sum_{i=1}^nx_i^2+2nb\overline x-2\sum_{i=1}^nx_iy_i
$$
令其等于零:
$$
\Rightarrow a\sum_{i=1}^nx_i^2+nb\overline x-\sum_{i=1}^nx_iy_i=0·····(1)
$$
对$b$求偏导:
$$
{\partial (n\sigma^2)\over \partial b} = 2na\overline x+2nb-2n\overline y\
$$
令其等于0:
$$
\Rightarrow a\overline x+b=\overline y \Rightarrow b=\overline y-a\overline x
$$
代入(1)式得:
$$
a\sum_{i=1}^nx_i^2+n\overline x(\overline y-ax\overline )-\sum_{i=1}^nx_iy_i=0\
\Rightarrow a={\sum_{i=1}^n x_iy_i-n\overline x\overline y\over \sum_{i=1}^n x_i^2-n\overline x^2}
$$
推导完成,完结撒花 ✿✿ヽ(°▽°)ノ✿