公共好韩国 裸舞，今天要讲的实质是，梯度的数学旨趣和性质。

在梯度下跌算法中，咱们需要让函数的自变量，沿着函数梯度的反标的清醒：

图片

使函数值以最快的速率减小，从而找到见识函数的极小值。

但是，为什么自变量沿着梯度的反标的清醒，函数值就一定减小的最快呢？

这等于咱们要详备商榷的问题。

1.什么是梯度向量

梯度，英文是gradient，它是多元函数一齐偏导数所组成的向量。

咱们使用倒三角秀丽▽，nabla，暗示某个函数的梯度：

图片

举例，二元函数f、三元函数g和n元函数L；

它们的梯度向量，等于函数对其自变量，求偏导后，所组成的向量。

咱们以f(x， y) = x^2 + y^2为例，证实梯度的计较经由：

图片

最初，离别求出f对于x和y的偏导数，服从离别是2x和2y。

将这两个偏导数组合，就赢得了f的梯度向量(2x， 2y)。

它不错暗示，f(x， y)在职意点(x， y)上的变化标的和速率。

那么奈何雄厚这个梯度向量，(2x， 2y)呢？

最初，需要明确，梯度向量是在函数输入空间中界说的：

图片

举例，函数f(x， y)的输入空间，对应了灰色的xoy平面。

梯度向量(2x， 2y)在xoy中：

图片

为了雄厚向量(2x， 2y)，有3个步伐：

图片

1.应酬取函数上的小数P(1， 1， 2)，标记为红色；

2.将P点向灰色的x-o-y平面投影，投影点标记为蓝色；

3.从蓝色点开赴，画出向量(2， 2)，使用玄色箭头暗示。

这个玄色箭头，等于点P(1， 1， 2)的梯度向量，它在平面x-o-y上。

将不雅察的角度，调解为鸟瞰：

图片

不错进一步不雅察这个玄色的梯度向量韩国 裸舞。

2.为什么沿梯度标的清醒

想考底下这个问题：

已知二元函数，f(x， y)=x^2+y^2，

在函数上有一个红色的点P：

图片

从点P开赴，沿着哪个标的清醒，能使函数f(x， y)增大或减小的最快呢？

函数上点的清醒，等于修改函数自变量的取值，函数值会随之变化。

举例，将P点向xoy平面投影，投影点标记为P’。

P’就暗示了函数的自变量的取值，它不错在平面xoy上清醒。

对于P’的清醒标的，咱们使用玄色箭头标记。

将函数图像调解为鸟瞰角度：

图片

不错更好的不雅察到，点的清醒标的。

将函数图像调解为平视角度：

图片

不错更好的不雅察函数值的变化大小。

举例，函数上的小数P，其自变量取值为x=1，y=1：

图片

让该点向右清醒一个单元，那么不错将自变量x从1修改为2，到达P’。

此时P’的坐标是(2， 1， 5)。

咱们不错发现，清醒后函数值从2增大到了5。

3.梯度的性质

对于函数上的某小数：

要是沿着函数梯度的正标的清醒，函数值增多的最快。

要是沿着函数梯度的反标的清醒，函数值减小的最快。

成人男同

举例，对于输入点(1， 1)：

图片

要是让它沿着正梯度(2， 2)清醒，函数值增多的最快；

要是让它沿着负梯度(-2，-2)清醒，函数值减少的最快。

底下以点P(1， 1， 2)为例：

图片

让其向不同的标的清醒交流的长度，不雅察函数值的变化。

进而证实沿着梯度标的清醒，函数值会变化的最快。

最初将函数图像调解为鸟瞰角度：

图片

不错看到P点的自变量取值是(1， 1)。

开辟3个向量，(-1， 0)、(1， 0)和(2， 2)，代表自变量x和y的变化标的：

图片

它们离别暗示向左清醒，向右清醒和沿梯度标的清醒。

从P点沿着(-1， 0)、(1， 0)和(2， 2)这三个标的，清醒1个单元，不错到达A、B、C三个点：

图片

比较A、B、C这三个点的函数值，比较P点的函数值变化，就不错看出沿着哪个标的清醒，函数值变化的最快。

具体来说，从点P(1， 1)，按照向量(-1， 0)的标的，迁徙1个单元，到达A点(0，1)。

A点处的函数值为f(0， 1)=0^2+1^2=1。

图片

咱们会发现，A点函数值比较P点函数值减小了1。

这里从侧面，不雅察图像上点的清醒，不错更容易的看出函数值的变化。

从点P(1， 1)，按照向量(1， 0)的标的，迁徙1个单元，会到达B点(2， 1)。

图片

B点处的函数值是：

f(2， 1)=2^2+1^2=5，f(2， 1)比P点f(1， 1)增多了3。

终末按照梯度的标的(2， 2)，迁徙1个单元，苟简聚到达C点。

这里需要肃穆，需要将梯度调解为单元向量，进行计较。

C点的坐标：

大致在(1.707，1.707)这个位置，1.707是1+的类似值。

此时函数值为1.707^2 + 1.707^2 = 5.828，

比f(1， 1)增多了3.828，是增多的最多的。

因此，从这个例子中不错看到，一样是迁徙单元1的长度，

要是函数上的某个点，沿着该点的梯度标的迁徙，函数增长的最为迅猛。

相应的，要是沿着梯度的反标的清醒，函数值减小的最快。

图片

这等于为什么，梯度下跌算法，要沿着梯度的反标的，修改自变量的取值。

那么到这里韩国 裸舞，梯度的数学旨趣和性质，就讲已矣。感谢公共的不雅看，咱们下节课重逢。

本站仅提供存储工作，悉数实质均由用户发布，如发现存害或侵权实质，请点击举报。