AI笔记9-深度学习概述

• 训练过程

三、求函数的最小值

y = 2x^2

从上图中可以看出x=0时，y=0为最小值。但是实际工程中，并不是所有的函数y=f(x)都能画出来，简单地找到最小值，这个时候就需要导数求最小值。

如果你和我一样忘了导数相关的知识，可以查看把以前学习的导数回顾一下。

通过回归导数求极值的步骤如下：

我以前也天真过：觉得求最小值不就是解个方程嘛，初中数学。
后来看到 Llama3-8B 的参数数量 —— 8,000,000,000 个。
我数了好几遍零，然后默默关掉了那个解方程的笔记本。
现实是：你根本没法写出那个方程组，更别说解了。
所以别再想着“毕其功于一役”了。AI 的真相是 迭代法：
走一步，看一眼，调一下，再走一步。
笨，但能跑得动。聪明，但跑不动，等于零。

• 迭代法

仍然以y = 2x^2为例，我们可以通过以下方法求得最小值。

• 代码实现

import numpy as np# 我们要求最小值的函数：一个简单的抛物线def parabola(x):    return 2 * x ** 2# 它的斜率（导数）：告诉我们应该往哪走def slope(x):    return 4 * x# 梯度下降主流程def find_valley(guess, step_size, slope_func, rounds):    pos = guess    for i in range(rounds):        pos = pos - step_size * slope_func(pos)        # 每200轮看一眼进度（可选）        if i % 200 == 0:            print(f"Round {i:3d}, 当前位置: {pos:.5f}")    return pos# 随机选个起点，就像盲人随机站在山上initial_pos = np.random.randint(-1000, 1000, 1)[0]# 设置：走1000步，每步长度0.01final_pos = find_valley(initial_pos, 0.01, slope, 1000)print(f"\n找到的谷底位置: x = {final_pos:.6f}")

以f(x,y,z) = x^2 + y^2 + z^2为例：

import numpy as np# 偏导函数组（其实可以合并，但保留结构以示清晰）def grad_x(x, y, z): return 2 * xdef grad_y(x, y, z): return 2 * ydef grad_z(x, y, z): return 2 * z# 随机初始化coords = np.random.randint(-1000, 1000, size=3)  # [x0, y0, z0]epochs, lr = 1000, 1e-2for _ in range(epochs):    # 批量计算并更新    coords[0] -= lr * grad_x(*coords)    coords[1] -= lr * grad_y(*coords)    coords[2] -= lr * grad_z(*coords)print(f"x = {coords[0]}\ny = {coords[1]}\nz = {coords[2]}")

• 代码实现(使用pytorch求函数最小值)

上述通过求导数得到函数最小值的方法，也可以通过pytorch来实现，具体代码如下：

以y = 2x^2为例

以f(x,y,z) = x^2 + y^2 + z^2为例

如果你对今天的内容有疑问，或者想提前了解某个知识点，欢迎在评论区留言，我们一起讨论、一起成长。

别忘了点赞、在看、分享给同样在学习深度学习的朋友～