神经网络与反向传播

一个人工神经元做两件事：

1. 加权求和：z = w1·x1 + w2·x2 + b。w 是权重（这个输入有多重要），b 是偏置（基准线）。
2. 激活函数：a = f(z)，把结果「掰弯」一下。

数值演示：x1=1，x2=2，w1=0.5，w2=−0.3，b=0.2。z = 0.5×1 + (−0.3)×2 + 0.2 = 0.5 − 0.6 + 0.2 = 0.1；ReLU(0.1) = 0.1。如果 b=−0.2，则 z=−0.3，ReLU 输出 0：这个神经元「没被激活」。

如果没有激活函数，每层都只是「乘一下加一下」。两层叠起来：y = w2·(w1·x) = (w2·w1)·x，还是一条直线。叠一百层也等价于一层，学不出复杂的规律。激活函数引入「弯」，很多弯拼起来就能逼近任意复杂的形状。

• Sigmoid：把任何数压到 0\~1，适合表示概率；缺点是两头太平，梯度几乎为 0。
• Tanh：压到 −1\~1，以 0 为中心。
• ReLU：负数变 0，正数不变。简单、算得快、正数区梯度恒为 1，是深度网络的主力。大模型里常见的 GELU、SwiGLU 是它的平滑变体。

把很多神经元排成一层，再把多层串起来：输入层 → 隐藏层 → … → 输出层。这叫多层感知机（MLP）。前向计算就是从输入开始，一层一层算到输出。每层的输出是下一层的输入。直觉上：浅层学简单特征（图像里的边缘），深层把简单特征组合成复杂概念（眼睛、脸）。

上节课说训练要用梯度：每个参数对损失的影响。可网络有成千上万个参数、隔着好多层，怎么算？答案是链式法则。

链式法则直觉：齿轮 A 转 1 圈带动 B 转 3 圈，B 转 1 圈带动 C 转 2 圈，那 A 转 1 圈 C 转 3×2=6 圈。影响沿链条相乘。

手算一个两层小网络

网络：h = w1·x，p = w2·h，损失 L = (p − y)²（为了好算，不加激活和偏置）。已知 x=2，y=4（正确答案），w1=3，w2=0.5。

第 1 步：前向

• h = 3×2 = 6
• p = 0.5×6 = 3
• L = (3 − 4)² = 1

第 2 步：反向（从后往前）

• 损失对输出：∂L/∂p = 2(p − y) = 2×(3−4) = −2

（意思：p 再大一点，损失就会变小）

• 对 w2：p = w2·h，所以 ∂p/∂w2 = h = 6 → ∂L/∂w2 = −2 × 6 = −12
• 继续往回传给 h：∂p/∂h = w2 = 0.5 → ∂L/∂h = −2 × 0.5 = −1
• 对 w1：h = w1·x，∂h/∂w1 = x = 2 → ∂L/∂w1 = −1 × 2 = −2

注意 ∂L/∂h 被算了一次就复用来求 w1 的梯度。这就是反向传播高效的原因：每个中间结果的梯度只算一次，从输出往输入一路传。

第 3 步：梯度下降更新（学习率 0.01）

• w2 = 0.5 − 0.01×(−12) = 0.62
• w1 = 3 − 0.01×(−2) = 3.02

第 4 步：验证：再前向一次，h = 3.02×2 = 6.04，p = 0.62×6.04 ≈ 3.745，L = (3.745−4)² ≈ 0.065。损失从 1 降到了 0.065，一步就好了很多。

训练循环就是：前向算损失 → 反向算梯度 → 更新参数 → 重复几百万次。

• 现代框架（PyTorch 等）会自动求导，工程师不用手推，但原理就是上面这几步。
• 梯度要穿过每一层的激活函数。如果像 Sigmoid 那样在两端导数接近 0，连乘很多层后梯度就消失了，这正是 ReLU 和后面「残差连接」流行的原因（第 5、8 讲会再碰到）。
• 大模型的「参数量 70B」指的就是所有 w 和 b 加起来有 700 亿个。

• 《动手学深度学习》4.1 节「多层感知机」：zh.d2l.ai
• 《动手学深度学习》4.7 节「前向传播、反向传播和计算图」：zh.d2l.ai
• Karpathy, Neural Networks: Zero to Hero（第 1 集 micrograd 从零实现反向传播）：karpathy.ai
• 3Blue1Brown 神经网络系列（第 3、4 集讲反向传播）：3blue1brown.com
• Rumelhart, Hinton & Williams, Learning representations by back-propagating errors, Nature 323, 1986：nature.com