损失函数与梯度下降

损失函数（loss）是一个数字，模型错得越多，它越大。训练的目标就是让它尽量小。

例：预测房价。 真实房价 y=500 万，模型预测 p=480 万。

• 均方误差（MSE）：(p − y)² = (480−500)² = 400。错 20 万罚 400，错 40 万罚 1600，错得越大罚得越狠。
• 对多套房子，把每套的误差平方求平均。

分类问题常用交叉熵：模型给正确答案的概率是 q，损失 = −log(q)。

• 正确答案概率 0.9 → 损失 0.105（很小）
• 正确答案概率 0.1 → 损失 2.303（很大）
• 概率接近 0 → 损失趋向无穷

大语言模型训练用的就是交叉熵：每一步看模型给「真实的下一个词」分配了多少概率（第 4 讲（词向量与语言模型））。

假设模型只有一个旋钮 w，损失随 w 变化是一条碗形曲线：L(w) = (w − 2)² + 1。最低点在 w=2。但模型「看不到」整条曲线，它只知道自己脚下的坡度。

梯度（一维时就是导数）告诉你：w 往右挪一点点，损失会变大还是变小、变多快。

• 梯度为正 → 往右走损失变大 → 应该往左走。
• 梯度为负 → 应该往右走。
• 所以规则是：沿梯度的反方向走。

对 L(w) = (w−2)²+1，梯度是 dL/dw = 2(w − 2)。（高中求导：x² 的导数是 2x。）

更新公式只有一行：

w_新 = w_旧 − 学习率 × 梯度

取起点 w=0，学习率 η=0.3：

看到规律了吗？每一步离 2 的距离都缩小到原来的 40%，损失从 5 一路降到接近最低值 1。而且越靠近底部坡越缓，步子自动变小。

真实模型有几十亿个旋钮，就是几十亿维的「碗」。梯度是一个向量，每个分量告诉对应旋钮该往哪拧，但公式完全一样。

学习率 η 是人定的超参数。同一个碗，三种学习率：

• 太小（0.05）：每次只挪一点点，走 8 步还远没到底，训练很慢。
• 合适（0.3）：几步就到底。
• 太大（1.05）：一步迈过最低点，到了对面更高的地方，越跳越高，发散。

手算：w=0，梯度 −4，w_新 = 0 + 1.05×4 = 4.2；梯度 4.4，w_新 = 4.2 − 4.62 = −0.42……离 2 越来越远。

实践中常用「先小后大再慢慢变小」的学习率调度（预热 + 衰减），以及 Adam 这类会自动调节每个参数步长的优化器。

损失通常是所有训练样本损失的平均。精确的梯度需要把全部数据算一遍。

• 批量梯度下降：每一步看全部数据。方向准，但数据有几亿条时一步就要很久。
• 随机梯度下降（SGD）：每一步只随机看 1 条。很便宜，但方向有噪声，路径抖动。
• 小批量（mini-batch）：每步看比如 32 或 1024 条，折中。今天几乎都用它，「batch size」就是指这个。

图是一个两参数损失的「等高线俯视图」（像地图上的等高线，中心最低）。绿线平稳直奔中心；红线东倒西歪，但大方向也是朝中心走，而且每一步便宜得多。噪声有时还帮模型跳出不好的局部低谷。

几个术语：一个 step / iteration = 一次参数更新；一个 epoch = 把整个训练集完整过一遍。1 万条数据、batch 100 → 一个 epoch 是 100 步。

真实损失面不是光滑的碗，有局部低谷、平台、鞍点。梯度下降不保证找到全局最低点，但大量实践表明，对大型神经网络，找到的「足够低」的点通常泛化很好。

• 《动手学深度学习》3.1 节「线性回归」（含损失函数、小批量随机梯度下降）：zh.d2l.ai
• 《动手学深度学习》11.4 节「随机梯度下降」：zh.d2l.ai
• 3Blue1Brown 神经网络系列（第 2 集讲梯度下降）：3blue1brown.com
• Kingma & Ba, Adam: A Method for Stochastic Optimization, 2014：arxiv.org