跑不出来的时候，先看这张表

那张表

为什么「奖励层」排第一

这是这本书最想留给你的一条实践判断，值得单独说：

三个问题

如果这张表太长记不住，就记这三个问题。按顺序问，绝大多数事故会当场现形。

① 它真的能拿到奖励吗

最容易被跳过的一步，也是最便宜的一步。

# 五分钟，能省你几天的算力
hits = 0
for ep in range(1000):
    s, _ = env.reset()
    total = 0
    while True:
        s, r, term, trunc, _ = env.step(env.action_space.sample())  # 纯随机
        total += r
        if term or trunc: break
    if total > 0: hits += 1
print(f"随机策略 1000 局里拿到正奖励 {hits} 次")

如果是 0 次，别开训。先解决探索问题——课程学习、几条人类演示、势函数塑形，随便哪个都行，但必须先解决。（第 21 章）

② 它拿到的是我想给的那个吗

去看录像。

这一条没有替代品。奖励黑客在数值上是完美的——目标函数确实被最大化了，而且往往比正常行为最大化得更彻底、收敛得更快。

唯一的检测手段是把它渲染出来看一眼。三十秒，能省你三天。（第 20 章）

③ 有没有一种更省事的活法能拿更多分

这一问是唯一一个你必须替它想的——因为它一定会想到。

逐项过一遍你的奖励函数，问：这一项能被无限刷吗？特别警惕这三类写法：

• 只看某一时刻的状态 → 改成按时间积分（第 20 章那个 bug）
• 奖励某个可逆的状态变化（靠近、拿起、进入某区域）→ 改成势函数形式 γΦ(s') − Φ(s)
• 用一个能无限重复的事件计数（撞到补给、碰到球）→ 加冷却，或者每个只算一次

全书，一页

最后

这本书的主线是两句话，现在再念一遍：

前十八章那些算法会过时。DQN 已经很少有人用了，PPO 迟早也会被换掉，今天的 SOTA 五年后大概率只剩历史意义。

但那两句话不会过时。因为它们说的不是某个算法的性质，是「用一个数字去表达一个意图」这件事本身的性质。

而这件事的适用范围，比强化学习大得多：

• 你给团队定的 KPI，和团队实际会做的事
• 推荐算法优化的点击率，和用户实际想要的内容
• 游戏里的日常任务奖励，和「玩家玩得开心」
• 考试分数，和「学会了」

每一条都是同一个结构：一个说不清楚的真实目标，一个可度量的代理指标，和一个会精确最大化后者的优化器。

经济学管这个叫古德哈特定律。强化学习只是把它加速了几百万倍——人类员工优化 KPI 要几个月，agent 几分钟就能把你的奖励函数榨干，然后把结果摆在你面前。

所以这本书最后想留下的，是一个习惯，而不是一套知识：

每次你写下一个「什么算好」的定义之后，停三秒，问一句：有没有一种更省事的活法，能拿到更高的分？

如果有，那它一定会找到。不是因为它坏，是因为它在做你让它做的事。