用 7 周时间，把一套强化学习招新题从头做完。

理论题之前，先补地基。这套题的两个实操题都要写 PyTorch，你第一轮笔记里这部分还弱，这周只做一件事：装好环境、看懂张量与自动求导、能手敲一个最小网络。

装 PyTorch 别用 conda 慢源，直接按官网 pip 命令装。顺便跑一下 torch.cuda.is_available()：有独显返回 True 最好（五子棋题强烈建议 CUDA），没有独显就 CPU 训练，慢一点但也能跑。

这周对应招新题的理论第一部分，全部是问答。目标不是背答案，而是能用自己的话把每个概念讲出来，并各配一个例子。

八大要素那道题要求「构建完整认知体系」：建议先画一张交互闭环图（谁观察什么、做什么、环境回什么），再照着图写文字，答出来会明显更有条理。

这周是全套题里数学最重的一周，也是出题人说的「需要对数学推导有足够耐心」的地方。核心是两条线：V(s) 与 Q(s,a) 的关系，以及贝尔曼期望方程 → 最优方程的递进。

注意题目把「最优方程」和「期望方程」都列了：期望方程是给定策略 π 下的递推，最优方程里多了 max/argmax。区分清楚这两层，这道题就赢了大半。

这周是理论题的重头戏：把 SARSA 和 Q-Learning 的公式、流程、风格差异讲清楚，并彻底搞懂 On-Policy 与 Off-Policy。这是 DQN 的前置，也是面试最常问的点。

出题人问「为什么 Q-Learning 是 DQN 的基础」：Q-Learning 的更新目标只依赖状态-动作对，天然适合用神经网络来逼近 Q(s,a)，这就是第 5 周的桥。

理论收口 + 第一个实操题。DQN 三个考点（表格 Q 表为何搞不定图像、Replay Buffer 三作用、ε-greedy）都很套路化，先写明白，再上手 CartPole。

出题人给的 reward 写法（可直接抄）：

r1 = (env.x_threshold - abs(x)) / env.x_threshold
r2 = (env.theta_threshold_radians - abs(theta)) / env.theta_threshold_radians
r = r1 + r2   # 也可以自己加其他有效的 tricks

原版 Gym 2022 年停止维护、与 NumPy 2.0 有兼容问题。出题人建议直接用官方替代库 Gymnasium（完全兼容）。阈值直接用环境封装好的 theta_threshold_radians（15°）和 x_threshold（2.4）。

期中考试优先，这周 RL 主动降负载。设计上把整周留白，就是给期中留的：前面任何一周拖了进度，也在这里回补。

如果期中压力不大，这周可以把第 5 周的 CartPole 结果打磨好（多试几个 reward 写法、把曲线画漂亮），或者提前开始五子棋环境搭建。

附加题是出题人加餐的难度题（原话：本来不想出，有人强烈推荐）。主线上它是可选加分项，但做完后你整个 DQN 的理解会上一个台阶。最后两天留给打包提交。

gym-gomoku 与 Gymnasium 兼容性一般（出题人实测过）。环境出问题不要硬磕：按提示自己写一个 15×15 落子环境，可以让 AI 辅助搭，把时间留给奖励设计和训练。

11 门课按用途分三类：补基础（Python/PyTorch）、RL 主线（中文入门）、进阶（英文拔高）。每门都给了「为什么选它」和基于视频内容生成的总结与要点。

理论题的答案基本都能在网课库的视频里找到；两个实操题视频讲不到那么细，所以把论文、教材、官方文档、课件和代码仓库都按周补在这里。每篇论文给了一句话总结和对应的题目。

教材与在线书

• Sutton & Barto《Reinforcement Learning: An Introduction》（第 2 版，在线免费） —— RL 领域公认教材，招新题的贝尔曼、MC、TD、SARSA/Q-Learning 都能在对应章节找到标准定义。对应 W2–W4。
• 蘑菇书《Easy RL》在线版 —— 中文、零基础友好，第 2 章 MDP、第 4 章 MC、第 5 章 TD、第 6 章 DQN 直接对应理论题。对应 W2–W5。
• 李沐《动手学深度学习》在线书 —— 补 PyTorch 与神经网络基础，卡壳时当工具书查。对应 W1。
• Hugging Face Deep RL Course —— 免费动手课，Q-Learning 与 DQN 单元和实操题高度对口。对应 W5、W7。

必读论文（一句话总结）

• Sutton, Learning to Predict by the Methods of Temporal Differences (1988) —— TD 方法开山论文，证明单步 TD 更新比 MC 更快收敛。对应 W4「TD 相比 MC 的创新」。
• Watkins & Dayan, Q-Learning (1992) —— 证明表格 Q-Learning 收敛到最优 Q*，即题目问的「为什么 Q-Learning 是 DQN 的基础」。对应 W4。
• Rummery & Niranjan, On-Line Q-Learning Using Connectionist Systems (1994) —— SARSA 的原始出处（题目开头提到的那两位作者），在线同策略控制。对应 W4。
• Mnih et al., Playing Atari with Deep Reinforcement Learning (2013) —— 第一版 DQN：卷积网络 + 经验回放 + ε-greedy 打 Atari。对应 W5 三考点。
• Mnih et al., Human-level control through deep reinforcement learning (Nature 2015) —— DQN 定稿：加入目标网络，49 款 Atari 游戏达到人类水平，是题目引言的出处。对应 W5。
• van Hasselt et al., Deep Reinforcement Learning with Double Q-learning (2016) —— Double DQN 用两套网络缓解 Q 值高估，是五子棋进阶的第一站。对应 W7。
• Konda & Tsitsiklis, Actor-Critic Algorithms (1999) —— Actor-Critic 的理论基础：策略更新与价值估计两套组件配合。对应 W7 进阶。
• Schulman et al., Proximal Policy Optimization Algorithms (2017) —— PPO 是 Actor-Critic 家族最常用的稳定训练算法。对应 W7 进阶。
• Silver et al., Mastering the game of Go without human knowledge (2017) —— AlphaGo Zero 纯自对弈不靠人类棋谱，五子棋自对弈训练的参考思路。对应 W7。
• Barto, Sutton & Anderson (1983) —— 「小车竖杆」问题的历史源头，这篇 1983 年的论文就已在做杆平衡。对应 W5，当背景知识看。

官方文档

• Gymnasium CartPole 文档 —— 阈值、状态量、动作空间的权威说明，题目推荐的 gym 替代库。对应 W5。
• PyTorch 官方 DQN 教程 —— 官方完整的 CartPole DQN 示例（含 Replay Memory 和 ε-greedy 实现），实操题最直接的参照。对应 W5。
• Python 官方教程（中文）、PyTorch 教程 —— 补基础用。对应 W1。

课件与代码仓库

• datawhalechina/easy-rl —— 蘑菇书配套代码，SARSA、Q-Learning、DQN 都能直接跑。对应 W4–W5。
• wangshusen/DRL —— 王树森课程官方主页，讲义与代码全开源。对应 W2–W5。
• David Silver 课件、CS285 课程主页（讲义 + 作业） —— 两门英文课的官方课件。对应 W3–W5。
• rocky-d/gym-gomoku —— 五子棋环境的官方仓库，看 README 了解安装与 API。对应 W7。
• 李宏毅《深度强化学习》中文笔记 —— 社区整理的图文笔记，比视频更省时间。对应 W2–W3。

其他

• 招新题原文（飞书） —— 做题前先通读原文，本页的题目都是节选。
• 做题遇到疑问联系出题人：袁锐 · QQ 1815115587。

周计划从今天（10.11）之后的周一开始，截止 11.30。第 6 周整周留给期中考试，前面任何拖延都在那周回补。

每道题即时反馈，错了会告诉你为什么。这些正好覆盖招新题里最容易被追问的点。