2026-06-03
OPD 基础介绍：为什么 LLM RL 训练会悄悄变成 Off-Policy
一篇关于 Off-Policy Drift 的入门笔记：它是什么，为什么会出现在 LLM RL 中，以及我们可以如何诊断和缓解。
一篇关于 Off-Policy Drift 的入门笔记：它是什么，为什么会出现在 LLM RL 中，以及我们可以如何诊断和缓解。
A place for research notes, reading notes, and small thoughts worth sharing.