先定义可观测的成功
- 将任务完成写成环境可以判断的条件,同时列出碰撞、越界、超时等终止原因。成功判定不能依赖训练时才可用的隐藏信息,部署侧观察范围也要提前明确。任务目标含糊时,先不要开始大规模训练。
辅助奖励应谨慎引入
- 距离缩短、姿态改善等奖励可以帮助学习,但可能诱导策略停留在局部行为。检查反复接近又远离、拖延终止或利用仿真漏洞是否能获得高分。为每项奖励保留设计意图和尺度说明。
训练与评测分开
- 评测使用未参与调参的场景、种子和扰动范围,报告任务成功率与约束违规情况。奖励上升而成功率不变时应检查目标是否偏离。不要反复查看评测集后继续调参,再把同一集合称为独立验收。
交付可解释的策略证据
- 保存奖励定义、环境版本、训练配置与模型检查点,附上失败轨迹和评测脚本使用方法。强化学习在仿真中通过不等于可直接控制实物,迁移前仍需受控验证与安全限制。