文章研究了有限时间范围内带噪声的线性二次强化学习（LQ RL）问题中的统计推断方法。针对策略梯度估计量，首次建立了中心极限定理，并提出了基于在线自助法的置信区间构造方法。该方法通过随机扰动策略梯度更新轨迹，实现了对最优策略的统计推断，同时适用于模型已知和模型未知的场景。理论分析证明了自助过程的分布一致性，并通过数值实验验证了该方法在噪声线性动态系统中的有效性。
强化学习在序列决策问题中展现出强大潜力，但现有研究多聚焦于策略优化与算法收敛性，对统计推断与不确定性量化的关注相对不足。文章针对线性二次强化学习框架，提出了一套完整的统计推断方法论，填补了该领域在策略可靠性评估方面的空白。
文章考虑有限时间范围的LQ RL问题，系统动态由线性方程描述，目标函数为二次型代价。在该框架下，最优策略可通过代数Riccati方程解析求得，这为策略梯度的理论分析提供了理想平台。
针对模型已知和模型未知两种场景，分别提出了精确策略梯度算法和零阶策略梯度算法。通过Polyak-Ruppert平均技术，获得了具有良好统计性质的策略估计量，为后续推断奠定基础。
创新性地将在线自助法引入策略梯度学习过程。该方法通过生成随机加权的策略梯度更新轨迹，构建了最优策略的置信区间。相较于传统方法，该方案具有内存效率高、支持并行计算等优势，特别适合强化学习的序列决策场景。
建立了策略梯度估计量的中心极限定理，证明了自助过程的分布一致性。在非渐近分析中，量化了自助法近似误差的收敛速度。这些理论结果为置信区间的有效性提供了严格保证。
数值实验表明，自助法构造的置信区间在多种噪声条件下均能保持接近名义水平的覆盖率。特别地，在系统噪声服从重尾分布时，通过增加智能体数量仍可获得理想的推断效果。
该方法为高风险的强化学习应用（如医疗决策、自动驾驶）提供了策略可靠性评估工具。未来可进一步拓展至非线性系统和非平稳环境等更复杂场景。