文章提出PPO-ACT框架，将近端策略优化(PPO)与对抗课程迁移(ACT)相结合，用于研究空间公共物品博弈中的合作演化机制。该框架采用两阶段训练范式：第一阶段在高奖励条件下建立合作基础；第二阶段将知识迁移至低奖励场景。实验表明，PPO-ACT在临界增强因子区域显著优于标准PPO、Q学习和Fermi更新规则，能更早触发合作相变并维持稳定合作均衡。特别是在全背叛者初始条件下，该框架展现出强鲁棒性，验证了策略梯度方法通过价值函数传播实现时空收益协调的独特优势。
合作行为是人类社会可持续发展的核心机制。空间公共物品博弈(PGG)因其精确刻画个体与集体利益冲突的特性，成为分析多智能体合作困境的基石模型。传统演化博弈方法在模拟长期决策过程时存在局限，而深度强化学习通过连接策略梯度方法与演化博弈论有效解决了这一问题。文章提出PPO-ACT框架，首次将近端策略优化的连续策略优化能力应用于公共物品博弈，通过两阶段对抗课程迁移训练范式突破传统方法瓶颈。
考虑定义在$N=L\times L$规则网格上的空间PGG模型，采用周期性边界条件和冯·诺依曼邻域($k=4$)。每个智能体参与$G=5$个重叠游戏组，策略空间$\mathcal{S}=\{C,D\}$。合作策略向公共池贡献1单位资源，背叛策略不贡献。组$g$中个体收益函数定义为：
\[ \Pi(s^{g}_{i})=\begin{cases} \frac{rN^{g}_{C}}{k+1}-1, & s^{g}_{i}=C \\ \frac{rN^{g}_{C}}{k+1}, & s^{g}_{i}=D \end{cases} \]
其中$r>1$为增强因子，$N_C^g$为组内合作者数量。智能体$x$的累积收益为参与所有组的收益之和：$\Pi_{i}=\sum_{g\in\mathcal{G}_{i}}\Pi(s_{i}^{g})$。
PPO采用Actor-Critic架构，目标函数包含三部分：
\[ L^{PPO}(\theta)=L^{CLIP}(\theta)-\delta\cdot L^{VF}(\theta)+\rho\cdot L^{ENT}(\theta) \]
其中裁剪策略目标函数为：
\[ L^{CLIP}(\theta)=\mathbb{E}_{t}\left[\min\left(r_{t}(\theta)\cdot A_{t},\text{clip}(r_{t}(\theta),1-\varepsilon,1+\varepsilon)\cdot A_{t}\right)\right] \]
优势函数$A_t$通过广义优势估计计算：$A_{t}=\sum_{l=0}^{\infty}(\gamma\lambda)^{l}\delta_{t+l}$。Actor网络输出动作概率分布$\pi(a|s)=\text{softmax}(\mathbf{a})$，Critic网络输出状态值$V(s)$。
PPO-ACT通过两阶段课程迁移实现策略优化：
智能体状态$s_t$包含当前策略、邻居策略分布和公共池贡献状态，动作$a_t$为二元策略选择($C$或$D$)，奖励函数$R_t$定义为博弈收益$\Pi_x$。算法通过双网络架构实现策略-价值参数共享。
默认参数配置：网格边长$L=200$，折扣因子$\gamma=0.96$，裁剪参数$\varepsilon=0.2$，熵正则权重$\rho=0.001$。训练采用Adam优化器，初始学习率$\alpha=0.01$，每1000次迭代衰减50%。
半区分离初始化：当$r=4.0$时，PPO-ACT在第二阶段1次迭代内实现全局合作同步；而$r=3.0$时系统在27次迭代后陷入全背叛状态。
伯努利随机初始化：第一阶段($r=5.0$)约500次迭代后达成完全合作；迁移至$r=4.0$后，所有智能体在1次迭代内重建合作均衡。
全背叛者初始化：第一阶段通过探索-利用平衡实现振荡性合作增长；迁移至$r=4.8$后，50%智能体首轮即选择合作，10轮内达成全合作。
在增强因子$r=4.0$条件下：
临界增强因子分析表明，PPO-ACT维持合作所需$r$值最低($r=4.0$)，显著低于Fermi规则($r\geq5.1$)和PPO($r\geq5.1$)。
PPO-ACT自发形成稳定合作-背叛相分离：合作者通过紧密聚类最小化边缘暴露，背叛者围绕合作簇形成"剥削前沿"。中心合作者获得最大收益(+18.0)，边缘合作者因相邻背叛者损失2.4单位收益；与合作者相邻的背叛者获得最大剥削收益(+19.2)。
PPO-ACT框架将策略优化与课程迁移相结合，为空间公共物品博弈中的合作演化提供新方法论。实验验证其在临界参数区域加速合作相变、提升合作均衡稳定性的优势，特别是在全背叛初始条件下的强适应性。该框架揭示了策略梯度方法通过价值传播实现时空收益协调的机制，为多智能体系统设计提供新思路。未来工作将扩展至复杂网络结构和异质智能体群体研究。