主页 › 范文 › 船舶海洋 › 本文

强化学习驱动的班轮航运网络设计：基于分解优化框架

摘要

文章提出新型强化学习框架解决班轮航运网络设计问题（LSNDP）。通过分解为网络设计（NDP）和多商品流（MCF）子问题，构建马尔可夫决策过程：策略网络生成航运服务，奖励函数基于启发式MCF求解器计算利润变化。在LINERLIB基准测试中，编码器-解码器模型以0.29秒推理时间（较传统方法加速1000倍）实现最高利润276,428美元（Baltic实例），对需求扰动±50%保持78,215美元平均利润，验证了方法的实时性与鲁棒性。

1. 研究背景与问题定义

班轮航运网络设计问题（LSNDP）作为NP难组合优化问题，需在港口、船舶和货运需求约束下最大化利润。传统运筹学方法面临扩展性瓶颈：Baltic实例（12港口）求解需300秒，World Small实例（47港口）需3小时。文章首次将强化学习引入LSNDP，通过策略网络参数化实现端到端优化。

2. 方法框架

2.1 问题分解与MDP建模

LSNDP分解为两阶段：

网络设计（NDP）：决策船舶服务路线（循环停靠序列）
多商品流（MCF）：在NDP定义的网络上优化货物流

NDP被建模为马尔可夫决策过程：状态Sₜ包含港口需求特征（fₚ∈ℝᴾˣ²）和船舶状态（vₜ∈ℝⱽˣᴰᵥ），动作Aₜ=[船舶类型选择Aᵥ,ₜ, 港口序列Aₚ,ₜ]。奖励函数定义为：

\[ R_{t+1} = \frac{\eta_{t+1} - \eta_t}{\eta_1} \]

其中ηₜ由MCF求解器计算网络利润。

2.2 策略网络架构

提出两种策略网络设计：

编码器-仅模型：图注意力网络（GAT）嵌入港口特征，Transformer生成无序港口集，TSP求解器输出有序服务路线
编码器-解码器模型：LSTM解码器自回归生成港口序列，概率分解为πθ(Aₜ|Sₜ)=∏τℙ(Aₜ(τ)|Aₜ(τ'<τ),Sₜ)

训练采用近端策略优化（PPO），隐藏层512神经元，学习率3e⁻⁴。

3. 实验分析

3.1 Baltic实例性能

在12港口Baltic实例上对比传统LINERLIB方法：

指标	RL方案	LINERLIB
总利润	276,428	260,948
船舶利用率	6.34艘	5.72艘
需求满足率	96.2%	94.8%

RL方案通过更高船舶利用率降低需求拒绝惩罚38万美元。

3.2 泛化能力验证

在20港口WAF和47港口World Small实例零样本测试：

实例	RL利润(百万$)	传统方法(百万$)
WAF	5.60	5.20
World Small	42.73	40.10

编码器-仅模型在大型实例表现最优，证明策略网络迁移能力。

3.3 实时性与鲁棒性

推理加速：Baltic实例推理0.22秒（较传统方法加速1363倍）
扰动鲁棒：需求±50%扰动下，增强RL代理保持78,215美元利润，较单实例训练基线提升401,005美元

4. 工程意义与未来方向

方法实现"战术级"实时网络调整：传统方法需小时级求解的扰动场景，RL代理可在秒级响应。未来工作包括：1) 用Transformer替代LSTM提升序列建模能力；2) 开发GNN替代MCF加速奖励评估；3) 整合蒙特卡洛树搜索（MCTS）增强探索效率。