基于贝叶斯优化和强化学习的移动性管理
摘要
文章提出两种数据驱动的移动性管理方法：高维贝叶斯优化（HD-BO）和深度强化学习（DRL），用于优化蜂窝网络中的切换参数（如A3偏移和TTT）或直接选择服务小区。在伦敦真实网络部署场景中，使用Sionna射线追踪进行信道建模，实验表明HD-BO和DRL均优于3GPP标准配置（set-1和set-5）。HD-BO在样本效率上优于DRL，而迁移学习使DRL训练时间减少2.5倍。两种方法均有效减少乒乓切换和无线链路失败（RLF），适用于地面用户（GUE）和无人机（UAV）场景。
1. 引言
蜂窝网络的移动性管理面临网络密集化和用户移动模式异构性带来的挑战。传统切换机制依赖固定参数（如A3偏移和TTT），难以在不同速度和部署条件下优化性能。固定配置会导致乒乓切换增加或无线链路失败（RLF）上升。为此，文章提出两种数据驱动方法：高维贝叶斯优化（HD-BO）和深度强化学习（DRL），分别通过参数优化和无阈值决策实现自适应移动性管理。
2. 系统模型与方法
2.1 网络部署与切换机制
基于伦敦真实场景构建10个基站（30个小区）的测试环境，使用Sionna射线追踪建模信道传播。切换性能通过两个关键指标衡量：
\[ \begin{cases} \text{乒乓切换率} = \frac{\sum \mathbb{1}_{\text{PP}}}{\sum \mathbb{1}_{\text{HO}}} \\ \text{RLF率} = \frac{\sum \mathbb{1}_{\text{RLF}}}{\sum \mathbb{1}_{\text{HO}}} \end{cases} \]
其中RLF定义为SINR持续低于-8dB超过1秒的事件。
2.2 高维贝叶斯优化（HD-BO）
采用Trust Region BO（TuRBO）算法联合优化所有小区的A3偏移和TTT参数。目标函数为：
\[ \min_{\mathbf{A3},\mathbf{TTT}} w_{\text{PP}} \cdot \text{乒乓率} + w_{\text{RLF}} \cdot \text{RLF率} \]
通过构建局部代理模型和动态调整信任区域，解决传统BO在高维空间（60个参数）的扩展性问题。
2.3 深度强化学习（DRL）
基于近端策略优化（PPO）算法实现无阈值切换决策。智能体状态空间包含：
- 服务基站ID及驻留时间
- 候选基站RSRP
- 历史切换序列
奖励函数设计为：
\[ r_t = -w_{\text{PP}} \cdot \mathbb{1}_{\text{PP}_t} - w_{\text{RLF}} \cdot \mathbb{1}_{\text{RLF}_t} \]
直接输出切换动作（0/1），无需预定义A3/TTT参数。
3. 实验结果
3.1 地面用户性能
HD-BO在60km/h场景下相比3GPP set-1降低73%乒乓切换（表1）：
| 方法 | 乒乓率(%) | RLF率(%) |
|---|---|---|
| 3GPP set-1 | 48.8 | 7.4 |
| HD-BO | 13.2 | 0.0 |
DRL获得相近性能，但训练迭代次数达HD-BO的100倍以上（表2）。
3.2 无人机性能
在150m高空场景，HD-BO实现3%乒乓率和0%RLF（图1）：
图1：HD-BO在无人机场景显著优于3GPP基准
3.3 迁移学习效果
将60km/h场景知识迁移至30km/h场景：
- HD-BO性能损失仅3%
- DRL训练迭代减少2.5倍（6,200→2,400次）
证明数据驱动方法可高效适应新移动模式。
4. 结论
HD-BO在样本效率和优化性能上优于DRL，适合数据受限场景；DRL提供无参数决策灵活性但需更多训练资源。迁移学习显著提升两种方法的泛化能力，为6G异构网络移动性管理提供新范式。未来研究方向包括波束级切换和多RAT协同优化。