主页 › 范文 › 装备训练 › 本文

MLRIP：融合军事知识的语言表示预训练模型

摘要

文章提出MLRIP军事领域预训练框架，通过改进知识掩码策略和两阶段实体替换机制解决军事文本特殊性问题。核心创新包括：1）在实体级掩码中引入事实知识预测模块，联合上下文与军事事实预测实体；2）新增关系级掩码捕获实体间战术关联；3）同实体提及替换策略解决军事术语多表达问题（如J-10/F-10）；4）基于作战规则的事实替换注入领域知识。在自建军事基准测试中，MLRIP实体分类F1达79.5%，较基线提升2.78%，关系抽取F1提升24.7%。

1. 引言

军事文本存在术语多表达（如"J-10"与"歼十"同指）、语义模糊、领域知识密集等特性，通用预训练模型面临三大局限：1）标准掩码学习无法捕获实体间战术关系；2）外部知识注入未验证军事准确性；3）忽略实体核心指代现象。文章提出MLRIP框架，首次在预训练中融合作战条令与军事知识库，构建面向情报分析、态势理解的领域专用模型。

2. 方法设计

2.1 知识增强掩码机制

改进ERNIE-Baidu的四级掩码策略：

实体级增强：对掩码实体（如"UH-60"）同时执行：
- 标准MLM预测（基于上下文）
- 事实知识预测（FKP）：根据关联实体与关系（如）重建目标实体
新增关系级掩码：掩码战术关系（如"拦截"），通过头尾实体联合预测关系词

2.2 两阶段实体替换

注入5775类军事实体的领域知识：

同实体提及替换：30%概率保留原词，35%替换为同实体别名（按词向量距离采样），35%替换为异类实体，强化指代消解能力
基于事实的替换：50%替换为作战规则库中的合规事实，50%替换为违规事实，通过真伪判别学习领域知识

2.3 模型实现

基于Transformer架构（12层/12头/768维），创新引入文本类型嵌入区分5类军事语料与7类网络语料。预训练使用512批次，在8×V100 GPU完成。

3. 军事基准数据集

构建三大评估体系：

数据集	规模	类别	任务目标
FGMET	32万样本	71类实体	细粒度实体分类
MNER	3.1万样本	12类实体	军事命名体识别
LCRECM	-	复杂关系	战术关系抽取

4. 实验结果

4.1 性能对比

较军事领域基线MERNIE显著提升：

实体分类：Macro-F1 76.51%（+4.51%），Micro-F1 79.50%（+0.78%）
关系抽取：F1 50.26%（+24.7%），精准率提升10.66%
实体识别：F1 57.46%（+0.86%）

4.2 消融实验

各模块贡献度分析：

增加关系掩码与FKP：Macro-F1提升3.08%
添加实体替换策略：Macro-F1再提0.73%
完整模型较基础版提升4.51%

5. 结论与展望

MLRIP首次实现军事事实知识与预训练的深度融合：

关系级掩码有效捕获战术实体关联
实体替换策略解决术语多表达难题
开源12万条标注军事语料推动领域研究

未来将扩展至情感分析、作战指令生成等任务，探索多模态军事知识注入。