文章针对精准农业中作物/杂草分割任务的数据集类别不平衡问题,提出了一种基于形状和风格生成对抗网络(GAN)的数据增强方法。该方法利用DCGAN生成新作物形状,并利用条件GAN(cGAN)生成对应的多光谱风格(包括RGB和近红外通道)。在生成过程中,通过编码原始背景的风格信息,确保合成物体与背景的一致性。实验结果表明,使用增强数据训练的分割网络在公开甜菜数据集上取得了更高的mIoU(平均交并比),尤其在杂草(少数类)分割上效果显著提升。
精准农业中作物/杂草的语义分割面临两大核心挑战:首先,收集覆盖不同生长阶段和天气条件的训练数据成本高昂;其次,数据集存在严重的类别不平衡问题,杂草作为关键目标通常属于少数类。传统数据增强方法难以有效处理多光谱图像中物体随时间的形状和颜色变化,也无法适应复杂的光照条件变化。文章提出通过生成对抗网络专门合成少数类物体,在保持场景真实性的同时解决类别不平衡问题。
采用深度卷积生成对抗网络(DCGAN)生成作物形状的二进制掩码。生成器接收高斯噪声输入,输出256×256像素的二值图像,其中白色像素代表作物区域,黑色像素代表背景。该模块独立学习作物形状的分布特征,不依赖任何条件输入。
基于SPADE架构的条件GAN负责生成RGB和近红外(NIR)通道的纹理风格。生成器以形状模块输出的掩码和高斯噪声作为输入。为保持背景一致性,采用变分自编码器提取原始背景的均值和方差特征,将其作为条件信息引导土壤纹理生成。该模块通过多尺度对抗损失、特征匹配损失和VGG感知损失联合优化。
利用原始图像的标注掩码定位待替换的作物区域,将生成的形状-风格组合体无缝嵌入原始场景。对于与杂草掩码重叠的区域,采用像素级擦除策略消除冲突。合成过程特别保留茎秆位于图像中心的植物,确保生成样本的生物学合理性。
在Bonn甜菜数据集上验证方法有效性:
当使用形状-风格联合增强策略时,分割网络在作物和杂草类别上的交并比(IoU)分别达到0.94和0.41,显著优于传统增强方法(旋转/裁剪等基础操作仅获得0.76和0.37)。多光谱数据(RGB+NIR)的引入使mIoU进一步提升至0.82。
单独使用风格增强可使背景IoU达0.98,但加入形状生成后,作物分割精度从0.89提升至0.93。这表明形状多样性对改善少数类识别具有关键作用。
生成器成功学习RGB与NIR通道的关联特征,合成样本在近红外波段呈现出与真实作物一致的光谱响应模式。多尺度判别器的使用有效保障了纹理细节的真实性。
文章提出的双阶段GAN框架通过解耦形状生成与风格合成,实现了高质量的多光谱数据增强。该方法不仅能有效平衡作物/杂草数据分布,其背景一致性保持机制也显著提升了合成数据的场景真实感。在甜菜分割任务中,使用增强数据训练的模型在杂草识别精度上实现约6%的绝对提升,为精准农业中的少数类识别问题提供了新思路。