文章提出了一种结合YOLOv11-OBB目标检测与Donut文档理解Transformer的混合框架,用于从2D工程图纸中提取结构化信息。通过内部标注的1,367张图纸训练YOLOv11检测九类关键注释(如几何公差、表面粗糙度等),裁剪出11,469个图像块微调Donut生成JSON输出。实验对比单一模型与类别专用模型的性能,结果显示单一模型在精确度(94.77%)、召回率(100%)和F1分数(97.3%)上全面领先,幻觉率降低至5.23%。该框架显著减少人工干预,支持高精度制造业的数字化工作流。
二维工程图纸包含几何公差、材料规格等关键制造信息,传统人工提取方式效率低且易出错。现有OCR方法在复杂布局和重叠符号场景下性能显著下降。文章提出混合深度学习框架,通过目标检测与文档解析协同实现结构化信息提取,消除传统OCR的文本分割依赖。
框架采用级联架构:首先训练YOLOv11检测定向边界框(OBB)定位九类注释区域,包括几何公差、表面粗糙度等关键特征。基于1,367张标注图纸生成11,469个裁剪图像块,通过数据增强扩展至6,000个样本。第二阶段采用Donut模型解析图像块内容,直接输出结构化JSON数据,避免传统OCR的分割错误。
评估两种Donut训练方案:单一综合模型(处理所有类别)与九类专用模型。使用交叉熵损失和Adam优化器,批大小为1,训练30轮次。关键指标包含精确度、召回率、F1分数及幻觉率(虚假预测比例)。
单一模型展现全面优势:在几何公差类别实现94.77%精确度,多数类别召回率达100%,综合F1分数97.3%。相较专用模型,表面粗糙度解析F1提升15.5%,标题块提升17.2%。幻觉率显著降低,如表面粗糙度从34.6%降至10.3%。材料与通用公差类别因样本不足仍有较高幻觉率(>66%),反映数据均衡性的重要性。
结构化JSON输出可直接集成至CAD/CAM系统,支持数字化制造流水线。框架采用模块化设计,可扩展新注释类别。未来需优化低质量图纸的鲁棒性,并提升欠表征类别的解析精度。