近日，我院闫硕教授联合石河子大学董合干副教授在Computers and Electronics in Agriculture发表研究论文A Lightweight Method for Apple Disease Segmentation Using Multimodal Transformer and Sensor Fusion。该成果针对当前作物病害识别在复杂环境下精度低、部署难、泛化差等问题，提出了一种融合多模态感知、具备轻量化部署能力的病害识别框架，为数字农业和植保自动化提供了关键技术支撑。

在农田实际管理中，病害识别往往受限于复杂的光照、叶片遮挡、病斑相似等干扰因素。传统图像模型（如CNN）虽有较好性能，但在实际部署时受制于算力和数据泛化能力。针对此类难题，该研究团队基于Transformer架构设计了“Multi-SegFormer”多模态分割模型，将图像数据与环境传感器信息（温湿度、气压、土壤温度等）进行联合建模，从根本上提升了模型的稳定性和精准度。研究中提出的模型融合三大核心模块：1. 图像预处理分割模块：提前突出病斑区域、压缩背景冗余；2. 时序扩散机制：增强遮挡场景下的连续感知能力；3. 多尺度交叉注意力机制：实现不同模态间语义特征的深度融合。

图一：模型架构图

该研究部分高质量数据采集工作得益于四川省凉山州盐源苹果科技小院的落地实践。研究团队成员宋一泓、李澈、蒋沁宏等研究生在小院实地驻扎生活，从2024年6月至10月，持续开展果园实地调研、图像采集和传感器布点工作。

图二：研究生于盐源苹果科技小院学习劳作图

在对比实验中，该研究团队将所提方法与Mask R-CNN、SegFormer、Swin Transformer等主流模型进行了系统对比。结果显示：多模态模型准确率高达96%，F1分数达到0.95，领先现有方法；经剪枝压缩后，模型大小降至76.4 MB，仍保持93%准确率；在NVIDIA Jetson Orin等边缘计算平台上，推理速度达39.6 FPS，可实现实时识别。该模型不仅在图像质量受限场景中保持稳定性能，在疾病边界模糊、光照干扰明显、症状轻微的情况下也表现出较高的置信度。

图三：不同模型间比较示意图

该研究得到了国家重点研发计划“农业重大新发入侵物种应急处置储备技术与产品研发”（2024YFC2607600）和中国电信支持盐源县苹果产业升级和产品能力提升项目（HQDX02400376GCN00）的大力支持，是项目“农业重大新发入侵物种应急处置储备技术与产品研发”课题间协作的成果。论文通讯作者为我院闫硕教授与石河子大学董合干副教授。24级硕士研究生宋一泓和19级本科毕业生李曼州为共同第一作者，本科生周子喆、张嘉鹤，博士研究生蒋沁宏，硕士研究生李澈参与了该项工作，我院杜相革教授、董民副教授，盐源县职业技术中学胡远涛，盐源县苹果研究所余秋林、王冬梅对该项工作给予了重要指导。

论文链接：https://www.sciencedirect.com/science/article/pii/S0168169925008439?dgcid=author