💡这项突破是什么?
近日，信息学院（人工智能学院）陈志泊教授课题组在林业外来入侵物种多模态精细识别研究方面取得关键突破，研究成果以“InvaderDefender: Multimodal recognition of invasive alien species via a large language model with vision-guided targeted RAG”为题，发表于人工智能应用领域TOP期刊《Expert Systems With Applications》（中国科学院一区TOP，IF=7.5）。
外来入侵物种是全球生物多样性丧失和生态系统破坏的主要驱动因素之一，对农林业经济安全构成严重威胁。实现对入侵物种的快速、准确监测，是制定有效防控策略的前提。然而，传统的形态学鉴定依赖专家经验，耗时且难以大规模推广；现有的单一视觉深度学习方法在面对自然环境下物种表型多样、背景复杂以及数据呈“长尾分布”（常见物种样本多、罕见物种样本极少）等问题时，往往难以区分形态极其相似的近似种，识别精度和鲁棒性遭遇瓶颈。
针对上述挑战，课题组提出了一种模拟生物分类学专家认知过程的“视觉识别-语义增强”两阶段多模态融合框架——InvaderDefender。该框架创新性地结合了深度卷积神经网络与大语言模型（LLM），通过引入基于小波变换的多尺度特征融合机制，强化了模型对细微纹理特征的捕捉能力；同时，设计了基于“类别感知数据重采样”与“梯度感知Focal Loss”的联合策略，有效解决了长尾数据分布导致的识别偏差问题。
在核心的语义增强阶段，团队首创了“视觉引导的靶向检索增强生成”（VGT-RAG）机制。该机制不同于传统检索方法，而是利用视觉模型的初步预测结果作为“导航信号”，从构建的入侵物种专家知识库中精准检索形态、生态及分布等关键知识，并结合用户提供的文本描述，引导GLM-4大语言模型进行类人的逻辑推理与决策。这一设计成功解决了单一视觉模态在“同谱异物”或视觉模糊场景下的识别难题。
为验证模型有效性，团队构建了首个包含20种重点林业外来入侵物种（如红脂大小蠹、美国白蛾等）的多模态基准数据集。实验结果显示，InvaderDefender在测试集上实现了99.31%的Top-1准确率和97.11%的平均精度，显著优于CLIP、Swin Transformer等当前主流模型。特别是在处理形态极度相似物种及稀有样本时，该模型展现出卓越的纠错能力与鲁棒性。
近年来，陈志泊教授团队深耕于林业人工智能与生态监测领域，致力于将前沿AI技术应用于生物多样性保护与智慧林草建设。此次成果不仅提出了一种通用的细粒度多模态分类新范式，也为开发低门槛、高精度的外来入侵物种移动监测终端提供了坚实的理论与技术支撑，对提升我国生物安全防御能力具有重要意义。
论文第一作者为信息学院（人工智能学院）2023级硕士研究生罗闻达，通讯作者为张晓宇老师和陈志泊教授，北京林业大学为唯一完成单位。该研究得到了国家重点研发计划（2023YFC2605200）的资助，同时得到了林学院石娟教授团队的大力支持和帮助。
论文链接：https://doi.org/10.1016/j.eswa.2025.130478
