近期，计算与人工智能学院于银辉教授团队在IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING（SCI一区通信类最高级别）上刊发了在低秩多模态遥感目标检测研究的最新研究成果：“Low-Rank Multimodal Remote Sensing Object Detection With Frequency Filtering Experts”。该研究提出基于频域滤波专家的低秩多模态遥感目标检测方法，实现了高效、稳定的多模态遥感目标检测。

多模态数据融合是遥感图像目标检测的重要手段，不同模态数据具有不同的特征分布和优缺点，融合后能提供更全面、准确的信息。如利用图像低频分量含语义信息、高频分量含空间细节信息的特性，通过频域分解模块将多模态特征分解为高频和低频分量，再进行融合，提高了语义分割的准确性和可靠性。

多模态遥感数据存在噪声干扰、数据缺失、云层遮挡等问题，影响目标检测精度，所面临的科学挑战比理论分析更为严峻和复杂。于银辉教授团队通过设计低秩增强技术和动态光照感知Mask模块，使单个主干网络以批处理的形式无偏见且兼容地提取多模态特征方法，可实现有效的多模态数据融合。进一步的，设计频域专家编码器，通过滤除振幅噪声分量和混合特征词，融合互补特征等，结合大量的在多模态无人机遥感图像数据集、多模态卫星遥感图像数据集上实验，研究结果表明，当特定模态受到攻击或丢失时，所提的方法仍然保持较高的鲁棒性，较强抗干扰能力，研究成果为未来实现高效、稳定的目标检测提供了一种重要的科学借鉴。

图1. 低频多模态目标检测（LF-MDet）框架

绿色区域是数据交互掩码（DIM）模块，它对RGB图像和红外图像的部分区域进行掩码处理。黄色区域是一个带有低秩特征提取变换（LET）的单主干网络。蓝色区域是频域特征提取器（FEE），它由多层幅度滤波器和频域门控专家组成。

低秩多模态遥感目标检测在多个领域有广泛应用，如城市和民用应用中的交通密度检测、船舶检测、灾难响应和管理等；环境-生态监测和管理中的野生动物迁徙研究、河流和沿海地区碎片检测等；农业和林业应用中的森林管理、作物产量分析等。

论文链接：https://ieeexplore.ieee.org/document/10643097