首个公然颁发的SAR图像目的辨认根底模子！国防

作者: [db:作者]   点击次数:    发布时间: 2025-01-22 08:38

分解孔径雷达（Synthetic Aperture Radar, SAR）作为一种基于电磁波的自动探测技巧，存在全地利、全天候的对地观察才能，已开展成为一种弗成或缺的对地观察东西，在军平易近良多范畴均有侧重要的利用。目的辨认（Automatic target recognition，ATR）是 SAR 图像智能解译的中心成绩，旨在对 SAR 图像中典范目的（平日为车辆、舰船跟飞机等目的）停止主动定位跟分类，庞杂、开放、抗衡情况下的 SAR 目的辨认要做到高精准、高迅速、强持重、省资本，依然面对良多挑衅。以后，SAR 目的辨认重要面对两个层面挑衅。技巧层面，SAR 目的辨认方式多为有监视、静态、单义务、单模子、单平台，对特定种别的检测跟分类，都须要各自的算法模子，每个义务都必需重新开端自力进修，这招致盘算冗余、算法计划周期长、泛化才能重大缺乏、高标注依附等成绩。生态层面，因为 SAR 图像数据敏理性、标注价值昂贵等要素，缺少精良的、开源的代码、评价基准跟数据生态，招致良多 SAR 目的辨认算法不开源、算法评价基准不同一、现在尚无公然的百万 / 万万级年夜范围高品质 SAR 目的辨认基准数据集等成绩。在人工智能基本模子技巧飞速开展的明天，SAR 图像解译范畴技巧翻新与开展生态亟待冲破。图 1. 种种专门的 SAR ATR 数据集跟义务。SAR ATR 包含种种成像前提（即操纵前提），如目的、场景跟传感器。但是，因为本钱较高，平日是在特定义务跟设置中网络数据集。比方，MSTAR 是 X 波段跟草地场景中的 10 型车辆目的分类数据集，SAR-Aircraft 是从三个机场跟 C 波段卫星网络的 7 型飞机检测数据集。差别的目的特点、场景信息跟传感器参数使现有算法的泛化艰苦。因而，团队旨在树立 SAR ATR 基本模子，一种用于种种义务的通用方式。为懂得决上述技巧挑衅，国防科技年夜学电子迷信学院刘永祥 刘丽教学团队提出首个公然宣布的SAR图像目的辨认基本模子SARATR-X 1.0。技巧层面：①率先发展基于自监视进修的 SAR 目的特点表现进修；②翻新性地提出了实用于 SAR 图像的结合嵌入 - 猜测自监视进修新框架（Joint Embedding Predictive Architecture for SAR ATR, SAR-JEPA），让深度神经收集仅仅猜测 SAR 图像稀少且主要梯度特点表现，无效地克制了 SAR 图像相关斑噪声，防止猜测 SAR 图像含相关斑噪声的原始像素强度信息；③研制了首个 SAR 图像目的辨认基本模子 SARATR-X（0.66 亿参数，基于 Transformer），冲破了庞杂场景中 SAR 目的特点进修对年夜范围高品质标注数据高度依附的瓶颈，年夜幅晋升了预练习基本模子的认知才能。生态层面：团队努力于为 SAR 图像目的辨认创立一个精良开源生态，以增进 SAR 目的辨认技巧疾速翻新开展。①标准跟整合已有公然数据集，构成较年夜范围 SAR 图像陆海目的辨认数据集 SARDet-180K；②为了代替 MSTAR（10 种车辆型号），耗时两年构建 SAR 车辆目的辨认数据集 NUDT4MSTAR（40 种车辆型号、更具挑衅的现实场景、数据公然、范围超越同范例数据集十倍），停止了具体机能评测；③开源相干的目的辨认算法代码跟评价基准。研讨结果以 “SARATR-X：面向 SAR 目的辨认的基本模子（SARATR-X: Towards Building A Foundation Model for SAR Target Recognition）” 跟 “猜测梯度更好：摸索结合嵌入-猜测框架的 SAR ATR 自监视进修（Predicting gradient is better: Exploring self-supervised learning for SAR ATR with a joint-embedding predictive architecture）”，被国际顶级学术期刊《IEEE Transactions on Image Processing》任命跟《ISPRS Journal of Photogrammetry and Remote Sensing》宣布。团队的代表性任务一经宣布、任命后，曾经惹起海内外偕行存眷，取得踊跃评估。引文单元包含美国空军研讨试验室、法国古斯塔夫・埃菲尔年夜学、新加坡南洋理工年夜学、北京年夜学、武汉年夜学、北京航空航天年夜学等。比方，ISPRS Journal 主编、LASTIG 试验室主任 Clement Mallet 在其论文《AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities》中以为 “SAR-JEPA [41] 初次将结合嵌入猜测框架观点利用于对地观察，专门用于 SAR 数据。（引文原文：SAR-JEPA [41] introduces the first implementation of JEPA concepts for EO, focusing exclusively on SAR data. In this paper, we combine JEPA with a versatile spatial encoder architecture, allowing a single model to handle diverse data scales, resolutions, and modalities.）”别的，该团队正在加紧研制 SARATR-X 2.0，估计参数范围 3 亿，SAR 目的切片样本范围 200 万，此中网络的数据将构成开源数据集以效劳生态建立，近期将宣布 SAR 车辆目的辨认数据集 NUDT4MSTAR。技巧计划团队旨在构建一个通用 SAR 图像目的辨认基本模子以满意实际中多样的辨认义务需要。作为首个公然宣布的 SAR 图像目的辨认基本模子 SARATR-X 1.0，该模子从年夜范围无标注 SAR 目的图像中进修到了较为通用的特点表现，冲破了传统有监视算法顺应性范围，为种种卑鄙义务的高效顺应供给基本。在系列任务中，团队研讨了 SAR 图像目的辨认基本模子的预练习集、模子架构、自监视进修跟评价基准。预练习集，所应用的预练习集包含差别的目的种别跟成像前提，以顺应种种卑鄙义务，将年夜局部开源数据集作为预练习的一局部，共归入了 14 个存在差别目的种别跟成像前提的分类跟检测数据集，作为新的预练习数据集，以摸索基本模子的潜力。表 1. SARATR-X 用于预练习的 14 个开源分解孔径雷达数据集。模子架构，采取 HiViT 架构，旨在实现更好的遥感图像空间表现，特殊是对年夜图像中的小目的。HiViT 存在 Swin Transformer 高辨别率输入的上风，且可在自监视进修的掩码图像建模中抛弃补丁进步练习效力。自监视进修，SAR 相关成像中的散斑噪声会对图像品质发生负面影响。别的，SAR 幅度图像的视觉特点不像光学 RGB 图像那样显明。因而，SAR SSL 的重要义务是进步特点进修跟目的旌旗灯号的品质。在后期任务 SAR-JEPA 中，重点研讨了怎样针对 SAR 图像特征计划自监视进修方式。SAR-JEPA 受 JEPA、MaskFeat、FG-MAE 等任务启示，这些任务应用特点空间停止自监视进修义务，而非在原始像素空间停止，这紧缩了图像空间中信息冗余，且能够进修到差别特点，如目的性子、深层语义特点。SAR-JEPA 针对 SAR 图像噪声成绩，重点在一个降噪特点空间停止自监视进修，经由过程联合传统特点算子去除散斑噪声烦扰，提取目的边沿梯度信息用于自监视，从而实当初 SAR 图像这种噪声数据中的年夜范围无标注自监视进修。其成果标明自监视进修模子机能可在差别 SAR 目的分类数据集上跟着数据量而一直增加。这推进了咱们基于年夜范围数据集构建一个通用 SAR 图像目的辨认基本模子，从而实当初差别目的、场景、传感器跟辨认义务中高效复用。因而，SARATR-X 基于 SAR-JEPA 停止练习，起首在 ImageNet 数据停止预练习，以取得更好的初始化模子多样性，第二步是应用 SAR-JEPA 中高品质的目的旌旗灯号对 SAR 图像停止预练习。图 2. 两步预练习进程。第一步是对 ImageNet 数据停止预练习，以取得更好的初始化模子多样性。第二步是应用高品质的目的旌旗灯号对 SAR 图像停止预练习，比方克制散斑噪声跟提取目的边沿的多标准梯度特点。评价义务，针对片面评价基本模子的机能需要，团队应用 3 个开源目的数据集，起首构建了一个包括 25 个种别的细粒度分类数据集 SAR-VSA，以评价所提改良办法的无效性。而后，在公然分类跟检测数据集上，对所提 SARATR-X 1.0 跟现无方法停止了片面比拟。模子机能受限于公然的 SAR 目的辨认数据集范围，研制的 SAR 图像目的辨认基本模子 SARATR-X 1.0 范围只有 0.66 亿参数，但从年夜范围无标注 SAR 目的图像中进修到了较为通用的特点表现。在多种卑鄙目的辨认义务上（8 个基准目的辨认义务，包含小样本目的辨认、持重目的辨认、目的检测等）的机能到达国际进步或许当先程度（如下图 3 所示）。在细粒度车辆 MSTAR 数据会合，它的目的分类机能优于现有的 SSL 方式（BIDFC），晋升 4.5%。别的，它在扩大操纵前提 EOCs（擦地角 EOCs-Depression、目的设置 EOCs-Config 跟目的版本 EOCs-Version）下表示精良。SARATR-X 在种种种别（多类的 SARDet-100K 跟 OGSOD、船舶 SSDD 跟飞机 SAR-AIRcraft）的目的检测下也存在竞争力，均匀晋升约 4%。而且所提方式存在精良的数据量跟参数目可扩大性，存在进一步晋升潜力。检测成果剖析，检测可视化如下图 4 所示，虚警跟漏检在 SAR 图像中很罕见，特殊是在类似的目的堆叠跟庞杂的场景。固然所提方式经由过程进修图像中的高低文信息，无效地进步了检测后果，但庞杂场景跟低品质图像的目的检测依然十分艰苦。留神力多样性剖析，对差别模子的留神力范畴停止可视化剖析，如图 5 所示，经由过程模子架构（图 a v.s. 图 b)，初始化权值（图 a v.s. 图 c）跟 SSL (图 d v.s. 图 e）改良以确保 SAR 目的辨认的留神范畴差别，包含 HiViT 架构、ImageNet 权重跟 SAR 目的特点。图 5. 差别留神头的均匀留神间隔（x 轴为留神头层数，点色彩代表差别的层，以便更好地可视化），留神间隔（Attention Distance）代表了一个接收域的范畴。可扩大性，只管掩码图像建模能够无效地随数据资本跟模子参数扩大机能，但在处置噪声数据（如 SAR）时，所提方式能否能够确保其可扩大性？图 6 从三个角度展现了试验的成果：数据集巨细、模子参数目跟练习轮数。只管预练习集包括 18 万个图像，比 ImageNet-1K 小，但在图 6（a）跟（b）中，跟着数据跟参数目的增添，卑鄙义务机能浮现明显回升曲线。这一成果标明，经由过程提取高品质的特点作为领导旌旗灯号，基本模子能够充足施展其在 SAR 目的辨认中的潜力。但因为数据量限度，模子在扩大练习轮数时偏向于过拟合。别的，SAR 图像噪声跟低辨别率进一步加剧了过拟合。图 6. SARATR-X 在数据集巨细、模子参数目跟练习轮数方面的可扩大性。固然方式受益于这三个方面，但须要留神的是，因为数据集的巨细，过年夜的练习轮数常常会招致过拟合。更多图表剖析可见原文。论文传递门SARATR-X标题：SARATR-X: Towards Building A Foundation Model for SAR Target Recognition期刊：IEEE Transactions on Image Processing论文：https://arxiv.org/abs/2405.09365代码：https://github.com/waterdisappear/SARATR-X年份：2025单元：国防科技年夜学、上海人工智能试验室作者：李玮杰、杨威、侯跃南、刘丽、刘永祥、黎湘SAR-JEPA标题：Predicting gradient is better: Exploring self-supervised learning for SAR ATR with a joint-embedding predictive architecture期刊：ISPRS Journal of Photogrammetry and Remote Sensing论文：https://www.sciencedirect.com/science/article/pii/S0924271624003514代码：https://github.com/waterdisappear/SAR-JEPA年份：2024单元：国防科技年夜学、上海人工智能试验室、南开年夜学作者：李玮杰、杨威、刘天鹏、侯跃南、李宇轩、刘振、刘永祥、刘丽