改进PanNet夜光超分辨率

改进PanNet的多模态影像融合方法用于夜光超分辨率重建
摘要：夜光遥感影像在城市规划、环境监测和经济分析等领域具有重要价值。然而，现有的单模态超分辨率方法在细节还原和真实光照分布重现方面存在显著不足。我们提出了一种改进的 PanNet 模型，充分利用夜光影像与多光谱影像的互补性，融合夜光影像中捕捉的人类活动空间信息和多光谱影像的丰富光谱特征，实现了更精确的细节恢复和更高的分辨率提升。改进的模型引入了二维通道注意力融合模块（SqueezeAndExciteFusionAdd2D），专门针对全色数据与夜光数据的特征融合需求，有效增强了夜光数据中的重要信息。此外，在损失函数中加入了空间结构损失（Spatial Loss），以确保融合结果在空间细节上的一致性。实验结果显示，改进的 PanNet 模型在峰值信噪比（PSNR）和结构相似性（SSIM）等多个指标上取得了显著提升，分别达到 41.798 和 0.965，显著优于其他对比模型。消融实验验证了融合模块和损失函数改进的有效性。我们的研究为夜光遥感影像的超分辨率重建提供了一个有效的解决方案，能够更准确地反映地物的空间分布特征，提升影像的细节丰富性、光照强度和空间结构的保真度。
关键字：夜光遥感影像；超分辨率；PanNet模型通道注意力融合；空间结构损失；细节恢复
引言
已知夜光遥感数据在城市规划、环境监测、能源消耗估算以及经济活动评估等领域已成为不可或缺的资源，通过捕捉人造光的空间分布，夜光数据在全球范围内为人类活动和城市化进程提供了独特的视角。这使研究人员和政策制定者能够以前所未有的细致度分析人口分布、基础设施发展以及社会经济动态【Zhou et al., 2015】。然而，现有的夜光数据主要来自卫星，如国防气象卫星计划的操作线扫描系统（DMSP-OLS）和可见光红外成像辐射仪（VIIRS），其空间分辨率较低，这在城市内部研究、小尺度基础设施监测和详细环境评估等应用中表现出明显的不足【Elvidge et al., 2013; Zhao et al., 2018】。因此，提升夜光影像的空间分辨率已成为关键研究焦点，以进一步挖掘夜光数据的应用潜力。
传统的插值方法如双线性和双三次插值常被用于夜光影像的上采样，但这些方法容易引入伪影且难以保留高频细节，从而导致影像模糊，缺乏清晰的边缘和细致的纹理【Wang et al., 2004; Román et al., 2020】。为了克服这些不足，研究者们逐步引入先进的超分辨率（SR）技术。稀疏表示方法尝试通过训练数据中的稀疏特征来重建高分辨率图像，虽在细节保留和视觉质量提升方面有所改进，但计算量大，且高度依赖训练样本质量和代表性【Gao et al., 2006】。
深度学习的迅猛发展推动了超分辨率方法的进步。卷积神经网络（CNN）在捕捉低分辨率和高分辨率图像之间的复杂非线性映射上表现出色。诸如超分辨率卷积神经网络（SRCNN）【Dong et al., 2015】、超深超分辨率网络（VDSR）【Kim et al., 2016】和高效子像素卷积神经网络（ESPCN）【Shi et al., 2016】等开创性模型在图像超分辨率任务中显著提升了技术水平。在夜光数据应用中，深度学习模型通过学习夜间影像中内在模式和空间依赖性来增强空间分辨率。然而，夜光数据的高动态范围、稀疏性以及对光污染和大气条件的敏感性增加了建模的复杂性。此外，缺乏高分辨率的标注数据集和深度模型的高计算成本也限制了模型的泛化能力和实际应用【Li et al., 2013】。
多模态数据融合是一种有前景的策略，通过将夜光数据与其他遥感数据源（如Landsat-8的高分辨率光学影像）结合，能够利用额外的空间和光谱信息提升超分辨率效果，利用多数据源的互补特性，提升了高分辨率夜光影像的重建精度【Zhou et al., 2018】。基于这一点，本研究提出了一种改进的全色锐化网络（PanNet）融合框架，用于日夜遥感数据的集成，应用注意力机制将Landsat-8全色波段数据中的高频细节与低分辨率VIIRS夜光数据融合，从而解决单模态超分辨率方法的局限性。
本研究的主要贡献包括：1）开发二维通道注意力融合模块（SEFA2D），该模块增强了关键夜光信息，有效应对了融合不同模态特性数据的挑战；2）在损失函数中加入空间结构损失以增强融合结果的空间细节一致性；并在峰值信噪比（PSNR）和结构相似性（SSIM）等指标上实现显著提升。3）全面的实验验证：我们对所提方法与多个先进的超分辨率技术进行了广泛对比实验。结果表明，该方法在峰值信噪比（PSNR）和结构相似性（SSIM）等指标上实现了显著提升，确认了所提方法的有效性和优越性。值得注意的是，改进后的PanNet模型分别达到了41.798的PSNR和0.965的SSIM，显著优于其他对比方法。
本研究为夜光遥感影像的超分辨率重建提供了一种新颖且有效的解决方案。通过精确反映地物的空间分布并增强影像细节的丰富性，本文提出的方法在城市规划、环境监测和经济分析等应用中具有广泛的潜力。该方法满足了对高分辨率夜光数据的迫切需求，为更精确和细致的研究奠定了基础，能够有效支撑政策决策并助力可持续的城市发展。
改进PanNet网络结构
近年来,基于深度学习的图像融合方法取得了显著进展,Yang等[13]提出基于泛锐化的两个目标:光谱和空间保存的深度模型---PANNet。该方法充分利用了高频信息在图像融合中的重要作用,通过高通滤波提取全色图像和多光谱图像的高频信息,并利用深度学习学习这些高频信息之间的映射关系。PANNet采用残差网络架构,在高空间分辨率多光谱图像的高频信息与上采样后的原始多光谱图像融合后,生成最终的融合图像。图1为深度模型PANNet的高级概要。与传统方法相比, PANNet能够同时提取光谱信息和结构信息,显著增强了不同成像值范围的卫星图像处理能力。同时, PANNet还设定了优化目标损失函数,以提升高通滤波信息的获取和利用效率，目标损失函数如式1所示：
L=||g_w (G(P),G(M)↑+M↑-X ̂ )| |_F^2 (1)
这个损失函数通过计算预测图像与理想图像之间的误差，指导模型在训练过程中不断调整参数，使得预测图像逐渐接近理想的高分辨率多光谱图像。其中，g_w代表一个ResNet神经网络，w是其参数, G表示获取图像高通滤波信息的处理，P是全色图像 M↑ 是上采样后的低空间分辨率多光谱图像，X ̂是理想的高空间分辨率多光谱图像。

图 1基于 PanNet 的遥感图像融合网络架构
Fig.1 Network architecture of remote sensing image fusion method based on PanNet
由于PANNe网络只能在单一传感器上进行影像融合，导致其在场景信息量、分辨率和光谱方面表现出一定的局限性[14]。通过改进PANNe网络，以融合不同传感器获得不同类型的影像，可以显著提高同一区域数据的准确性和技术的丰富性[15]。这一改进对基于深度学习多源遥感影像融合模型应用具有重要意义。
改进PanNet网络的多模态融合方法
网络整体结构如图二所示,该改进模型延续了PanNet的核心思想，通过融合全色图像（PAN）、多光谱图像（MS）和夜间图像（Night）实现夜光遥感影像超分辨率重建。模型利用PAN、Night的高频信息、MS的丰富光谱信息，以及Night光谱作为模型输入，输入层接收这些不同来源的图像，首先通过初始卷积层提取PAN和Night高频图像的特征，得到64通道的特征图。随后，这些特征图被送入各自的Squeeze-and-Excitation（SE）模块，以增强重要通道的特征，使模型聚焦于不同图像中的显著细节。接着，处理后的PAN和Night特征图在融合模块中拼接，通过加权融合进一步结合两者信息。实现自适应的信息互补，从而提升最终输出图像的质量与细节保真度。融合后的特征图经过最终卷积层，生成输出图像，并与上采样后的多光谱图像MS和夜间图像（Night）逐元素相加，最终实现夜光遥感影像的超分辨率重建。

图2 网络总体结构
Fig.2 Overall structure of the network
改进二维通道注意力融合模块（SEFA2D）
在融合阶段中，通过SEFA2D模块自适应加权融合不同模态，夜间图像和全色图像的高频的特征图，增强多源图像信息的融合效果。SEFA2D模块由SqueezeAndExcitation2D及FusionAdd2D组成。SqueezeAndExcitation2D核心功能是通道注意力机制，通过全局平均池化（Global Average Pooling）操作，模型能够捕捉输入特征图的全局信息，并通过两个全连接层（卷积层）来生成每个通道的加权系数，从而使得模型能够聚焦于重要的通道特征，抑制不重要的通道。FusionAdd2D在 SqueezeAndExcitation2D 的基础上，进一步实现了加权融合 两个特征图的功能。输入的两个特征图分别通过 SE 模块进行处理，得到增强的通道特征，然后这两个经过处理的特征图被拼接，并通过一个融合模块计算出加权系数，再将这两个特征图进行加权融合。最终，输出是加权融合后的特征图。
SqueezeAndExcitation2D
输入形状为(B,C,H,W) 特征图x，首先，通过全局平均池化操作，对输入的每个通道C进行降维处理，生成一个标量表示每个通道的全局信息。全局平均池化操作如式(1)：
Z_c=1/(H×W) ∑(i=1)^H▒∑(j=1)^W▒x_(c,i.j)
其中，x_(c,i.j)表示输入特征图x中第c个通道在位置i.j的像素值。通过对空间维度H×W求平均，得到一个每个通道的全局特征Z_c，其形状为(B,C,1,1)，也就是每个通道在空间上的平均值。最终输出是一个形状为(B,C,1,1)的张量，即每个通道被压缩为一个标量。接下来，使用两个全连接层(1x1卷积)对池化后的全局信息进行处理，分别进行降维(压缩特征)和恢复维度(恢复通道数)。这些卷积层的目标是通过学习一个非线性的映射，生成通道的加权系数。
FC_1:Conv2d(C,C/reduce,1)
通过这个 1x1 卷积层，特征维度从C降到C/reduce（本文选择C=64和 reduction=32，输出通道数为 2）。这一步的作用是压缩通道数，减少计算量，同时保留重要的通道信息。接着，通过ReLU激活函数进行非线性变换：ReLU(FC1(x))，使得模型能够学习更加复杂的模式。
FC_2:Conv2d(C/reduce, C,1)
使用第二个1x1卷积将特征维度恢复回原始的通道数C。这个卷积层使得模型能够生成每个通道的最终加权系数。再通过Sigmoid激活函数对每个通道的加权系数进行归一化，使得输出在 0到 1之间，如式
weighting=σ(FC2(ReLU(FC1(z))))
其中，σ是Sigmoid函数，用于确保生成的通道权重在0到1之间，这个权重表示每个通道对最终特征图的贡献程度。最终，weighting的形状为 (B,C,1,1)，表示每个通道的注意力权重。接下来，利用学习到的通道权重w_c，对原始输入特征图x进行加权。
〖x ̂_c=x〗_c∙w_c
其中，x ̂_c是加权后的特征，〖x〗c是输入特征图的第c个通道，w_c是对应通道的加权系数。这个操作会根据权重系数放大或缩小每个通道的特征响应。最终输出特征图为：
x ̂=α⋅(x⋅w)+β⋅x
其中，α和β是可学习的参数（通常是1和0）。这两个参数控制了加权后的特征图和原始特征图的结合方式。通常，α用于控制加权特征的重要性，而β控制原始特征的保留程度。这整个过程通过加权机制优化了通道级别的特征表达，使得模型能够更加关注关键的通道特征，从而提高最终夜光超分辨率任务的表现。
FusionAdd2D
FusionAdd2D模块基于 Squeeze-and-Excitation (SE) 模块，在其基础上引入了加权融合机制。首先将SE 处理后的特征图se_1和se_2在通道维度C上进行拼接，得到一个新的特征图x_cat，形状为(B,2C,H,W), 通道数翻倍,即得到一个更大的特征图。对拼接后的特征图x_cat进行全局平均池化操作，得到一个形状为(B,2C,1,1)的张量。接下来，将池化后的特征图输入到一个全连接网络（由两个 1x1 卷积层）来计算每个通道的加权系数。第一层 FC_1将通道数从2C压缩到C/reduce（即C/32），第二层 FC_2将通道数恢复到2（分别对应两个输入特征图的加权系数），最后，通过 Softmax 操作归一化计算出的权重，使得所有加权系数的总和为 1。计算得到的加权系数为w_1和w_2 ，分别对应se_1和se_2 的权重。最终，得到的输出特征图x ̂是两个输入特征图加权融合的结果。
w_1,w_2=Softmax(FC(w))
x ̂=w_1⋅se_1 +w_2 ⋅se_2
损失函数
原模型采用了常见的均方误差损失（MSE Loss）和光谱映射均方误差损失（MSMGT Loss）进行优化，这两者能够有效改善图像的全局质量，尤其在平滑误差和细节恢复方面表现良好。然而，MSE 和 MSMGT 在捕捉图像局部空间结构特征上存在局限。为提升图像细节和真实感，优化后模型在损失函数中加入了空间结构损失（Spatial Loss）。
SSIM(P ̂,G)=((2μ_x μ_y+C_1)(2σ_x+C_2))/((μ_x^2+μ_y^2+C_1)(σ_x^2+σ_y^2+C_2))
L_Spatial=1-SSIM(P ̂,G)
总损失 L如式所示，它是均方误差损失、光谱映射均方误差损失和空间结构损失的线性组合，且各部分的损失权重比为 1:1:1。通过最小化 L训练本文提出的优化模型
L=L_MSE+L(MSMGT )+L_Spatial
研究区概况
武汉市是中国湖北省省会和国家中心城市，作为中国中部的经济中心和交通枢纽，城市化发展迅速，夜间光亮特征显著。丰富的地理特征和多样的土地利用类型使其成为理想的高分辨率夜光遥感研究区域。高分辨率夜光遥感数据可以更精确地反映经济活动的空间分布和变化，为城市规划和管理提供更详细的科学依据。武汉市的快速发展带来了巨大的城市规划需求，研究其高分辨率夜光遥感数据可以为其他城市提供更有价值的借鉴。

图三：研究区概况
Fig3：Overview of the study area
数据预处理
本研究利用了三个不同的数据集：覆盖武汉和广州的云量低于10%的Landsat-8 OLI影像（2020年），500米分辨率的NPP-VIIRS年度VNL V2夜间灯光（NTL）月度合成数据[18]，以及珞珈1号夜间遥感卫星数据。
Landsat-8 OLI数据
Landsat-8 OLI多光谱影像由美国地质调查局（USGS）提供（https://earthexplorer.usgs.gov/），多光谱波段的空间分辨率为30米，全色波段为15米，重访周期为16天。该数据采用UTM-WGS84坐标系，包含11个光谱波段。由于云量限制，在同一时间窗口内无法获取合适的影像，因此选取了2020年9月至11月期间的四幅影像，分别为行号P12238、P123R38、P123R39和P123R40。考虑到地物在短期内变化不大，该数据选择方式被认为合理。
Landsat-8 OLI数据的预处理：1）无缝镶嵌：在ENVI 5.3中使用无缝镶嵌模块（Seamless Mosaic）以生成连续的影像镶嵌。2）感兴趣区域（ROI）提取：在ENVI 5.3中使用ROI模块，根据武汉市的行政边界裁剪影像。3）辐射校正和大气校正：应用ENVI 5.3的辐射校正（Radiometric Calibration）和FLAASH大气校正模块，进行辐射归一化和大气校正。
NPP-VIIRS夜间灯光数据
NPP-VIIRS月度VNL V2 NTL产品由地球观测组（EOG）提供（VIIRS Nighttime Light (mines.edu)），经过云量和光污染过滤，空间分辨率为500米，采用UTM-WGS84投影。为本研究选择了2020年10月的武汉市NPP-VIIRS NTL数据。
NPP-VIIRS数据的预处理：1）重投影：在ENVI 5.3中使用重投影模块（Reproject Raster）以使NTL数据的投影与Landsat-8 OLI数据一致。2）ROI提取：在ENVI 5.3中应用ROI模块，将NTL影像裁剪至武汉市的行政边界范围，以确保与Landsat-8 OLI数据的一致性。
珞珈1号（LJ-01）夜间遥感数据
珞珈1号是全球首颗专业夜间灯光遥感卫星，配备宽视野、高灵敏度的NTL相机，分辨率达130米，拍摄宽度为260千米。在理想条件下，该卫星每15天可获取一次全球NTL数据，数据可通过珞珈1号数据门户获取。本研究选择了2020年8月的广州LJ-01 NTL数据。
LJ-01数据的预处理：1）辐射校正：由于LJ-01数据为未校准数据，使用ENVI 5.3的波段运算模块（Band Math）进行辐射校正，并应用亮度转换公式b1×3.02×10−10b1 \times \frac{3.0}{2} \times 10^{-10}b1×23.0×10−10。2）重投影：在ENVI 5.3中使用重投影模块，将数据的投影调整至与Landsat-8 OLI数据一致。3）ROI提取：在ENVI 5.3中应用ROI模块，将NTL影像裁剪至武汉市行政边界范围，确保与Landsat-8 OLI数据的对齐。
数据对齐
夜间灯光（NTL）数据与Landsat-8 OLI影像在数据类型和存储格式上存在固有差异。简单归一化（将不同波段映射至0至1的公共范围）可能会削弱NTL波段中独有的信息。因此，本研究采用线性变换，将32位浮点NTL数据转换为16位深度，以与Landsat-8 OLI波段规格对齐。这种方法通过利用NTL波段中的细节信息，增强了全色锐化过程的效果。
NTL数据的空间分辨率为500米，而Landsat-8 OLI的全色波段分辨率为15米。本研究的目标是实现8倍超分辨率，生成分辨率为60米的超分辨率（SR）NTL图像。使用ENVI 5.3的Resize Data模块，将全色单波段影像使用双线性插值法重采样至60米。同时，将NTL、绿波段和红波段重采样至480米。最后，NTL、绿、红和全色图像被保存为单波段TIFF文件。
模型实现与训练
模型使用pytorch框架实现，并在Google Colab云平台上的NVIDIA T4 GPU上运行。数据预处理后，训练过程中设定50个epoch，批量大小为16，学习率为0.001。图像块尺寸为50×50像素（共3,000个块），自动划分为80%用于训练，20%用于验证。预测时，测试图像被裁剪为200×200像素大小。
比较分析
为验证本研究方法的有效性，我们选取了八种具有代表性的单模态图像超分辨率技术进行比较分析。这些方法包括：2017年由Ledig等人提出的SRAGAN，该方法首次将生成对抗网络（GAN）应用于超分辨率任务中以提升图像真实感；同年由Lim等人提出的EDSR，通过优化网络架构和训练策略提升了图像质量；2019年Kim等人提出的DRCAN，通过深度递归卷积网络设计提高了卫星影像的分辨率和质量；2020年由Liu等人引入的DSSR，采用创新网络结构进一步提升遥感图像的超分辨率效果；2021年Wang等人开发的SRAGAN，在GAN基础上进一步增强了卫星影像的细节和质量；2022年由Zhang等人提出的NDSRGAN，通过新的网络设计和训练策略实现了优异的超分辨率性能；同年Li等人提出的AMSSRN，以多尺度方式提升不同尺度卫星影像的分辨率和图像质量；以及2023年Meng等人提出的SRADSGAN，通过进一步优化的生成对抗结构，提升了自然图像的超分辨率效果。这些方法均在相同数据集和原始模型参数设置下进行评估，确保对比结果的公平性，以系统地验证本方法在图像细节恢复、清晰度和光谱一致性等方面的性能优势。
实验结果与分析
评价指标
实验分别选取了武汉市夜光遥感数据(NTL)DN值较高和DN值强度较低的两个区域进行研究分析，通过主观视觉结果和客观评价指标来评估各种融合方法的效果。
实验客观评价指标选取相对无量纲全局误差（ERGAS）、峰值信噪比（PSNR）、图像质量指数(UIQI)、相关系数(CC)、结构相似性（SSIM）、SAM评估光谱保真度、5种常用影像评价指标及目视解译对预测融合结果进行评价。
PSNR(式(15))是用于衡量图像质量的一种常用指标，特别是在图像压缩和重建的应用中。PSNR值越高，表示重建图像的质量越好。其中MAX_1表示影像颜色的最大数值, (MSE)是原始图像和重建图像对应像素点之间均方误差。
█(PSNR=20⋅log_10⁡〖((MAX_1)/√MSE〗)#(15) )
UIQI (式(16))是用于衡量图像的结构保真度。UIQI 值越接近 1，表示图像的结构保真度越高。其中，σ_Y ̌ , σ_Y是重建图像和原始图像的标准差，μ_Y ̌ , μ_Y是它们的均值。
█(UIQI=(4σ_Y ̌ σ_Y μ_(YY) ̌ )/(σ_Y ̌^2+σ_Y^2 )(μ_Y ̌^2+μ_Y^2 ) #(16) )
CC式(17))用于衡量两个图像之间的线性相关性。CC越接近 1，表示图像之间的线性相关性越强。其中M，N分别为影像行数和列数； 为融合后影像某一位置的灰度值； 为原始影像重采样后同名点的灰度值。

█(r=(∑(i=1)^M▒〖∑(j=1)^N▒[p(i,j)-¯p] [s(i,j)-¯s] 〗)/√({∑(i=1)^M▒∑(j=1)^N▒[p(i,j)-¯p]^2 }×{∑(i=1)^M▒∑(j=1)^N▒[s(i,j)-¯s]^2 } )#(17) )
SAM(式(17))度量重建图像和原始图像之间的光谱角度差异，SAM值越低表示重建图像与原始图像的光谱越相似。其计算公式为：
SAM=cos^(-1)⁡〖((Y ̌∙Y)/|(|Y ̌ |)||(|Y|)| 〗)#(17)
SSIM(式(18))综合考虑了亮度、对比度和结构信息的相似度，SSIM值接近1表示重建图像与原始图像的结构相似性高。其中，μ_Y ̌ , μY是重建图像和原始图像的均值，σ_(Y ̌,) σ_Y是它们的标准差，σ_(Y ̌Y)是它们的协方差，C_1和 C_2是常数，用于稳定计算。
█(SSIM=(((2μ_Y ̌ μY+C_1)(2σ_(Y ̌Y)+C_2)) ̌)/(μ_Y ̌^2+μ_Y^2+C_1 )(σ_Y ̌^2+σ_Y^2+C_2 ) #(18) )
本文重点关注夜光遥感影像超分辨率重建，因此实验的客观评价指标专注于夜光信息的准确性和保真度。根据计算的影像评价指标值，可以有效引导网络改进方向，并且可以直观的了解改进后的网络在改善夜间遥感影像质量、提高融合效率方面相较现有技术的明显优势。
实验结果

（A）LR NTL （B）MS （C）PAN AMSSRN DRCAN DSSR EASR

NDSRGAN SRAGAN SRAGAN SRGAN OUR LUOJIA
图六：本实验中用于比较的8种竞争方法的重建结果视觉示例，以及珞珈一号真实HR NTL影像
Figure 6: Visual examples of the reconstruction results of the 8 competing methods used for comparison in this experiment, as well as real HR NTL images of Luojia-1
夜光遥感影像的超分辨率重建主观视觉比较结果显示，尽管六种单模态超分辨率方法在一定程度上恢复了夜光遥感影像的纹理信息并提升了清晰度，但它们在细节还原方面存在明显不足，未能准确重现夜光影像的真实光照分布特征。相比之下，改进的PanNet方法通过充分利用夜光影像与多光谱影像之间的互补性，融合了夜光影像捕捉的人类活动空间信息和多光谱影像的丰富光谱特征，实现了更精确的细节恢复和更高的分辨率提升。PanNet不仅引入全色波段的高频细节增强了边缘清晰度，还结合多光谱信息大幅提高了影像的光谱保真度，使得重建后的影像在细节丰富性、光照强度及空间结构上都与高分辨率真值影像高度一致。此外，多模态数据融合还增强了地物特征的表现能力，特别是在夜间复杂环境下能够更准确地反映道路、建筑物等地物的空间分布特征，从而展现出更强的重建能力和更高的视觉真实性。
表 1：9种竞争方法的重建结果定量比较
Table 1: Quantitative comparison of reconstruction results of 9 competing methods (areas with Hight DN values).
Methon Category PSNR UIQI CC SAM SSIM
SRAGAN(2017,
Ledig al.) (Super-Resolution Generative Adversarial Network)
24.749 0.854
0.857
0.641
0.798
EDSR (2017, Lim et al.) （Enhanced Residual Network）
25.219
0.854
0.858
0.605
0.731
DRCAN (2019, Kim et al.)
（Deep Recursive Convolutional Network）
25.623
0.872
0.877
0.585
0.739
DSSR (2020, Liu et al.)
(Deep Supervised Spectral Reconstruction Network)
25.441
0.873
0.877
0.587
0.777
SRAGAN(2021,
Wang al. (Generative Adversarial Network)
24.749
0.854
0.857
0.641
0.798

NDSRGAN (2022, Zhang et al.)
（Non-Local Dense Network）

23.984

0.841

0.854

0.620

0.813

AMSSRN (2022, Li et al.) （Adaptive Multi-Scale Super-Resolution Network）
25.592
0.872
0.872
0.591
0.776

SRADSGAN
(2023,Meng et al.) (Super-Resolution Attention-Driven Spectral Generative Adversarial Network)
23.984
0.841
0.854
0.620
0.813

改进PanNet (Panchromatic Sharpening Network) 41.798 0.670 0.732 0.631 0.965
在实验结果中，改进的PanNet模型在多个评估指标上表现优异，特别是在细节还原、光谱保真度和图像结构保真度方面展现出显著优势。通过对PSNR、UIQI、CC、SAM和SSIM等指标的综合分析，可以深入了解PanNet的优点和改进方向，为模型的进一步优化提供指导。
首先，在PSNR（峰值信噪比）和SSIM（结构相似性）指标上，改进的PanNet模型分别取得了41.798和0.965的最高得分，远超其他对比模型。这反映出PanNet在减少重建误差、恢复图像细节以及保持结构信息方面具有显著优势，生成的图像与原始图像几乎无失真。这种优越的性能对需要高保真图像重建的应用尤为重要。此外，较高的SSIM表明PanNet能够更好地再现图像的局部结构和纹理，保持图像的对比度和细节信息。
在SAM（光谱角度映射）方面，PanNet的得分为0.631，优于SRGAN的0.641。这表明PanNet在光谱保真度上表现出色，能够更好地保持光谱信息的一致性，有利于涉及光谱分析的任务。顶尖模型之间的SAM得分差异较小，说明PanNet的光谱保真度与其他先进模型相当。
然而，在UIQI（通用图像质量指数）和CC（相关系数）指标上，PanNet表现相对不足，得分分别为0.670和0.732，明显低于DSSR和AMSSRN等模型。这意味着PanNet在保持整体图像质量（如亮度、对比度）和重建图像与参考图像之间的线性相关性方面还有提升空间。这种不足可能与模型的光谱信息融合方式有关，暗示在捕获和重建光谱特征方面仍有改进的余地。
总体而言，改进的PanNet在PSNR和SSIM方面表现出色，显示出其在高分辨率图像重建任务中的强大能力。尽管在UIQI和CC上还有提升的空间，PanNet在细节还原、光谱一致性和结构信息保真度方面的卓越表现，使其成为一个有效的超分辨率解决方案。未来的研究可以重点关注多尺度光谱信息融合方法的改进，以及注意力机制的增强，以进一步提高UIQI和CC的得分。同时，在损失函数中加入光谱一致性约束，也有助于提升模型在光谱保真度上的表现。

图八：大规模视觉评估示例,(A)、(B)是武汉市原始夜光数据、超分辨率重建夜光数据及各部分区域放大效果
Figure 8: Examples of large-scale visual assessment. (A) and (B) are the original night light data of Wuhan, the super-resolution reconstructed night light data, and the magnified effects of each area.
本研究对位于中国中部的武汉市进行了夜间灯光超分辨率的视觉评估。武汉市是人口稠密、经济发达的地区，其夜间灯光图像具有重要的研究价值。为了展示我们方法的有效性，我们提供了一个放大区域的代表性示例。值得注意的是，虚线框外区域中的外部形状和强度与高分辨率夜间灯光图像（HR NTL）对齐。然而，在虚线框内，由于过度饱和和泛光效果，灯光强度显得过高。这是由于夜间灯光图像中存在大量的光源，例如，城市灯光、道路照明和建筑灯光等。这些光源的强度差异较大，容易导致图像过度饱和。此外，云层、雾霾等天气现象也可能导致泛光效果。 尽管存在这些挑战，我们的超分辨率结果表明该方法能够有效利用多模态信息来纠正各种重建错误。该方法通过融合多源数据，包括日间全色、多光谱遥感影像和夜间遥感影像等，来构建一个更完整的夜间灯光超分辨率图像模型。通过这种方式，该方法能够更好地识别和处理过度饱和和泛光效果，从而提高超分辨率结果的质量。 检索到的超分辨率夜间灯光图像（SR NTL）与地面实况之间的绝对误差进一步强调了我们的方法在大规模多模态夜间灯光超分辨率任务中的潜力。 该方法能够有效地提升夜间灯光图像的分辨率，并为城市规划、环境监测、经济发展等领域的研究提供更精确的数据支持。 未来，我们将进一步研究如何更好地解决过度饱和和泛光效果的问题，并探索该方法在其他领域中的应用。
融合性能分析/消融实验
本文提出了一种创新的数据融合策略，旨在高效融合全色数据与夜光数据，具体包括以下两个关键设计：(1) 设计了 SqueezeAndExciteFusionAdd2D 模块，专门针对全色数据与夜光数据的特征融合需求，该模块作为融合网络的核心结构，有效增强和提取夜光数据中的重要信息；(2) 在原有 PanNet 模型的损失函数基础上，引入了空间结构损失（Spatial Loss），以确保融合结果在空间细节上保持一致。为了全面验证所提出方法的有效性，本文在相同数据集上对每项策略进行了逐一消融实验，并量化分析了各策略对最终性能的贡献。
二维通道注意力融合模块（2D Squeeze-and-Excitation Fusion Module）有效性分析
在本文中，我们将原始的三维 SqueezeAndExcitation3D 和 SqueezeAndExciteFusionAdd3D 模块改进为二维版本，以实现夜光数据的超分辨率重建目标。改进后的模型通过辅助模态（即全色图像）的高频细节信息增强夜光数据的重建效果。具体而言，SqueezeAndExcitation2D 模块引入了两个可学习比例因子 alpha 和 beta，分别对加权特征和原始输入特征进行调整，灵活控制了融合的强度，从而强化对夜光数据的细节表达。在 SqueezeAndExciteFusionAdd2D 模块中，我们采用了自适应融合策略，通过全局池化和卷积生成不同模态间的融合权重，以 Softmax 操作确保权重在夜光和全色特征之间达到平衡。
表 3：消融实验的客观评价指标
Table 3: Objective evaluation indicators for ablation experiments
Structure Alpha and beta Softmax PSNR UIQI CC SAM SSIM
A 39.169 0.593 0.690 0.674 0.962
B  39.634 0.496 0.708 0.649 0.915
C  41.281 0.602 0.699 0.649 0.915
D   41.798 0.670 0.732 0.621 0.965
在原始结构A中（无可学习比例因子Alpha和Beta及Softmax），模型在PSNR和SSIM等指标上的表现相对较低。通过引入可学习的比例因子（结构B），PSNR提升了1.19%（从39.169增至39.634），这表明比例因子在细节保留能力方面起到了积极作用，尽管由于缺乏Softmax平衡，UIQI和CC略有下降。进一步加入Softmax模块（结构C）后，PSNR较原始结构提升了5.39%（从39.169增至41.281），同时UIQI上升1.51%，验证了Softmax在多模态信息融合中平衡特征的有效性。最终，结合Alpha、Beta及Softmax的结构D实现了最高性能，其中PSNR提升了6.71%，SSIM提升0.31%，UIQI提升12.98%，充分说明这些改进的有效性和在不同评价指标上的显著优势。有助于更好地利用全色模态中的高频信息，使夜光数据的空间结构和光谱特性得到增强与优化，最终提高超分辨率重建的效果和精度。
损失函数的有效性分析
本文提出的损失函数在均方误差损失（MSE Loss）和光谱映射均方误差MSMGT（MSE Spectra Mapping and Ground Truth）的基础上，增添了空间结构损失（Spatial Loss）。为了验证新增损失函数的有效性，我们设计了两种不同的损失函数组合，分别为：使用原模型损失、以及同时结合的空间结构损失Spatial Loss。
表 3：消融实验的客观评价指标
Table 3: Objective evaluation indicators for ablation experiments
MSE+ MSMGT Spatial PSNR UIQI CC SAM SSIM
 41.496 0.644 0.730 0.636 0.957
  41.798 0.670 0.732 0.621 0.965
引入空间结构损失（Spatial Loss）后，相较于仅使用均方误差（MSE）与光谱映射地面真值（MSMGT）组合，模型在多个指标上实现了显著提升。具体来看，峰值信噪比（PSNR）提高了0.73%（从41.496增至41.798），统一图像质量指数（UIQI）和结构相似性指数（SSIM）分别提升4.04%和0.84%。这些改进表明，通过合理的损失函数设计，模型对夜光图像超分辨率重建的细节表现和结构保留能力得到了有效提升，进一步验证了本文提出方法的可靠性和有效性。
结论
参考文献
请你根据论文内容，写出这篇论文的结论部分，要求达到博士论文水平，投稿至SCI