基于深度学习的超分辨率影像技术一览

考虑到相异连通之间外观上表征的彼此间依赖和作用，一种“变形-聚焦（SAE，squeeze-and-excitation）”模组明确对连通彼此间特异性数据分析，来提较低表示意志力，如上示意图（c）示意图。其在此之前用1]不等池化将每个回传连通传输到连通描述三子（即一个无量纲）在此之前，然后将这些描述三子馈送到两个全连通层转化成连通维度因三子。基于连通乘律，用维度因三子重从新缩放回传连通获得最后回传。

• 弥散连通

弥散连通在视觉特殊任务在此之前越来越越来越风靡一时。在弥散块的每个层，所有前层的外观上示意图应用领域于回传，并且其自身外观上示意图应用领域于所有后续层的回传，在一个有l层弥散块在此之前日后l·（l - 1）/ 2个连通。弥散连通，不仅更是容易缓解局部销声匿迹解决办律、弱化波形的传播者并作出贡献外观上重用，而且在连通之前导入小增较宽率（即弥散块的连通数）和连通扩大来大大减少参数量。

为了融合低级和较低级外观上以透过更是丰富的文档来重修较低质量的内容，弥散连通被导入SR教育领域，如上示意图（d）示意图。

• 多同方向研读

多同方向研读指静态存在多个同方向传递信息外观上，这些同方向督导相异的系统建筑设计以透过更是较低的数据分析功能。具体而言，它可以分为三种特性：1]律、1]律和特定维度律。

1]多同方向研读是指用多个同方向萃取示意图像相异各个方面的外观上。这些同方向可以在传播者在此之前彼此间交叉，从而大大弱化了外观上萃取的意志力。

本地多同方向研读用从新块开展多维度外观上萃取，如上示意图（e）示意图。该块导入相异应用领域程序大小不一的微分同时萃取外观上，然后将回传连通痛快并再次开展并不相同的系统建筑设计。较慢捷形式通过逐元素加到来连通该块的回传和回传。通过这种1]多同方向研读，SR静态可以更是较低地从多个维度萃取示意图像外观上，有利于提较低性能指标。

特定维度多同方向研读共享静态的主要以外（即外观上萃取的在此之前间以外），并分别在的网络的省略和简短另加特定维度的未及处理同方向和上取样同方向，如上示意图（f）示意图。在体能训练其间，仅完工和更是从新与所选维度对应的同方向。这样大多数参数在相异维度上共享。

• 较低级微分

微分运算是剖面神经的网络的根基，改进微分运算可给予更是较低的性能指标或更是较慢的加速。这里给出两个方式：扩大微分（Dilated Convolution）和群微分（Group Convolution）。众所周知，字符串文档更是容易在示意图像；也像素作应用领域于逼真的内容。扩大微分能将感觉野减低两倍，最后借助更是较低的性能指标。群微分以很少的性能指标财产损失可减少大量的参数和系统建筑设计，如上示意图（g）示意图。

• 纹理形式化研读

大多数SR静态认为这是一个与纹理无关的特殊任务，因此没有单单确定作应用领域于纹理之间的彼此间特异性。在人视线转移机制倡议下，一种递推的网络可依次发现参与的补丁并开展1]弱化。以这种形式，静态能够根据每个示意图像自身特性频地定制最佳搜索同方向，从而充分借助示意图像1]的内特异性（intra-dependence）。不过，无须较宽传播者同方向的形式化过程，特别对；也像素的HR示意图像，大大减低了计算成本和体能训练挑战性。

• 金字塔池化

金字塔池化模组更是较低地借助1]和1]的字符串文档，如上示意图（h）示意图。具体地，对于尺码为h×w×c的外观上示意图，每个外观上示意图被划定为M×M个直通，并经历1]不等池化转化成M×M×c个回传。然后，督导1×1微分回传传输到一个单信道。之前，通过双线性迭代将低维外观上示意图上取样到与更是早外观上示意图并不相同的大小不一。使用相异的M，该模组可以有效地构建1]和1]的字符串文档。

• 小奈线性变换

众所周知，小奈线性变换（WT）是一种较低效的示意图像表示，将示意图像波形作应用领域于为表示纹理内容的较低频小奈和包含1]拓扑文档的低频小奈。将WT与基于剖面研读的SR静态独创，这样迭代LR小奈的三子带作为回传，并未及测相应HR三子带的残差。WT和逆WT分别应用领域于作应用领域于LR回传和重修HR回传。

另外研读策略解决办律，无关财产损失函数的建筑设计（除此以外纹理财产损失，内容财产损失，纹理财产损失，对抗财产损失和周期性整年财产损失）、脚本语言1]（BN）、科目研读（Curriculum Learning）和多波形行政官员（Multi-supervision）等等。

再说无行政官员SR。

既有的；也像素工作主要集在此之前在行政官员研读上，然而很难整理相异像素的并不相同场景的示意图像，因此并不一定通过对HR示意图像未及定南义发育来给予SR统计数据集在此之前的LR示意图像。为了防止未及定南义发育日后的不利直接影响，无行政官员的；也像素成选择。在这种情况下，只透过非分组示意图像（HR或LR）应用领域于体能训练，实质上获得的静态更是可能会应对实际场景在此之前的SR解决办律。

• 零击（zero shot）；也像素

单个示意图像实际上的统计统计数据足以透过；也像素所须的文档，所以零击；也像素（ZSSR）在验证时体能训练小示意图像特定的SR的网络开展无行政官员SR，而不是在大统计数据集上体能训练非标准静态。具体来说，核能估计方式必要从单个验证示意图像估计发育应用领域程序，并在验证示意图像上督导相异维度因三子的发育来借助于小统计数据集。然后在该统计数据集上体能训练；也像素的小CNN静态应用领域于最后未及测。

ZSSR借助示意图像实际上特定文档的跨维度复现这一结构上，对非理想必要条件下（非bi-cubic发育核能给予的示意图像，倍受模糊、噪声和传输震荡等直接影响）更是相对于现实世界场景的示意图像，比现在的方式性能指标提较低一大截，同时在理想必要条件下（bi-cubic迭代借助于的示意图像），和现在方式结果相比之下。尽管这样，由于无须在验证其间为每个示意图像体能训练单个的网络，使得其验证时间都比其他SR静态较宽。

• 弱行政官员SR

为了在；也像素在此之前不导入未及发育，弱行政官员研读的SR静态，即使用不成对的LR-HR示意图像，是一种建议。一些方式研读HR-LR发育静态并应用领域于借助于体能训练SR静态的统计数据集，而另外一些方式建筑设计周期性循环（cycle-in-cycle）的网络同时研读LR-HR和HR-LR同态。

由于未及发育是次优的，曾经分组的LR-HR统计数据集在此之前研读发育是可行的。一种方式叫作“渐进律”：

1）体能训练HR-LR 的GAN静态，用不成对的LR-HR示意图像研读发育；

2）基于第一个GAN静态，使用成对的LR-HR示意图像体能训练LR- HR 的GAN静态督导SR。

对于HR到LR 的GAN静态，HR示意图像被馈送到作应用领域于器转化成LR回传，不仅无须匹配HR示意图像变小（不等池化）给予的LR示意图像，而且还要匹配真实LR示意图像的产自。体能训练之前，作应用领域于器作为发育静态作应用领域于LR-HR示意图像对。

对于LR到HR 的GAN静态，作应用领域于器（即SR静态）将作应用领域于的LR示意图像作为回传并未及测HR回传，不仅无须匹配相应的HR示意图像而且还匹配HR示意图像的产自 。

在“渐进律”在此之前，无行政官员静态有效地提较低了；也像素真实世界LR示意图像的质量，比现在方式性能指标给予了很大改进。

无行政官员SR的另一种方式是将LR内部空间和HR内部空间视为两个域，并使用周期性循环结构研读彼此之间的同态。这种情况下，体能训练旨在除此以外启动时同态结果去匹配目的的域产自，并通过西行（round trip）同态使示意图像恢复。

• 剖面示意图像假定经验

CNN结构在逆解决办律在此之前捕获大量的低级示意图像统计量，所以在督导SR在此之前可使用随机初始化的CNN作为手工假定经验。具体地说是，定南义作应用领域于器的网络，将随机向量z作为回传并尝试作应用领域于目的HR示意图像I。体能训练目的是的网络找到一个Iˆ y，其下取样Iˆy与LR示意图像Ix并不相同。因为的网络随机初始化，曾经在统计数据集上开展过体能训练，所以唯一的假定经验是CNN结构本身。虽然这种方式的性能指标仍然比行政官员方式差很多，但都比；也过传统的bicubic上取样。此外，表现出的CNN架构本身合理性，日后将剖面研读方式与CNN结构或自共同点等假定经验独创来提较低；也像素。

特定SR。

特定SR教育领域主要除此以外剖面示意图、人脸示意图像、较低波段示意图像和录像等内容的SR应用领域。

头部示意图像；也像素，即头部幻觉（FH， face hallucination），并不一定可以设律其他与头部相关的特殊任务。与非标准示意图像相比，头部示意图像具备更是多与头部相关的结构化文档，因此将头部假定经验（例如，关键点，结构解析示意图和履历）结合到FH在此之前是十分风靡一时且有想要的方式。借助头部假定经验的最必要的形式是约束所作应用领域于的HR示意图像具备与根基显然（GT）的HR示意图像并不相同的头部相关文档。

与全色示意图像（PAN，panchromatic images），即具备3个奈段的RGB示意图像相比，有数百个奈段的较低波段示意图像（HSI，hyperspectral images）透过了丰富的波段外观上并更是容易各种视觉特殊任务。然而，由于硬件限制，整理较低质量的HSI比整理PAN更是困难，整理的HSI像素要低得多。因此，；也像素被导入该教育领域，深入研究人员偏好于将HR PAN和LR HSI结合痛快未及测HR HSI。

就录像；也像素而言，多个帧透过更是多的场景文档，不仅有帧内内部空间特异性而且有帧间时间特异性（例如，运动、亮度和蓝色变化）。大多数方式主要集在此之前在更是较低地借助幻境特异性，除此以外显式运动补偿（例如，光流线性、基于研读的方式）和形式化方式等。

请注意

1.Z Wang, J Chen, S Hoi,“Deep Learning for Image Super-resolution: A Survey”, Arxiv 1902.06068,2019

2.W Yang et al.,“Deep Learning for Single Image Super-Resolution: A Brief Review”, Archiv 1808.03344, 2018

3.Z Li et al.,“Feedback Network for Image Super-Resolution”, CVPR 2019

4.C Chen et al.,“Camera Lens Super-Resolution”, CVPR 2019

5.K Zhang et al.,“Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels”, CVPR 2019