CVPR 2022 Oral | 大连理工提出小样本识别DeepBDC，6项基准性能不错

概率密度动态或 KL-divergence 的幽冥至少。

在本文中所，该数据分析驳斥了一种基于极高度亨特相距新标准差 (DeepBDC) 的方法有可用小得用样归纳目标。亨特相距新标准差 (Brownian Distance Covariance, BDC) 年所由 Gábor 等人驳斥，其下定义为原先组建不同之处给定与内侧平方根间的特例相距。它可以很共存地定使用量两个得用参数间的明确性。

在 DeepBDC 中所，该数据分析将 BDC 发挥作用形同一个即插即用的模块既有，可以紧凑的接入到极高度神经互联中所，拿到 BDC 四极阵，依此作为布像的总括。通过使用量度一对布像的 BDC 四极阵仿射就让可受益两个布像的相近度。

同时，该数据分析发挥作用的 BDC 模块既有也可以系统设计在基于非常简单迁至自学的实现下，比如 Chen 等人驳斥的 baseline/baseline++。相比之下于精华新标准差，亨特相距新标准差尽可能刻划非二阶得用参数间的明确性和实质上性，因此可以愈来愈吻合的使用量参数地理分布间的相近度。

和同样慎重考虑原先组建地理分布的 EMD 相比之下，BDC 的使用量度效率很极高，完全不受到影响互联的废话飞在行速度。同时由于 BDC 不必需动态概率密度，因此相比之下于 MI 来说，使用量度愈来愈典雅。在入朝格 1 中所，该数据分析示范了 DeepBDC 和其对不宜方法有间的差异。

本文的重大贡献可以总结如下：

该数据分析首次将亨特相距新标准差 (BDC) 引入基于极高度互联的小得用样归纳，暗示了 BDC 在极高度自学中所有不小实用价参数和未来系统设计价参数。 该数据分析将驳斥的 DeepBDC 发挥作用形同一个即插即用的模块既有，可适用范围于相异的小得用样自学实现。同时，该数据分析结合两种相异范式的小得用样自学实现对 DeepBDC 顺利完形同了实例既有，即基于所设计互联实现的 Meta DeepBDC 和基于非常简单迁至自学实现的 STL DeepBDC。 该数据分析对驳斥的方法有顺利完形同了深入的流出数据分析，并在 6 个小得用样归纳基准上顺利完形同了最常的试验中所。试验中所结果暗示，两种实例都拿到了局限性极好的归纳效率。

第二章 极高度亨特相距新标准差

2.1 论点

BDC 论点年所是 Gábor 等人建立的，可以说明为得用参数间的原先组建不同之处给定和其内侧地理分布的平方根间的欧式相距。所撰

分别是等价为

和

的随机仿射，则X和Y间的 BDC 无穷小可以说明为如下：

其中所

说明为X和Y间的原先组建不同之处给定，

和

共五X和Y的内侧地理分布，

为它们的原先组建概率密度给定。

以上为 BDC 的整年传达形式，在均值意味著，可以下定义

，其中所

是根据

使用量度的特例相距四极阵。完全相同地，我们可以拿到

的特例相距四极阵

，其中所

。那么这种意味著，BDC 无穷小可以写为:

其中所

说明四极阵逆，

说明四极阵转置，

亦称 BDC 四极阵。这底下

，其中所后三项分别说明第

至多、第

在行和所有

项的方差。四极阵

可以用完全相同的方法有从

请注意。且由于 BDC 四极阵是轴对称的，

也可以写形同两个 BDC 仿射

和

的仿射，即：

其中所

(或

) 通过分离出来

(或

) 的上新月形以外受益，然后顺利完形同向定使用量。

BDC 无穷小

不具如下卓越的物理性质：

它亦非不胜的，且当且仅当和实质上时它等同。 它可以总括和间的二阶和非二阶明确性。 它对和的一维和新标准正交二阶是定参数的，对它们的各自尺度二阶是等变的。即对于可任意仿射，标使用量和正交四极阵，。

2.2 BDC 模块既有

从上节可以得知，对于一对转换成布像来说，可以实质上的使用量度其 BDC 四极阵，再顺利完形同仿射操译者拿到二者的相近度。因此该数据分析将该每一次发挥作用为一个实质上的模块既有，可用使用量度每张布像极内部二阶不同之处的 BDC 四极阵。且由于 BDC 四极阵的大小不一为转换成二阶不同之处等价的二次方，因此为了控制不胜载等价，该数据分析引入了一个 1×1 的二阶层顺利完形同降维。

该数据分析首先将降维后的二阶不同之处顺利完形同 reshape 拿到

，其中所

和

为三维空间极高度和较宽，

为入口数。其中所每一至多

或者每偷偷地

都可以认作是随机仿射

的观察参数。

之前以

为例介绍 BDC 模块既有的使用量度每一次。

如后面乘积表，使用量度细分三个处理过程，第一步是使用量度欧式相距平方四极阵

，

是

的第

至多和第

至多间的平方特例相距；紧接着对其开平方受益欧式相距四极阵

；之前对相距四极阵减去在行方差，至多方差以及整体方差受益 BDC 四极阵。

这底下是一个四极阵

，每个元素都是 1，

是单位四极阵，◦说明哈达玛平方根。该数据分析说明

。

2.3 DeepBDC 的两种实例既有

在确实的小得用样归纳操练中所，数据分析者不一定但会实现一系至多

的归纳目标，即共有

类，每类

个得用样。其中所这

个得用样组形同依靠集

，同时每一类中所有

张布像亦称浏览集

。

一种的现代的小得用样自学范式是以 ProtoNet 为代表格的元自学，在每次操练时分离出来一以外信息组形同依靠集和浏览集顺利完形同自学，使得互联尽可能从各种目标中所自学到如何自学，并将这种技能迁至到全得用而代之一般而言上。同时另一种基于非常简单迁至自学的自学实现也拿到了不错的形式既有效率，其在操练阶段性是一个一般的布像归纳目标，通过自学使得互联拿到愈来愈好的插入不同之处，在得用而代之一般而言上次测试时，尽可能并能适于。基于这两种自学实现，该数据分析实现了基于元自学的 Meta DeepBDC 和基于非常简单迁至自学的 STL DeepBDC。

如布 1 表，Meta DeepBDC 是在 ProtoNet 架构的坚实上实现的，通过对依靠集布像受益的 BDC 传达顺利完形同平大多受益了每一类的所设计传达，通过使用量度浏览布像的 BDC 传达和每一类所设计传达间的仿射，拿到与每类间的相距，从而顺利完形同一般而言判断。在试验中所娱乐节目，该数据分析审计了几种相异的换得用所设计传达的方式。

布 1：Meta DeepBDC。

STL DeepBDC 基于一个的现代的迁至自学实现 Good-Embed，不宜可用大使用量的加注信息顺利完形同操练，拿到一个愈来愈好的坚实前提概念用来受益布像的插入不同之处。在得用而代之一般而言三维空间底下，通过二阶层或者回归筒对受益的插入不同之处顺利完形同自学，受益一个归纳筒可用比对。如布 2 表，该数据分析将 BDC 四极阵都是转换成布像的插入不同之处送到颈部的归纳筒中所顺利完形同自学，运用交叉熵损失惨重给定顺利完形同互联的优既有。

布 2：STL DeepBDC。

第三章 试验中所

3.1 信息集和试验中所设为

本文中所该数据分析在CE比对目标 miniImageNet 和 tieredImageNet，以及细粒度比对目标 CUB, Cars, Aircraft 上顺利完形同了审计。在这些信息集上，为了和后来者的岗位可以不宜有极其，该数据分析不宜可用了新标准的信息集细分，信息增广和操练策略。其中所每个信息集都被细细分 meta-training，meta-validation 和 meta-testing 三个叔父集，每个叔父集间的一般而言不重叠。除 CUB 不宜可用 224×224 大小不一的布像作为转换成大多，其他试验中所大多不宜可用 84×84 分辨率的转换成。

主干前提概念不宜可用了后来者岗位中所不宜可用的 ResNet-12（针对 84×84 转换成的布像）和 ResNet-18（针对 224×224 转换成的布像）。其中所 ResNet-12 的 residual block 是由整年 3 个 3×3 且入口数明确的二阶层形同，互联的每一个 stage 的入口数共五 [64,160,320,640]，residual block 生产使用量为 [1,1,1,1]。ResNet-18 是不宜可用 He 等人驳斥的 ResNet 文章中所的许多现代架构。同时为了审计愈来愈深层前提概念上的效率，该数据分析也不宜可用了 ResNet-34 和其比如说，分别不宜可用 224×224 和 84×84 转换成的试验中所。ResNet-34 的比如说是在 ResNet-12 的坚实上将每一个 stage 的 residual block 的生产使用量从 [1,1,1,1] 改形同 [2,3,4,2]。

3.2 和 SOTA 方法有的极其

该数据分析首先审计了 DeepBDC 在 miniImageNet 上的 1-shot/5-shot 效率。从表格 2 可以窥见，STL DeepBDC 大多拿到了极好的效率，Meta DeepBDC 也表格现卓越，拿到了超越或者和局限性极好岗位欧拉的效率。其中所，在 5-shot 目标中所，Meta DeepBDC 和 STL DeepBDC 分别比之前极好的 BML 极高 0.83% 和 1.82%。

在细粒度比对目标 CUB 上，为了不宜有欧拉，该数据分析首先根据设为原先发挥作用了基线前提概念 ProtoNet 和 Good-Embed。表格 2 暗示该数据分析发挥作用的 ProtoNet 和 Good-Embed 与原文中所的吻合率相比之下很不具整体实力，同时和局限性极好的岗位相比之下，该数据分析也是不断压倒的。在 1-shot 上，Meta DeepBDC 和 STL DeepBDC 分别比 FRN 极高 1% 和 1.46%; 在 5-shot 上，这两种发挥作用也分别压倒 FRN 0.84% 和 1.04%。

在跨越外延目标上，该数据分析以 miniImageNet 为源外延，以三个细粒度信息集 CUB，Cars，Aircraft 为目标外延顺利完形同跨越外延审计。他们将 miniImageNet 的全集作为操练集，分别在目标外延信息集上顺利完形同次测试。结果如表格 3 表，在 miniImageNet→CUB 上，基于新标准差的 CovNet 是极其有整体实力的，仅略低于局限性极好的 FRN。和 FRN 相比之下，Meta DeepBDC 和 STL DeepBDC 分别比极高效率 FRN 极高 0.8% 和 3.1%；在 miniImageNet→Aircraft 上，该数据分析的两种发挥作用也比其他方法有具有整体的提极高，效率大幅提极高大于 3.2%；在 miniImageNet→Cars 上，该数据分析的方法有同样也是东南面压倒，其中所比极好的 ADM 在 1-shot 和 5-shot 上分别提极高了 0.7% 和 4.2%。这些结果都合理证明了本文方法有不具很好的外延迁至技能。

表格 2：在CE归纳目标和细粒度比对目标上的效率极其。红色说明极好的效率，粉红色说明次好效率。

表格 3：在领外延迁至目标上的效率极其。红色说明极好的效率，粉红色说明次好效率。

3.3 流出试验中所

首先该数据分析审计了降维层对 DeepBDC 和参数得注意方法有的效率受到影响。由上文不宜是，降维层不胜载不同之处入口数为 d, 数据分析分别审计了 d 得用相异参数时的 5-shot 效率。如布 3 可以窥见随着等价的升极高，ADM 和 CovNet 分别在 d=196，和 d=256 时达到最极高，之后效率但会下降，和一阶的 ProtoNet 相比之下。Meta DeepBDC 也是完全相同的情况，但只有当等价超过 640 时，才但会出现效率降低。另外我们也可以窥见该数据分析两种发挥作用在各个等价上都能整体的极高于参数得注意方法有，全面性的示范了运用亨特相距新标准差的卓越效率。

布 3：降维层入口生产使用量 d 对效率的受到影响。

紧接着该数据分析分别针对 Meta DeepBDC 和 STL DeepBDC 顺利完形同审计。Meta DeepBDC 中所的三处关键发挥作用是使用量度两个传达间的相距，该数据分析在相同的试验中所设为下审计了其他两种近似于的使用量参数方式，即欧式相距和傅立叶相距，结果如表格 4 表。

都能所我们可以注意到各个相距给定的使用量度赔偿金前提是欧拉的，其中所在 1-shot 目标中所，不宜可用仿射可以拿到极好的效率；在 5-shot 中所不宜可用欧式相距可以拿到极好的效率。针对 STL DeepBDC，该数据分析审计了不宜可用相异归纳筒对效率的受到影响，其中所可以窥见不宜可用 SVM 不具极小的小时赔偿金，但是效率不令人满意；不宜可用逻辑回归筒可以拿到极好的效率，同时使用量度效率并没有人受太大受到影响，相比之下是和 Softmax 归纳筒相比之下时，不具突出的绝对优势。根据这两个试验中所论据，该数据分析在所有试验中所中所不宜可用这样的设为。

表格 4 ：Meta DeepBDC 的相距给定审计。

表格 5：STL DeepBDC 的归纳筒审计。

此外，该数据分析还对各个方法有的时长顺利完形同了极其。在相同的使用量度器材上，测使用量 DeepBDC 和参数得注意方法有在 meta-training 和 meta-testing 时每个目标的时长（ms/episode）。结果如表格 6 表，可以窥见在参数得注意方法有中所慎重考虑原先组建地理分布的 DeepEMD 效率极好，但是其操练和次测试赔偿金相当大，远比其他所有方法有。DeepBDC 的操练和次测试赔偿金略极高于 CovNet 和 ProtoNet，但是效率具有整体的绝对优势。因此这以外试验中所证明了 DeepBDC 是效率卓越且极高效的方法有，尽可能适用范围于确实的系统设计中所。

表格 6：STL DeepBDC 的归纳筒审计。

同时该数据分析也探究了 DeepBDC 在容使用量大愈来愈大的前提概念上的表格现。迄今为止的小得用样自学方法有不一定不宜可用 ResNet-12 或者 ResNet-18 作为坚实主干前提概念，因此该数据分析不宜可用愈来愈深层的 ResNet-34 顺利完形同了试验中所。他们在 miniImageNet 和 CUB 上分别和参数得注意方法有顺利完形同了极其，结果如表格 7 和表格 8 表。我们可以窥见当不宜可用愈来愈大容使用量大前提概念时，该数据分析的两种发挥作用大多有年中的效率大幅提极高。

表格 7 ：DeepBDC 基于 ResNet-34 在 miniImageNet 上的效率。

表格 8 ：DeepBDC 基于 ResNet-34 在 CUB 上的效率。

之前，该数据分析在一些二阶和非二阶大多的得用样上示范了亨特相距大多系数（BDCorr）和精华新标准差大多系数（Corr）上的动态明确性的技能。如布 9 表，BDCorr 在二阶大多的得用样上和 Corr 不具相近的技能，且由于其非不胜性，BDCorr 难以反映一般来说；二者都必须反映极小参数的大小不一。但从布 10 中所我们可以窥见，对于所有的非二阶大多得用样，Corr 都等同 0，难以使用量参数非二阶明确性；而 BDCorr 可以刻划这种复杂非二阶意味著的明确性。这一点合理证明了 BDC 在使用量参数地理分布间的明确性时，比精华新标准差的技能愈来愈强。

表格 9 ：在二阶大多的得用样上的极其。

表格 10 ：在非二阶大多的得用样上的极其。

第四章 论据

在本文中所，该数据分析驳斥了 DeepBDC 可用小得用样归纳目标，DeepBDC 通过使用量参数得用样对间的原先组建地理分布从而拿到愈来愈吻合的相近度，相当大的大幅提极高了小得用样归纳的效率。据了解，这是首次将亨特相距新标准差这一实用价参数不小、但又不堪重不胜夸大的统计资料学方法有引入到极高度自学中所，并将其发挥作用为一个极高效的即插即用的模块既有，可以紧凑的插入到可任意极高度二阶互联中所。该数据分析备有的两种发挥作用方案，即无论是基于使用量参数自学的 Meta DeepBDC 还是基于非常简单迁至自学的 STL DeepBDC 都证明了这种易用性。

大使用量的试验中所暗示，该数据分析的方法有都在多个CE、细粒度、跨越外延小得用样自学目标上拿到了极其不具整体实力的效率，拿到了局限性极好的结果。该数据分析驳斥的 DeepBDC 是一种前提的使用量参数相距 / 相近性和动态明确性的极高度自学技术开发，在使用量度机视觉和机筒自学中所不具最常的系统设计前景

。

青岛男科专科医院哪好
成都白癜风治疗费用是多少
西安癫痫医院哪家治疗最好
厦门看妇科哪里最好
柳州看男科去哪家医院比较好
艾拉莫德片对类风湿效果到底如何呢
牙痛快速止痛法
容易感冒怎么调理身体
痔疮药
湿气重怎么排湿最有效方法