姚班代有秀士出：清华本科生用“最简朴的情势”，大幅进步少样本学习性能 ...
仅仅根据元学习(Meta-Learning)的基线，就彻底打败了全部“花里胡哨”的改进方法。就是这些看似简朴，又轻易被忽略的方法，却有着强盛的魔力。
而它们的发现者，是一位叫做陈胤伯的在读本科生，来自清华姚班。
他提出了一种元基线(Meta-Baseline)方法，通过在全部基类(base classes)上预先练习分类器，并在基于近来质心的少样本(few-shot)分类算法上举行元学习，实行效果大大优于现在最先辈的方法。
http://n.sinaimg.cn/sinakd2020426s/477/w1080h197/20200426/6d0a-isuiksn3073694.png
那么题目来了：为什么这么简朴的方法却云云有用？
作者发现，在元学习阶段，一个模子在基类未见使命中的得到更强泛化本领的同时，在新类使命中的泛化体现大概反而降落。
别的，对于元基线来说，存在2个紧张的因素：一个是预练习，另一个是从预练习分类器中继续一个好的少样天职类度量。
这就有大概让模子更好地使用，具有更强可通报性的预练习表现。
陈胤伯的研究可以说是从题目的本质出发，直击“七寸”，正如论文所说：
这项工作为该范畴创建了一个新基准，并给进一步明白元学习框架(用于少样本学习)提供了思绪。
着名互联网博主、北邮陈老师也分享了这项研究，得到了较高的关注。
http://n.sinaimg.cn/sinakd2020426s/407/w1080h927/20200426/fd19-isuiksn3073698.jpg
那么，详细又是怎么做到的呢？
什么是元基线方法？
少样本学习的目标，是让分类模子能迁徙到仅带有少量标志样本的新种别中。而元学习是现在少样本学习研究中比力常见的方法。
陈胤伯的元基线方法所做的，是用最简朴的情势使用预练习分类器和元学习的上风。
元基线方法包罗两个练习阶段。
http://n.sinaimg.cn/sinakd2020426s/74/w1050h624/20200426/d592-isuiksn3073778.jpg
阶段一：预练习阶段
预练习阶段，重要是分类器基线（Classifier-Baseline）的练习。
详细方法是，在具有尺度交织熵丧失的全部基类上练习分类器，然后删除其末了一个 FC 层，得到编码器 fθ。编码器能将输进映射到特性空间。
阶段二：元学习（meta-learning）阶段
这一阶段，重要基于分类器基线评估算法，举行模子优化。
给定预练习特性编码器fθ，在基类练习数据中采样 N-way K-shot 使命。
为了盘算每个使命的丧失，在支持集（support-set）中盘算N种范例的质心，公式如下。
http://n.sinaimg.cn/sinakd2020426s/544/w450h94/20200426/6f19-isuiksn3073775.png
然后用它们来盘算查询集（query-set）中每个样本的猜测概率分布，公式如下。
http://n.sinaimg.cn/sinakd2020426s/628/w538h90/20200426/ece6-isuiksn3073825.png
丧失是根据 p 和查询集样本的标签盘算的交织熵丧失。
简朴的基线改良，大幅提拔性能
那么，元基线方法结果怎样？
论文作者在 miniImageNet 和 tieredImageNet 两个数据集上举行了实行。
http://n.sinaimg.cn/sinakd2020426s/656/w962h494/20200426/379c-isuiksn3073829.jpg△miniImageNet
http://n.sinaimg.cn/sinakd2020426s/518/w998h320/20200426/f11a-isuiksn3073873.jpg△tieredImageNet
可以看到，只管元基线方法计划简朴，但在两个数据集上，都显着凌驾了先辈们，进步了至少 2 个百分点。
如许的改进结果并不但仅范围于 N-way K-shot 使命。在单类 K-shot 使命中，实行效果同样证明白元学习阶段的有用性。
http://n.sinaimg.cn/sinakd2020426s/266/w890h176/20200426/6b2e-isuiksn3073872.png
作者还在大规模数据集 ImageNet-800 上举行了进一步评估。
在这一规模的数据集上，1-shot 使命中，比起分类器基线，元基线有大幅提拔。但在 5-shot 使命中，性能没有显着的改善。
http://n.sinaimg.cn/sinakd2020426s/552/w1060h292/20200426/895a-isuiksn3073922.png
一位清华姚班本科生
末了，姚班代有秀士才，一起熟悉一下本日主角吧。
陈胤伯，清华姚班本科生，高中就读于湖南省长沙市长郡中学，高中期间除了一样平常学习外，大部门时间都投进到了算法比赛之中。
陈胤伯回想说，非常荣幸身边能有很多提供引导、探究题目的朋侪，可以共同砚习、共同进步。
加之对算法比赛浓重的爱好和不懈的积极，陈胤伯在NOI 2014上摘得金牌，进选国家集训队，并保送清华大学。
http://n.sinaimg.cn/sinakd2020426s/691/w1080h411/20200426/2546-isuiksn3073923.jpg
现在，陈胤伯就读于清华姚班(清华学堂盘算机科学实行班)，将于本年本科结业。
不外下一阶段目的也已经明白。
接下来，他将继承在盘算机范畴中深造，前去UCSD(加州大学圣迭戈分校)攻读博士学位。
http://n.sinaimg.cn/sinakd2020426s/670/w336h334/20200426/6081-isuiksn3074000.png△我不管这就是大佬本佬
末了，量子位也接洽到陈胤伯本人，就个人和学术的一些话题举行了交换。他简朴、直率，答复孜孜干脆，我们把问答实录同步如下。
One more thing：问答陈胤伯
量子位：为什么要选择研究元学习这一范畴？
陈胤伯：感觉少样本学习这个题目比力有代价，元学习是少样本学习现在比力常见的方法。这篇文章并不是研究广泛意义上的元学习，重要照旧对少样本学习的探究。
量子位：其他研究者现在重要关注改进的点是哪个/些方面
陈胤伯：关注的点挺广的，我相识到的有提出新方法的 (好比meta-learning, self-supervised learning)，也有实验探索新的更符合现实的少样本学习setting的。
量子位：是怎么发现大部门人忽略基线方法缺陷的？
陈胤伯：做实行发现的。
量子位：现在许多科研职员选择在已有的方法上举行改良，然后发paper、结业，对于如许的一个态度大概趋势，有何见解？为什么没有这么做？
陈胤伯：我以为在已有方法上改良、发paper、结业这三件事都挺好的(?)，许多有代价的发现都是在改良中逐步产生的。这篇paper重要偏重对征象的讨论，不外也有在经典方法上改良。
量子位：本科阶段就开始科研相干，你是怎么看论文、筛选论文的？怎样处置惩罚与其他通识、底子课程学分的关系？
陈胤伯：看论文：google搜，沿着相干工作找。怎样处置惩罚：好勤学习。
量子位：如今在清华学习过程中，有什么差别？大概有没有一些履历分享？
陈胤伯：差别就是不搞比赛了。没啥值得分享的履历。
量子位：姚班的造就机制，对你来说受益最大的是哪一方面？
陈胤伯：氛围很好，在与老师、同砚的交换中能劳绩许多。
量子位：从这次科研过程中，有何心得领会？
陈胤伯：没啥特殊的……
量子位：平常有怎么样的爱好爱好？
陈胤伯：有一些各人都有的爱好。
量子位：看研究是和伯克利的老师互助，本科结业之后，预备往伯克利读博吗？照旧有其他计划？
陈胤伯：往UCSD读博。
嗯，大佬的答复，果然干练，且精炼。
末了，盼望陈胤伯在接下来的学习门路上一帆风顺，不停带来新希望、新研究和新发现。
传送门
论文地点：
http://arxiv.org/abs/2003.04390
只要29元！少儿逻辑头脑编程课热抢中
造就孩子的逻辑头脑本领，编程学习大概是最好的选择！在炫酷风趣的挑衅中，资助孩子养成高效的头脑风俗。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产物新动态
http://www.fyguaji.com
页:
[1]