当前位置:首页 > 时尚生活

resnet ResNet有多大威力?最近又有了哪些变体?一文弄清

因为我们知道H_(l-1)是ReLU的输出,ReLu已经是非负的,所以上面的等式被简化为仅将输入传递给下一个身份层:

设p_l为l层在训练时的生存概率。在测试期间,我们有:

其中L表示块的总数,所以p_L是最后一个剩余块的生存概率,在实验中固定为0.5。还要注意,在此设置中,输入被视为第一层(l = 0),因此不会被丢弃。随机深度训练的总体框架如下图所示。

类似于deep,训练深度随机的深度网络可以看作是训练许多较小ResNets的集合。不同的是这种方法是随机丢弃整层,而drops在训练时只丢弃一部分隐藏单元。

实验表明,随机深度训练110层ResNet比恒定深度训练110层ResNet能获得更好的性能,并且大大减少了训练时间。这表明ResNet中的某些层(路径)可能是冗余的。

ResNet作为小型网络的组合

“深度随机的深度网络”提出了一种反直观的方法来训练一个非常深的网络,在训练时随机丢弃它的层,在测试时使用完整的网络。Veit等人有一个更违反直觉的发现:我们实际上可以删除已经训练过的ResNet的一些层,但是仍然有相当的性能。这使得ResNet架构更加有趣。本文还减少了VGG网络的层数,大大降低了其性能。

首先,本文提供了一个简单的ResNet视图,使事情更加清晰。在我们扩展网络体系结构之后,很明显,带有I个剩余块的ResNet体系结构具有2 * I条不同的路径(因为每个剩余块提供两条独立的路径)。

鉴于以上发现,很容易找出为什么在ResNet架构中删除几层对其性能影响不大——架构有很多独立的有效路径,我们删除几层后大部分保持不变。相反,VGG网络只有一条有效路径,所以删除一层是唯一的办法。

作者还进行了实验,实验表明ResNet中的路径集具有集合行为。他们通过在测试期间删除不同数量的层来做到这一点,然后检查网络的性能是否与删除的层的数量平滑相关。结果表明,网络的行为确实像一个集合,如下图所示:

最后,作者研究了ResNet中路径的特点:

显然,所有可能路径长度的分布都遵循二项式分布,如(a)所示。大多数路径通过19到35个剩余块。

研究了路径长度与梯度大小的关系,得到了路径长度为k时的梯度幅度。首先,作者向网络馈送一批数据,并随机提取k个残差块。当梯度被反向传播时,它们仅传播到采样残余块的权重层。它表明,随着路径变长,梯度迅速降低。

我们现在可以将每个路径长度的频率乘以它的预期梯度大小,以找出每个长度的路径对训练有多大帮助,如(c)所示。令人惊讶的是,大多数贡献来自长度为9到18的路径,但它们只占总路径的一小部分,如(a)所示。这是一个非常有趣的发现,因为它说明了ResNet并没有解决长路径上的梯度消失问题,而是通过缩短其有效路径,ResNet实际上可以训练出一个非常深的网络。

结论

本文回顾了ResNet的体系结构,并简要介绍了它的最新成果。之后介绍了一些关于ResNet变体的有趣论文,并给出了相关解释。希望这篇文章能帮助你理解ResNet。

本文中的所有数字均取自参考文献中的原始文献。

1.《resnet ResNet有多大威力?最近又有了哪些变体?一文弄清》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。

2.《resnet ResNet有多大威力?最近又有了哪些变体?一文弄清》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。

3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/shehui/644883.html

上一篇

变形计周云峰 从农村娃到北工大高材生,从《变形计》走出的他,玩转这场富人游戏

下一篇

李在镕 三星掌门人李在镕被批捕 被控向崔顺实行贿2.5亿

美网络武器失窃 美安全局网络武器已失窃 黑客组织曾在网上叫卖

美网络武器失窃 美安全局网络武器已失窃 黑客组织曾在网上叫卖

据新华社报道,5月12日,世界上许多国家遭到了一次勒索。受害者包括中国的一些大学和英国的许多医院。据了解,这款ransomware是从国安局网络武库中泄露出来的黑客工具。复旦大学美国研究中心副研究...

印度网络 印度自称5000年前就有了网络 迷之自信哪里来?

印度网络 印度自称5000年前就有了网络 迷之自信哪里来?

最近,印度高级官员走极端,受到全世界网民的嘲笑。当地时间4月17日,印度特里普拉邦首席部长毕普拉德布(Biplab Deb)在演讲中说:印度在5000年前就有了互联网!“印度自古以来就使用互联网。...

民间借贷司法解释 最高院王林清 | 深度解读民间借贷司法解释13大问题

民间借贷司法解释 最高院王林清 | 深度解读民间借贷司法解释13大问题

来源|文章根据王林清的讲课于2015年发表。如遇法律法规变化,请自行调整 本文仅供交流学习,版权归原作者所有。有些文章推送时无法及时与原作者联系。如果来源标记不正确或侵犯了您的权益,请通知我...

张杰对许嵩有何评价 因为网络走红而被人抨击,十多年来许嵩是不是最被低估的音乐人?

日喀则地震 西藏日喀则市发生4.5级地震 震源深度5千米

日喀则地震 西藏日喀则市发生4.5级地震 震源深度5千米

中国地震台网正式确定,02年3月01日01时27分,西藏日喀则谢通门县(北纬30.32度,东经87.75度)发生4.5级地震,震源深度5公里。 原标题:西藏日喀则市发生4.5级地震 震源深度5千米...

西藏阿里地震 西藏阿里改则县发生3.9级地震 震源深度6千米

(#地震新闻#中国地震台网正式确定:3月21日05时23分,西藏阿里地区盖泽县(北纬32.44度,东经83.81度)发生3.9级地震,震源深度6公里。...

广厦男篮海报 2019中国篮球十大争议:男篮将帅遭遇网络暴力 广厦海报遭重罚

  • 广厦男篮海报 2019中国篮球十大争议:男篮将帅遭遇网络暴力 广厦海报遭重罚
  • 广厦男篮海报 2019中国篮球十大争议:男篮将帅遭遇网络暴力 广厦海报遭重罚
  • 广厦男篮海报 2019中国篮球十大争议:男篮将帅遭遇网络暴力 广厦海报遭重罚
巴基斯坦西南部一足球场发生爆炸致2死8伤 登上网络热搜了!

巴基斯坦西南部一足球场发生爆炸致2死8伤 登上网络热搜了!

巴基斯坦西南部俾路支省一足球场26日发生一起爆炸事件,已造成2人死亡、8人受伤。...