熬夜阁

手机浏览器扫描二维码访问

第14章 万事俱备(第2页)

将简洁好用的结构反复重复,这也大大地降低了孟繁岐所需要的开发工程量。

AlexNet是八层的结构,各自有一些独立的设计,在此时,8层已经是革命性的深度网络了。

更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。

而ResNet的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让50,100,150,甚至1000层网络的训练成为可能。

“从去年的8,到今年的100+层,甚至1000层也可以训练。在2013年的视角来看,这一剂猛药应该够劲了。”

不仅是深度上取得了开创性的突破,ResNet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。

如果综合几个不同方式训练的ResNet,平均他们的输出再去预测的话,其TOP-5错误率甚至低至3.7%。

“其实在IMAGENET上做得太准了反而是一件怪事。”考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。

ResNet的Res指residual,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。

再说的浅显一点,假设原本的操作为f(x),ResNet就是把计算过程从f(x)改为f(x)+x。

这也是孟繁岐最早与付院长讨论的内容之一。

这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。

在此之后的几乎所有AI文章,都很难绕得开这个思路。恺明本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。

不得不说这是一个天文数字。要知道即便是NatureCellScience三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。

当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。

很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。

但就AI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。

大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。

学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。

恺明凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“ResNet的思想早就有人提过了”,“几十年前的东西不算什么新东西”,“这篇文章也就是流量大罢了,和流量明星是一样的”。

酸味都要溢出屏幕了。

孟繁岐不是没读过一些理论类的文章,但他个人觉得新时代的AI,P话谁都会说,代码写出来才是本事。你说几十年前就有的东西,怎么不写一个ResNet突破人类水准呢?

ResNet的核心代码难写吗?不难的。

基于阿里克斯的框架,只需几个小时的时间,他就可以基本复现出ResNet论文中的所有结构。

弱小和无知不是生存的障碍,傲慢才是。

我的御兽养成计划  她似春光明媚  改局之谋  年代文女配重生后踹了男主  丹道龙皇  银河记事  一诺千金断绝尘  异界大乱斗之乱的很  霸总战神之当代侠侣  影视世界里的假道士  我在西游交易万物  什么?我体内有一座剑山  激荡一九九五  寡人刘玄德  陆总请滚开,别打扰我种地  神环啸  西游之开局加入聊天群  炮灰表小姐苟命日常  善男信女  携猫主子勇闯星域  

热门小说推荐
被夺气运重生后,小师妹杀疯了

被夺气运重生后,小师妹杀疯了

关于被夺气运重生后,小师妹杀疯了前世,谢宁被庶妹暗害,被夺气运,惨死兽爪之下。疼爱她的娘亲和外祖一家也因为自己,在庶妹的迫害下疯的疯死的死!重活一世,谢宁势必揭穿庶妹的恶毒面具!改变师兄们的悲惨命运!让师父这条大粗腿屹立不倒。这一世,势必要将自己失去的一切都夺回来!...

超级神武道

超级神武道

地球联邦时代,开发基因潜能成为人类赖以生存的依靠。一部十八重的基础心诀,开启了基因全面异变时代。一套武道修炼系统,将这种异变推到了巅峰。重回一百三十年前,我当无敌天下!(新人新书,求收藏推荐)各位书友要是觉得超级神武道还不错的话请不要忘记向您...

小美人重生后被献给了暴君

小美人重生后被献给了暴君

上辈子余星被瑞王花言巧语所骗,最终落得苟延残喘,遭世人唾骂,惨遭嫡姐毒害。重活一世,他拒绝了瑞王,却被他记恨在心,以祸心之名将他进献给禹国暴君。他想逃却被整个京城的人盯着,他们视他为祸害,将他强行塞入马车,送往禹国,保陈国无忧。余星痛恨他们,仇视他们!他以为自己会在禹国惨遭迫害,却没想到迎来了所有人欢迎。他在宫里战战兢兢,唯恐惹怒暴君,没想到一向不近男女的暴君,却朝他走来,拉着他的手,朝着巍峨大殿走去。下方大臣齐齐朝他叩拜。余星!再后来禹国攻入陈国皇宫,暴君带着他居高临下睥睨着一身狼狈的瑞王。魔蝎小说...

吃了一口太岁肉,我杀穿仙路

吃了一口太岁肉,我杀穿仙路

关于吃了一口太岁肉,我杀穿仙路2030年,灵气复苏,天地转变,古法再次站上历史舞台。2130年,随着名山秘境开启,远古洪荒重新融入现在这方天地。一位位耳熟能详的神灵逐渐从时间长河回归,新法古法发生文明碰撞。一条新的长生路再现世间...

异世种田:我走在天灾前面

异世种田:我走在天灾前面

关于异世种田我走在天灾前面年仅10岁的文希,被系统安排去平行世界拯救女主,30年后任务完成,返回蓝星,直接死亡。系统告诉她蓝星已经毁灭,把她传送到绿星了。坑货系统却自己走了,什么都没给她留。文希没办法,她想好好活着,领用领地轰轰烈烈的开始她的种田生活。文希已经接受事实,开开心心的做领主,坑货系统却回来了。共同面对绿星的多灾多难,而文希每一次,都能在灾难降临在她身上之前,提前知晓避开或拿到解药。只不过,为什么她的领地,那么吸引变异动物,文希觊觎它们身上美味的肉,看着都留口水。可她打不过啊危险绿星,文希努力生活。...

我的26个变态女客户

我的26个变态女客户

关于我的26个变态女客户秦宇是个孤儿,老天给他关上门的同时,也给他开了一扇窗。让他拥有秒杀当红小鲜肉的颜值,跟188的身高。在高人指点下,秦宇做起了职业护花使者!他的客户个个都是极品大美女,却没一个正常人。有大学美艳校花但有厌男症。有地下世界的女王却是女神经。有上市公司的高冷女霸总无奈心狠手辣。有当红一线女星可沉迷扮演各种角色分不清现实。还有个主动倒贴的大美女却是个最后遇到一真爱你腰上怎么有胎记,难道有情人终成兄妹?看秦宇如何在各种修罗场中游刃有余。万花丛中过,片叶不沾身,追夫火葬场,结局爽又爽!...

每日热搜小说推荐