聚书轩hbcjlp.com

繁体版 简体版
聚书轩 > 都市小说 > 重生学神有系统 > 第481章 梯度爆炸和网络退化

第481章 梯度爆炸和网络退化(1 / 2)

 推荐阅读: 重生之倾城药后 猎妻计划:老婆,复婚吧! 还你余生不负 未来聊天群 霸道总裁:女人,请负责 我不是克苏鲁 地球人都在为我出谋划策 农门弃妇:带着萌娃好种田 超级纨绔系统 早安,宝贝
最新网址:hbcjlp.com

这天,江寒刚下课,展飞忽然召见。

见面后,校长大人爽朗一笑:“小江啊,最近工作挺辛苦的吧?”

“还行。”

江寒随口应和了一句,有点弄不清对方葫芦里到底卖的什么药。

展飞关怀了几句后,笑眯眯地说:“基于你在‘九章’和教学上的成绩,咱们学校给你争取了个待遇。”

“待遇?”江寒一怔。

自己的待遇还不够好吗?

才二十岁就评上了副教授。

要知道,由于名额有限,很多任教二十来年,四十来岁的“老”教师,还在排队等着呢!

展飞笑着说:“副教授只是职称,远远不能匹配你的能力和贡献,所以经过研究,跟上面争取了一个名额……”

跟着介绍了一下详细情况。

“待遇比照青千计划?”江寒十分意外。

“青千计划”可不容易入选。

50万的生活补助、3年100万~300万元的科研经费补助……

种种条件,不知会让多少人羡慕、嫉妒、恨!

不过,“青千计划”面向的是海归学者,而自己是彻头彻尾的本土派……

展飞对此的解释是:“对于特殊人才,自然要有特殊的政策。”

他的意思很简单:待遇应该与贡献和科研能力挂钩,不该以出身论英雄!

并且,江寒没有海外求学经历,却能媲美任何“青千计划”的人选,在展飞看来,这一点尤其可贵!

这个待遇也是江寒应得的。

其他成就姑且都不论,一个“九章”原型机,就足够他被特殊对待了。

回到办公室后,江寒刷了会儿“材料学”方面的论文。

就在这时,方源来了。

小方同学已经正式入学了,成了科大少年班的一名新生。

他原本只打算先过来读个预科,没想到展飞在这件事上,又开了次绿灯……

“方源同学,过来坐。”江寒笑着招手。

方源腼腆一笑:“老板……”

江寒潇洒一摆手:“在学校,叫老师就行。”

“嗯,江教授。”

“什么事?”

方源迟疑了一下:“我能不能跟您学习机器学习?”

江寒莞尔一笑:“这有什么不行的?不过你得先把高数的基础打好,在机器学习离不开数学。”

方源点了点头:“这个我知道,其实这段时间,我已经把高数和线性代数看完了,题也做了不少。”

江寒眼睛一亮:“哦?挺给力的嘛!”

微微沉吟了一下,又说:“那我给你出套卷子,看看你的水平。”

方源用力点头:“没问题!”

江寒只用了二十分钟,就出好了卷子。

主要围绕机器学习可能用到的高数和线代知识。

题目不简单,覆盖面也挺广。

但让江寒意外的是,方源比他想象中更加给力。

这小子只用了一个小时,就以满分的成绩,完成了试卷!

江寒十分满意:“不错!有这个水平,你的确可以入门机器学习了。”

接下来,他就找了基本相关的教材,扔给小方同学,让他回去自学,有不懂的再来问……

方源礼貌告辞,临走带上了门。

江寒则继续刷论文。

忽然,邮箱助手弹出了一条消息:“您有一封新邮件。”

江寒随手点开,密密麻麻都是字母。

江寒哑然失笑:“大概又是什么广告?”

再仔细一看,竟然不是英文,打开浏览器,复制、粘贴、搜索。

这才发现,原来是德语。

江寒并没学过德语,不过借助网络和词典,还是能弄清楚大概意思的。

半个小时后,江寒翻译完了这封信。

来信者自称“汉斯”,是德国某着名大学的教授。

他说自己对“人工神经网络”十分有兴趣,并且,在看到江寒的论文后,也深入学习了一番。

还仿照那上面的内容,自制了一些简单的CNN、RNN之类的网络……

随后又说,他碰上了一些很麻烦的问题,希望江寒能不吝赐教。

比如,他在试验某个多达127层的深度学习模型时,每次训练到大约三分之一进度,就会出现各种意想不到的问题。

问题的类型,随超参数的选择而有所不同。

比如随着网络深度的增加,参数的梯度范数指数式减小,参数的变化十分缓慢,学习过程接近停滞;

又或者,给定层的隐藏单元的维度变得越来越低,参数矩阵的乘积变得越来越线性相关……

汉斯诚恳地询问,江寒知不知道造成这些情况的原因,以及有没有办法解决?

江寒沉思了一会,便在电脑上回信。

“您在来信中反映的问题,我也遇到过,前者,称作梯度消失,或者爆炸,后者,我把它叫做‘网络退化’,这主要是由于当网络层数过深时……”

“有时,增大全局的梯度范数,会导致性能下降,而引入另一种运算,减小梯度范数,却有可能大幅提升网络的性能……”

章节错误,点此举报(免注册),举报后维护人员会在两分钟内校正章节内容,请耐心等待,并刷新页面。
『加入书签,方便阅读』