logo

Interview:算法岗位面试—上海某科技公司算法岗位(偏AI算法,国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等


sdiguisldhgs
Nuwanda 2022-09-19 13:53:14 19752
分类专栏: 资讯

Interview:算法岗位面试—上海某科技公司算法岗位(偏AI算法,国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等

导读:关于神经网络,问的比较深,因为博主做过总结,所以用自己的语言和案例解释的,回答的还算比较全吧。

BN层的认知

参考博主以前写的文章
BN层结构详解—解决反向传播过程中的【梯度消失】与【梯度爆炸】
BN层(批量标准化)采用的理由—旧解释:解决内部协变量偏移
BN层(批量标准化)采用的理由—新解释: BN层优化更加平滑

BP的推导

DL之BP:神经网络算法简介之BP算法简介(链式法则/计算图解释)、案例应用之详细攻略
DL之DNN之BP:神经网络算法简介之BP算法/GD算法之不需要额外任何文字,只需要八张图讲清楚BP类神经网络的工作原理

GD优化的几种改进

参考博主以前写的文章
DL之DNN优化技术:GD、SGD、Momentum、NAG、Ada系列、RMSProp各种代码实现之详细攻略
DL之DNN优化技术:神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介、理解、代码实现、SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略

1、Momentum(根据历史梯度进行加强)—动量有助于在正确方向上加速梯度,从而越过沟壑
2、NAG—下山过程中,根据对下一步要到达的点的预测,来自适应调整速度
3、Adagrad—对不同的参数(频繁/非频繁特征相关的参数)调整不同的学习率
4、Adadelta—Adagrad的改进版+引入时间窗(衰减因子)—解决Adagrad的学习率急剧下降
5、RMSProp—自适应学习率方法—解决Adagrad的学习率急剧下降
6、Adam—计算每个参数的自适应学习率的方法+本质上是带动量项的RMSprop

网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。

本文链接:http://www.xckfsq.com/news/show.html?id=2791
赞同 0
评论 0 条
Nuwanda
粉丝 0 发表 8 + 关注 私信
上周热门
人工智能赋能视频指挥 | 兴图新科携新品亮相北京军博会  4102
向新 共未来丨诚邀您参与2024中兴通讯创兴日  4047
诺基亚Lumia,重生  3871
第二届BCS企业数字化转型及数据安全专题研讨会在成都举行  3740
“移启”向前 共筑安全长城——重庆移动走进启明星辰专项活动成功举办  3736
国标16260中软件可移植性的子特性  3663
数据库管理系统中的模式与映像  3590
软件设计之耦合  3573
类似大蚂蚁即时通讯软件推荐  3539
2024苏州(高新区)信息技术应用创新交流及供需对接会顺利召开!  3510
本周热议
我的信创开放社区兼职赚钱历程 40
今天你签到了吗? 27
如何玩转信创开放社区—从小白进阶到专家 15
信创开放社区邀请他人注册的具体步骤如下 15
方德桌面操作系统 14
用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
我有15积分有什么用? 13
如何让你先人一步获得悬赏问题信息?(创作者必看) 12
2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
中央国家机关政府采购中心:应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8