题 目:Stochastic Second-Order Methods For Deep Learning
内容简介:Stochastic Stochastic methods are widely used in deep learning. In this talk, we first review the state-of-the-art methods such as KFAC. Then we present a structured stochastic quasi-Newton method and a sketchy empirical natural gradient method. Numerical results on deep convolution networks illustrate that our methods are quite competitive to SGD and KFAC.
报告人:北京大学 文再文 研究员
报告人简介:北京大学北京国际数学研究中心研究员,主要研究最优化算法与理论及其在机器学习、人工智能和信号处理中的应用。 2013年获得基金委优秀青年科学基金。 2015年获得中组部青年拔尖人才计划。 2016年获中国青年科技奖。2020年获国家万人计划科技创新领军人才,现为中国运筹学会常务理事,中国运筹学会数学规划分会副理事长。
时 间:2020年12月13日(周日) 上午 10:00开始
地 点:腾讯会议(会议ID:907 710 399、点击链接入会:https://meeting.tencent.com/s/kMK6XeqR1ahO)
热烈欢迎广大师生参加!
信息科学技术学院
2020年12月7日