微软亚洲研究院理论中心前沿系列讲座第四期，将于 9 月 22 日（本周四）上午 10:00-11:00 与你相见。这一期，我们请到了清华大学的张景昭教授，带来关于神经网络优化中的不光滑性的讲座分享，届时请锁定 B 站“微软中国视频中心”直播间！
微软亚洲研究院理论中心前沿系列讲座是每两周进行一次的常设系列直播讲座，将邀请全球站在理论研究前沿的研究者介绍他们的研究发现，主题涵盖大数据、人工智能以及其他相关领域的理论进展。通过这一系列讲座，我们期待与各位一起探索当前理论研究的前沿发现，并建立一个活跃的理论研究社区。
欢迎对理论研究感兴趣的老师同学们参与讲座并加入社区（加入方式见后文），共同推动理论研究进步，加强跨学科研究合作，助力打破 AI 发展瓶颈，实现计算机技术实质性发展！

直播地址：B 站“微软中国视频中心”直播间

https://live.bilibili.com/730

直播时间：每两周直播一次，时间为周四上午 10:00-11:00（有变动将另行说明）

直播时间：9 月 22 日 10:00-11:00

张景昭现任清华交叉信息研究院助理教授，博士毕业于麻省理工学院计算机科学专业，曾获伯克利研究生奖学金，MIT Lim 奖学金，IIIS 青年学者奖学金等奖项。研究主要包含优化算法复杂性分析，机器学习理论，以及人工智能应用。

报告题目:  On the (Non)smoothness of Neural Network Training

报告摘要: In this talk, we will discuss the following questions―why is neural network training non-smooth from an optimization perspective, and how should we analyze convergence in nonsmooth settings? We will start by showing that the non-smoothness is essential to standard neural network training procedures, and that network training converges in an unstable manner. We then provide theoretical models for understanding why optimization in neural network is unstable. We conclude by showing that new definitions of convergence in the nonsmooth settings can reconcile theory with practice.

在第三期讲座中，邓准博士向大家介绍了他在机器学习泛化误差分析领域的两个最新工作。在讲座的前半部分，邓准博士介绍了如何引入“局部弹性稳定性”来刻画神经网络的局部弹性，并给出了基于“局部弹性稳定性”的泛化误差界；在后半部分，邓准博士介绍了如何通过非空覆盖来提升基于算法鲁棒性的泛化误差界。观众们就能否从优化方面探究局部弹性的原因等方面提出了问题，并与邓准博士进行了交流。

回放地址：

https://m.bilibili.com/video/BV1HD4y167TK?spm_id_from=333.788