微软亚洲研究院理论中心前沿系列讲座第二期，将于8月4日（本周四）上午10:00-11:00与你如约相见。这一期，我们请到了斯坦福大学助理教授马腾宇，带来关于深度理解自监督预训练的分享，届时请锁定B站“微软中国视频中心”直播间！

微软亚洲研究院理论中心前沿系列讲座是每两周进行一次的常设系列直播讲座，将邀请全球站在理论研究前沿的研究者介绍他们的研究发现，主题涵盖大数据、人工智能以及其他相关领域的理论进展。通过这一系列讲座，我们期待与各位一起探索当前理论研究的前沿发现，并建立一个活跃的理论研究社区。

欢迎对理论研究感兴趣的老师同学们参与讲座并加入社区（加入方式见后文），共同推动理论研究进步，加强跨学科研究合作，助力打破 AI发展瓶颈，实现计算机技术实质性发展！

直播地址：B 站“微软中国视频中心”直播间

https://live.bilibili.com/730

直播时间：每两周直播一次，时间为周四上午 10:00-11:00（有变动将另行说明）

直播时间：8 月 4 日 10:00-11:00

马腾宇，现任斯坦福大学计算机系与统计系助理教授、清华大学姚班校友，博士曾就读于普林斯顿大学，其主要研究兴趣为机器学习和算法方面的研究，课题包括非凸优化、深度学习及其理论、强化学习、表示学习、凸松弛、高维统计等。马腾宇曾获得 ACM 博士论文奖荣誉奖，斯隆奖及 NSF Career Award。

报告题目: Toward Understanding Self-Supervised Pre-training

报告摘要: AI is undergoing a paradigm shift the rise of models that are pretrained with self-supervised learning and then adapted to a wide range of downstream tasks. Despite the unprecedented empirical success, why and how pretrained models work still largely remains a mystery. This talk will discuss recent works on analyzing contrastive learning, a family of popular self-supervised pretraining methods that learn visual representations/embeddings of images from unlabeled data. We will develop a framework that views contrastive learning as a parametric version of spectral clustering on a so-called population positive-pair graph. We will also analyze the adaptability of the representations and provide sample complexity bounds. Finally, I will briefly discuss two follow-up works that study self-supervised representations' performance under imbalanced pretraining datasets and for shifting test distributions. Joint works with Jeff Z. Haochen, Colin Wei, Kendrick Shen, Robbie Jones, Ananya Kumar, Sang Michael Xie, Adrien Gaidon, and Percy Liang.

在上次讲座中， 微软研究院首席研究经理Sebastien Bubeck为大家介绍了他最新提出的合成数据集“LEGO”。给定一个（半）群及其上群作用，“LEGO”的求解目标是基于含有取群中元素值的未知量的一系列方程，求解未知量的值。通过使用Transformer求解“LEGO”，Sebastian深入探讨了transformer中预训练和泛化的机理。大家则就数据集构造的出发点，transformer中各模块的作用等方面提出了问题并得到了Sebatian的解答。

回放地址：

https://www.bilibili.com/video/BV1WB4y1b7RR?share_source=copy_web&vd_source=986302b7644b7b863f02c17ccd44bb81