理论是计算机科学的基础，也是计算机技术发展的动力。2021 年 12 月，微软亚洲研究院理论中心正式成立。中心成立半年有余，通过搭建国际学术交流与合作枢纽，已促发了很多关于计算机理论研究的前沿探讨。

在此背景下，我们正式推出微软亚洲研究院理论中心前沿系列讲座。讲座每两周进行一次，将邀请全球站在理论研究前沿的研究者介绍他们的研究发现，主题涵盖大数据、人工智能以及其他相关领域的理论进展。通过这一系列讲座，我们期待与各位一起探索当前理论研究的前沿发现，并建立一个活跃的理论研究社区。

7月21日上午 10:00-11:00 就是我们的首场讲座，将由微软研究院首席研究经理 Sebastien Bubeck 分享其对于 Transformers 的分析工作。欢迎对理论研究感兴趣的老师同学们参与讲座并加入社区（加入方式见后文），共同推动理论研究进步，加强跨学科研究合作，助力打破 AI 发展瓶颈，实现计算机技术实质性发展！

直播信息

直播地址：B 站“微软中国视频中心”直播间
https://live.bilibili.com/730
直播时间：每两周直播一次，时间为周四上午 10:00-11:00（有变动将另行说明）
扫码或点击“阅读原文”直达直播间

首场讲座信息

直播时间：7 月 21 日 10:00-11:00

Sébastien Bubeck 是微软研究院首席研究经理，管理微软雷德蒙德研究院的 Machine Learning Foundations group。在加入微软之前，他曾是普林斯顿大学运筹研究与金融工程系的助理教授。他曾于 2015 年获斯隆奖，并多次在机器学习顶级会议上获得最佳论文奖。他的研究兴趣包含在线决策、凸优化以及对抗学习等等。

报告题目: Unveiling Transformers with LEGO
报告摘要: The discovery of the transformer architecture was a paradigm shifting event for deep learning. However, these architectures are arguably even harder to understand than convolutional neural networks. In this work we propose a synthetic task, called LEGO, to probe the inner workings of transformers. We obtain some insights on multi-head attention, the effect of pretraining, as well as overfitting issues. Joint work with Yi Zhang, Arturs Backurs, Ronen Eldan, Suriya Gunasekar, and Tal Wagner.

第二场讲座信息

直播时间：8 月 4 日 10:00-11:00

马腾宇，现任斯坦福大学计算机系与统计系助理教授、清华大学姚班校友，博士曾就读于普林斯顿大学，其主要研究兴趣为机器学习和算法方面的研究，课题包括非凸优化、深度学习及其理论、强化学习、表示学习、凸松弛、高维统计等。马腾宇曾获得 ACM 博士论文奖荣誉奖，斯隆奖及 NSF Career Award。

报告题目: Toward Understanding Self-Supervised Pre-training
报告摘要: AI is undergoing a paradigm shift the rise of models that are pretrained with self-supervised learning and then adapted to a wide range of downstream tasks. Despite the unprecedented empirical success, why and how pretrained models work still largely remains a mystery. This talk will discuss recent works on analyzing contrastive learning, a family of popular self-supervised pretraining methods that learn visual representations/embeddings of images from unlabeled data. We will develop a framework that views contrastive learning as a parametric version of spectral clustering on a so-called population positive-pair graph. We will also analyze the adaptability of the representations and provide sample complexity bounds. Finally, I will briefly discuss two follow-up works that study self-supervised representations' performance under imbalanced pretraining datasets and for shifting test distributions. Joint works with Jeff Z. Haochen, Colin Wei, Kendrick Shen, Robbie Jones, Ananya Kumar, Sang Michael Xie, Adrien Gaidon, and Percy Liang.

加入理论研究社区

欢迎扫码加入理论研究社区，与关注理论研究的研究者交流碰撞，群内也将分享微软亚洲研究院理论中心前沿系列讲座的最新信息

【微信群二维码】

也可以向
MSRA.TheoryCenter@outlook.com 发送以"Subscribe the Lecture Series"为主题的邮件订阅讲座信息

关于微软亚洲研究院理论中心

2021 年 12 月，微软亚洲研究院理论中心正式成立，期待通过搭建国际学术交流与合作枢纽，促进理论研究与大数据和人工智能技术的深度融合，在推动理论研究进步的同时，加强跨学科研究合作，助力打破 AI 发展瓶颈，实现计算机技术实质性发展。目前，理论中心已经汇集了微软亚洲研究院内部不同团队和研究背景的成员，聚焦于解决包括深度学习、强化学习、动力系统学习和数据驱动优化等领域的基础性问题。