微软亚洲研究院理论中心前沿系列讲座第十五期，将于 11 月 28 日（周二）上午 10:00 - 11:00 与你相见。

本期，我们请到了微软研究院雷德蒙德园区的首席研究员 Yin Tat Lee，带来以 “Textbooks Are All You Need” 为主题的讲座分享，欢迎通过 Teams 参会！

理论中心前沿系列讲座是微软亚洲研究院的常设系列讲座，将邀请全球站在理论研究前沿的研究者介绍他们的研究发现，主题涵盖大数据、人工智能以及其他相关领域的理论进展。讲座以线上直播与线下研讨的形式呈现，通过这一系列讲座，我们期待与各位一起探索当前理论研究的前沿发现，并建立一个活跃的理论研究社区。

欢迎对理论研究感兴趣的老师同学们参与讲座并加入社区（加入方式见后文），共同推动理论研究进步，加强跨学科研究合作，助力打破 AI 发展瓶颈，实现计算机技术实质性发展！

参加方式

欢迎您通过 Teams 参会并与讲者互动

会议链接：点此入会

会议 ID：263 570 596 651

会议密码：VFZ6bH

会议时间：11 月 28 日（周二）上午 10:00 - 11:00

讲者信息

Yin Tat Lee is a Principal Researcher at MSR and an Associate Professor of Paul G. Allen School of Computer Science & Engineering at the University of Washington. His research interests are convex optimization, convex geometry, graph algorithms, online algorithms, and differential privacy. During his career, he has received a variety of awards, including Best Paper Awards at FOCS, SODA and NeurIPS, Sprowls Award, NSF CAREER Award, A.W. Tucker Prize, Microsoft Research Faculty Fellowship, Sloan Research Fellowship, and Packard Fellowships.

报告题目：

Textbooks Are All You Need

报告摘要：

Many believed that training large language models (LLMs) required using a vast dataset and an immense number of parameters. This is computationally demanding, requiring significant GPU resources. GPT-4 exemplified this belief, being a colossal model trained on a vast corpus.

In light of this, we sought to discern if such impressive results could be achieved with smaller models and limited data for code generation. We demonstrate that with high-quality data, the demand for expansive datasets and a multitude of parameters lessens. The outcome was a few billion-size model, which not only met or exceeded the performance of existing open-source models but did so utilizing a mere 1/1000th of compute in training. Moreover, we will discuss specific emergent properties observed in the model after its fine-tuning on coding exercises.

上期讲座回顾

在上期讲座中，我们邀请到来自南加利福尼亚大学的滕尚华教授，带来以 “‘Intelligent Heuristics Are the Future of Computing’” 为主题的讲座分享，探讨智能启发式在计算领域的无穷潜力。

上期讲座回顾：

南加利福尼亚大学滕尚华教授访问微软亚洲研究院，探讨智能启发式在计算领域的无穷潜力

若想了解往期讲座详情，请访问下方链接：

加入理论研究社区

欢迎扫码加入理论研究社区，与关注理论研究的研究者交流碰撞，群内也将分享微软亚洲研究院理论中心前沿系列讲座的最新信息。

【微信群二维码】

您也可以向MSRA.TheoryCenter@outlook.com 发送以"Subscribe the Lecture Series"为主题的邮件，以订阅讲座信息。

关于微软亚洲研究院理论中心

2021 年 12 月，微软亚洲研究院理论中心正式成立，期待通过搭建国际学术交流与合作枢纽，促进理论研究与大数据和人工智能技术的深度融合，在推动理论研究进步的同时，加强跨学科研究合作，助力打破 AI 发展瓶颈，实现计算机技术实质性发展。目前，理论中心已经汇集了微软亚洲研究院内部不同团队和研究背景的成员，聚焦于解决包括深度学习、强化学习、动力系统学习和数据驱动优化等领域的基础性问题。

想了解关于理论中心的更多信息，请访问https://www.microsoft.com/en-us/research/group/msr-asia-theory-center/