微软亚洲研究院发布高性能MoE库Tutel，为大规模DNN模型开发提速！
编者按：作为目前唯一被证明能够将深度学习模型扩展到万亿以上参数的方法，MoE 能让模型学习更多信息，并为计算机视觉、语音识别、自然语言处理和机器翻译系统等提供支持。近期，微软亚洲研究院发布了一个高性能 MoE 库——Tutel，并在 8x 80GB NVIDIA A100 和 8x 200Gbps 的 InfiniBand 网络的 Azure NDm A100 v4 节点上进行了实验。让我们来看一看，这个用于促进大规模 DNN 模型开发的高性能 MoE 库有哪些优势？其表现又如何？
发布时间：2021-11-24 类型：深度文章
10月26-29日，系统领域的全球顶会 SOSP 2021 在线上举办。在本届大会上，微软亚洲研究院研究员陈洋、郭众鑫、李润怀（实习生，浙江大学）、陈硕、周礼栋、张宪以及浙江大学周亚金教授共同提出了一种新颖的基于约束的推测执行技术——Forerunner，这是第一个面向“多未来”的推测执行技术。本篇论文获得了 Artifact Evaluation 全部三个最高级别徽章（即代码可评估、代码可获取和实验结果可复制）。今天将为大家从这项研究的底层思路和逻辑进行梳理总结。
发布时间：2021-10-28 类型：深度文章
MLSys 2021 | “进击”的神经网络行为分析，为设计和性能架起了一座桥梁
编者按：MLSys 大会全称为“Conference on Machine Learning and Systems”，由 Jeff Dean、Michael Jordan 和 Yann LeCun 等计算机系统和人工智能领域的全球顶尖科学家于2019年发起。2021年的 MLSys 大会共收到221篇投稿，52篇被录用，其中微软有四篇入选。本文将为大家介绍来自微软亚洲研究院的一项工作：通过分析深度学习算法设计空间在移动端侧推理平台的行为特性，以设计针对不同平台的高效深度学习模型。
发布时间：2021-04-08 类型：深度文章
MobiCom 2021 | 微软亚洲研究院与南大、科大等最新合作研究，助力模型高效推理和隐私保护
近年来中国的学术研究水平快速提升，在移动计算和网络领域当然也不例外。在今年计算机网络领域国际顶会 MobiCom 2021（Summer Round）接收的19篇论文中，微软亚洲研究院有三篇论文成功入围。这三篇论文，其中有两篇关于功耗优化、高效推理，有一篇则在深度学习的基础上提出了一种创新的隐私保护技术。
发布时间：2021-03-10 类型：深度文章
如今，我们每天都在手机、电脑、平板等移动设备上享受着各种软件提供的便捷服务，比如新闻推荐、购物、打车、聊天、搜索等等。这些便捷服务的背后离不开底层计算机软件系统的支持，计算机系统研究的创新则为各种技术提供了持续提升与变革的肥沃“土壤”。计算机系统研究关注于创造新的方法论和工程技术，以构建高效、节能、鲁棒、可扩展、安全和交互友好的软硬件系统。为了帮助大家更好地了解、学习计算机系统研究领域的相关知识，我们邀请了微软亚洲研究院系统研究组高级研究员林昊翔为大家推荐了该领域的五本经典书籍，内容涵盖系统基础原理、操作系统、并发计算、分布式系统等。
发布时间：2021-02-24 类型：深度文章
OSDI 2020 | RAMMER如何进一步“压榨”加速器性能
传统的深度学习框架为了模块化设计，通常使用互不感知的两层调度模型，导致无法充分发挥硬件的计算性能。针对现有深度学习框架的局限，微软亚洲研究院和北京大学、上海科技大学合作提出了 RAMMER：一种可以成倍甚至几十倍地提升深度学习计算速度的编译框架。这套编译框架的背后是微软亚洲研究院打造的深度神经网络编译器 NNFusion，目前已在 GitHub 上开源。
发布时间：2020-11-12 类型：深度文章
OSDI 是计算机系统软件领域全球最顶级的会议之一，每两年举办一届，被誉为“操作系统原理领域的奥斯卡”，拥有极高的学术地位。第14届 OSDI 将于2020年11月4日至6日召开。此次会议投稿398篇，共录用论文70篇，录用率不足18%。本文中，我们将为大家介绍微软亚洲研究院被录取的6篇论文。
发布时间：2020-11-03 类型：深度文章
我们生活中依赖的搜索、购物、聊天和新闻推荐等各种服务都离不开大型软件系统的支持，然而，随着用户的需求和场景增多，这些系统的复杂性和规模也在不断增加。如何利用机器学习和大数据来驱动复杂的系统设计和运维决策，成为了学术界和工业界共同思考的问题。针对这个问题提出的解决方案，被称为学习增强系统（Learning-augmented Systems）。最近几年，微软亚洲研究院通过名为 AutoSys 的研究项目，在探索系统化建构学习增强系统上取得了进展。
发布时间：2020-10-27 类型：深度文章
本文与大家分享的是2019年机器学习和系统领域的突破与进展，以及未来趋势。如果说机器学习可以算是 AI 的大脑，那么系统网络就像 AI 的身体躯干。AI 的进一步普及，需要对机器学习算法、模型、理论等进行不断地优化和提炼，同时也需要能够构建出高效、稳定、可信乃至“精巧”的 AI 系统，为 AI 应用的真正落地做好诸多准备。
发布时间：2020-01-06 类型：深度文章
