新闻中心

排序方式

NeurIPS 2021 | 一文洞悉因果机器学习前沿进展

编者按:近年来,因果机器学习在人工智能和诸多交叉领域产生了卓越的影响,得到了越来越多的关注。借助因果关系推理,机器学习的鲁棒性、泛化能力、可解释性等方面都将得到有效提升。今天我们精选了三篇微软亚洲研究院关于因果机器学习的 NeurIPS 2021 论文,为大家介绍该领域的最新科研进展。论文内容涵盖:在单源域泛化预测、多源域泛化预测,以及模仿学习三类任务中学习因果关系的方法和理论,并展示了利用因果关系提高模型在环境和分布发生变化时的稳健性。未来,微软亚洲研究院将进一步推进机器学习方法在更多更严苛的现实任务上的应用。

发布时间:2021-12-02 类型:深度文章

NeurIPS 2021 | 物体检测与分割的零标签视觉学习

编者按:随着自监督学习的研究逐步深入,迁移学习的范式已经广泛应用于视觉学习的各个领域,大量的视觉任务都通过使用自监督预训练和有监督微调的方式来部署任务。而微软亚洲研究院的研究员们希望打破这一范式,在 NeurIPS 2021 发表的论文中,研究员们提出了一个可以从无标签视频中学习物体检测和分割的模型,使得自监督预训练模型可以直接服务于应用,而不需要任何有监督微调,实现了零标签的学习。

发布时间:2021-12-01 类型:深度文章

NeurIPS 2021 | 从残差编码到条件编码,构建基于上下文的视频压缩框架DCVC

编者按:传统视频压缩方法多采用残差编码框架,虽简单有效但却并不是最优解,其熵往往大于或等于条件编码的熵。通过从残差编码到条件编码的转换,微软亚洲研究院多媒体计算组的研究员们构建了一种基于上下文的视频压缩框架(DCVC),为基于深度学习的视频压缩提供了新思路和新方法。实验表明,该视频压缩框架比常用的残差编码框架有更低的信息熵下界,且能够自适应学习帧内编码和帧间编码,适用于对高频细节的恢复。作为一种可拓展性非常强的框架,DCVC 也将在未来继续发挥其强大的压缩性能。相关论文已被 NeurIPS 2021 接收。

发布时间:2021-12-01 类型:深度文章

NeurIPS 2021 | CyGen:基于概率论理论的生成式建模新模式

编者按:在概率论中,两随机变量的一个联合分布可由一个变量的边缘分布和对应条件分布确定,也可对称地由另一变量的边缘分布和另一方向的条件分布确定,但无法由这两个边缘分布确定。因此,可否仅由这两个条件分布来确定联合分布,成为了科研人员感兴趣的研究方向。

发布时间:2021-11-26 类型:深度文章

精心设计的 GNN 只是“计数器”?

问答(QA)任务是自然语言理解领域中一个基本且重要的课题,目前通常会使用预训练语言模型以及图神经网络等方法对问答进行推理。GNN 模块在推理中到底发挥了什么作用?这个问题需要科研人员做进一步深入探究。为此,微软亚洲研究院和佐治亚理工的研究员们剖析了最前沿的相关方法,并且发现一种极其简单、高效的图神经计数器就能在主流的知识问答数据集中取得更好的效果。

发布时间:2021-10-29 类型:深度文章

IJCAI 2021 | 一文了解微软亚洲研究院机器学习方向前沿进展

第30届国际人工智能联合大会 IJCAI 2021 于8月19日-26日在线上正式召开。此次大会共收到4204篇投稿,其中587篇论文被接收,接收率为13.9%。在本届会议中,微软亚洲研究院也有多篇论文入选,今天我们精选了其中的5篇来为大家进行简要介绍。

发布时间:2021-08-24 类型:深度文章

KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩

如今,基于 Transformer 的大规模预训练语言模型,如 BERT、XLNE、RoBERTa 和 GPT-3 等,已经在很多自然语言处理任务中都取得了十分惊人的效果。但是巨大的模型尺寸,使其在众多不同的下游任务中进行部署时非常困难。而且由于存在大量复杂的场景以及不同的下游任务,单独为不同场景设计一种压缩过的 BERT 模型既耗时又耗力。因此,微软亚洲研究院的研究员们针对这些问题展开了研究,并提出了 NAS-BERT 技术。相关研究论文“NAS-BERT:Task-Agnostic and Adaptive-Size BERT Compression with Neural Architechture Search”已被跨学科数据科学会议 KDD 2021 收录。

发布时间:2021-08-11 类型:深度文章

系统调研450篇文献,微软亚洲研究院推出超详尽语音合成综述

语音合成一直以来是语言、语音、深度学习及人工智能等领域的热门研究方向,受到了学术界和工业界广泛的关注。尽管语音合成技术的研究已有几十年的历史,基于神经网络的语音合成技术也有近十年历史,且已产出了大量的优质研究成果,但针对神经语音合成不同研究方向的整合型综述论文却十分匮乏。近日,微软亚洲研究院的研究员们通过调研了450余篇语音合成领域的文献,发表了迄今为止语音合成领域几乎最详尽的综述论文 “A Survey on Neural Speech Synthesis”。在文中,研究员们还整理收集了语音合成领域的相关资源如数据集、开源实现、演讲教程等,同时也对语音合成领域未来的研究方向进行了探讨和展望。希望本文能对相关工作的研究人员提供具有价值的参考。

发布时间:2021-08-10 类型:深度文章

ICML 2021 | 微软亚洲研究院精选论文一览

第三十八届机器学习国际会议 ICML 2021 于7月18日在线上举行,今年的 ICML 会议一共接收了1184篇论文,接收率接近21.5%。其中微软亚洲研究院有多篇论文入选,今天我们精选了5篇为大家进行介绍。这5个工作的研究主题关键词包括数据采样、Transformer、序列学习、神经网络、语音识别等。欢迎感兴趣的读者阅读论文原文。

发布时间:2021-07-23 类型:深度文章

R-Drop:填补Dropout缺陷,简单又有效的正则方法

深度神经网络是深度学习的基础,但其在训练模型时会出现过拟合的问题,而简单易用的 Dropout 正则化技术可以防止这种问题的发生。然而 Dropout 的操作在一定程度上会使得训练后的模型成为一种多个子模型的组合约束。基于此,微软亚洲研究院与苏州大学提出了更加简单有效的正则方法 R-Drop(Regularized Dropout)。实验表明,R-Drop 在5个常用的包含 NLP(自然语言处理) 和 CV(计算机视觉) 的任务中都取得了当前最优的结果。本文将介绍 R-Drop 的实施方法、作用与效果,让大家一窥 R-Drop 的玄机。

发布时间:2021-07-21 类型:深度文章