新闻中心

排序方式

EMNLP 2019丨微软提出显式跨语言预训练模型CMLM,显著提升无监督机器翻译性能

现有预训练模型的跨语言信息只通过共享 BPE 空间得到,这样得到的跨语言信号隐式而且受限。微软亚洲研究院提出了一种跨语言掩码语言模型(Cross-lingual masked language model,CMLM),可以显式地将跨语言信息作为训练信号,显著提升预训练模型的跨语言建模能力,进而提升无监督机器翻译的性能。

发布时间:2019-11-07 类型:深度文章

EMNLP 2019 丨微软亚洲研究院精选论文解读

编者按:EMNLP 2019正于11月3日至11月7日在中国香港举办。本届 EMNLP 大会中,微软亚洲研究院共21篇论文入选,涵盖预训练、语义分析、机器翻译等研究热点。本文为大家介绍其中的7篇精选论文。

发布时间:2019-11-04 类型:深度文章

微软最新NLP研究获选第六届世界互联网大会“世界互联网领先科技成果”

10月20日,以“智能互联 开放合作——携手共建网络空间命运共同体”为主题的第六届世界互联网大会在浙江乌镇开幕。今年大会的重磅活动“世界互联网领先科技成果发布活动”在大会首日下午举行,活动共评选出15项年度互联网科研成果,充分展示了全球互联网领域的最新科技,彰显了互联网创新力量的影响力,以及互联网领域从业者的创造性贡献。

发布时间:2019-10-21 类型:深度文章

机器推理系列第三弹:跨语言预训练,提高机器推理的迁移能力

自然语言处理的发展进化带来了新的热潮与研究问题。基于一系列领先的科研成果,微软亚洲研究院自然语言计算组将陆续推出一组文章,介绍机器推理(Machine Reasoning)在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答等任务上的最新方法和进展。此前我们介绍了机器推理的系列概览,机器推理在常识问答和事实检测任务中的应用,本文是该系列的第三篇文章。

发布时间:2019-10-11 类型:深度文章

机器推理系列第二弹:机器推理在事实检测任务中的应用

自然语言处理的发展进化带来了新的热潮与研究问题。基于一系列领先的科研成果,微软亚洲研究院自然语言计算组将陆续推出一组文章,介绍机器推理 (Machine Reasoning) 在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答等任务上的最新方法和进展。此前我们介绍了机器推理的系列概览和常识问答中的应用,本文是该系列的第二篇文章。

发布时间:2019-09-23 类型:深度文章

机器推理系列第一弹:机器推理在常识问答任务中的应用

推理是自然语言处理领域非常重要且具有挑战性的任务,其目的是使用已有的知识和推断技术对未见过的输入信息作出判断(generate outputs to unseen inputs by manipulating existing knowledge with inference techniques)。在本文中,我们以常识问答为应用,介绍机器推理在常识问答任务上的最新方法和进展。

发布时间:2019-09-16 类型:深度文章

机器推理系列文章概览:七大NLP任务最新方法与进展

自然语言处理的发展进化带来了新的热潮与研究问题,研究者们在许多不同的任务中推动机器推理(Machine Reasoning)能力的提升。基于一系列领先的科研成果,微软亚洲研究院自然语言计算组将陆续推出一组文章,介绍机器推理在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答、多轮语义分析和问答等任务上的最新方法和进展。

发布时间:2019-09-12 类型:深度文章

ACL 主席周明:一起拥抱 ACL 和 NLP 的光明未来

7月29日,ACL 2019在意大利佛罗伦萨开幕。在开幕仪式上,ACL 主席、微软亚洲研究院副院长周明博士做了主题演讲,为大家介绍了 ACL 学会的工作进展,NLP 领域的技术趋势以及未来重要的发展方向。

发布时间:2019-08-08 类型:深度文章

参数少一半,效果还更好,天津大学和微软提出Transformer压缩模型

由于在自然语言处理任务中的突出表现,基于Transformer的预训练语言模型是NLP领域的研究重点。考虑到模型参数量过大,导致其训练困难,部署不方便,研究人员一直在探究压缩模型的方法。近日,天津大学联合微软亚洲研究院提出了Transformer的压缩方法,不仅减少了近一半的参数量,模型在语言建模和神经机器翻译任务的表现也有所提升。这一研究可帮助在一些算力资源较小的环境中部署预训练语言模型。

发布时间:2019-07-17 类型:深度文章

周明:自然语言处理的技术体系和未来之路

近期,微软亚洲研究院副院长周明博士受邀参加第四届全球人工智能与机器人峰会(CCF-GAIR 2019),并在会议上做了主题演讲,从什么是自然语言处理(NLP)、当前技术体系以及未来发展等角度,解读了NLP未来发展之路。

发布时间:2019-07-15 类型:深度文章