新闻中心

排序方式

赋能RPA时代,微软发布通用文档理解预训练模型LayoutLM

近年大热的机器人流程自动化(Robotic Process Automation, RPA)利用 AI 技术将人们从繁杂的电子文档处理任务中解放出来,其中最关键就是自动文档分析与识别技术。面对大量无标注电子文档,现有的大规模预训练语言模型能够在预训练阶段有效捕捉文本中蕴含的语义信息,但忽视了文档中的视觉结构信息。微软亚洲研究院近日发布了结合文档结构信息和视觉信息的通用文档预训练模型 LayoutLM,在表单理解、票据理解、文档图像分类等任务的测试中均取得了目前的最佳成绩,模型、代码和论文都已开放下载。

发布时间:2020-03-10 类型:深度文章

2020开年解读:NLP新范式凸显跨任务、跨语言能力,语音处理落地开花

2020年伊始,我们总结、展望了微软亚洲研究院在多个 AI 领域的突破与趋势,比如,更亲民的机器学习和更精巧的 AI 系统;数据洞察的获得变得更智能,AI 推进三维构建的发展;以及突破固化的计算机视觉和更具商用价值的 OCR 引擎。今天,我们将探索自然语言处理(Natural Language Processing,NLP)范式的新发展,以及微软亚洲研究院在语音识别与合成领域的创新成果。

发布时间:2020-01-17 类型:深度文章

机器推理系列第五弹:文本+视觉,跨模态预训练新进展

机器推理要求利用已有的知识和推断技术对未见过的输入信息作出判断,在自然语言处理领域中非常重要。此前我们介绍了机器推理系列的概览,机器推理在常识问答、事实检测、跨语言预训练、多轮语义分析和问答任务中的应用,本文作为该系列的第五篇,将介绍微软亚洲研究院在跨模态预训练领域的研究进展。

发布时间:2020-01-14 类型:深度文章

AAAI 2020丨沟壑易填:端到端语音翻译中预训练和微调的衔接方法

在端到端的语音翻译中,虽然预训练配合微调的方法被广泛使用,但两个环节尚且不能很好地进行衔接。微软亚洲研究院提出串联编码网络(Tandem Connectionist Encoding Network, TCEN),使参与语音翻译任务的每个子网络都能够被预训练,且预训练中学到的参数都将在微调过程中使用,从而显著提升语音翻译模型性能。

发布时间:2019-11-25 类型:深度文章

机器推理系列第四弹:基于推理的多轮语义分析和问答

自然语言处理的发展进化带来了新的热潮与研究问题。基于一系列领先的科研成果,微软亚洲研究院自然语言计算组将陆续推出一组文章,介绍机器推理(Machine Reasoning)在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答等任务上的最新方法和进展。此前我们介绍了机器推理的系列概览,机器推理在常识问答和事实检测任务中的应用,以及跨语言预训练,本文是该系列的第四篇文章。

发布时间:2019-11-20 类型:深度文章

EMNLP 2019丨微软提出显式跨语言预训练模型CMLM,显著提升无监督机器翻译性能

现有预训练模型的跨语言信息只通过共享 BPE 空间得到,这样得到的跨语言信号隐式而且受限。微软亚洲研究院提出了一种跨语言掩码语言模型(Cross-lingual masked language model,CMLM),可以显式地将跨语言信息作为训练信号,显著提升预训练模型的跨语言建模能力,进而提升无监督机器翻译的性能。

发布时间:2019-11-07 类型:深度文章

EMNLP 2019 丨微软亚洲研究院精选论文解读

EMNLP 2019正于11月3日至11月7日在中国香港举办。本届 EMNLP 大会中,微软亚洲研究院共21篇论文入选,涵盖预训练、语义分析、机器翻译等研究热点。本文为大家介绍其中的7篇精选论文。

发布时间:2019-11-04 类型:深度文章

微软最新NLP研究获选第六届世界互联网大会“世界互联网领先科技成果”

10月20日,以“智能互联 开放合作——携手共建网络空间命运共同体”为主题的第六届世界互联网大会在浙江乌镇开幕。今年大会的重磅活动“世界互联网领先科技成果发布活动”在大会首日下午举行,活动共评选出15项年度互联网科研成果,充分展示了全球互联网领域的最新科技,彰显了互联网创新力量的影响力,以及互联网领域从业者的创造性贡献。

发布时间:2019-10-21 类型:深度文章

机器推理系列第三弹:跨语言预训练,提高机器推理的迁移能力

自然语言处理的发展进化带来了新的热潮与研究问题。基于一系列领先的科研成果,微软亚洲研究院自然语言计算组将陆续推出一组文章,介绍机器推理(Machine Reasoning)在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答等任务上的最新方法和进展。此前我们介绍了机器推理的系列概览,机器推理在常识问答和事实检测任务中的应用,本文是该系列的第三篇文章。

发布时间:2019-10-11 类型:深度文章