新闻中心

排序方式

机器阅读理解与问答&聊天机器人实践指南

机器阅读理解、机器问答、聊天机器人都是近年大热的方向,其研究与应用领域都进展飞速。本期书单就由微软高级研究员、斯坦福大学计算机系博士朱晨光为大家推荐了一组相关书籍,并对机器阅读理解任务作了解析。朱晨光博士精通自然语言处理、对话机器人语义理解、机器阅读理解研究,曾在 SQuAD 1.0 机器阅读理解竞赛中获得第一,与微软亚洲研究院的合作研究成果在 CoQA 对话式问答挑战赛中获得第一并超越人类水平。

发布时间:2020-05-19 类型:深度文章

模型小快好!微软预训练语言模型通用压缩方法MiniLM助你“事半功倍”

大规模预训练模型在自然语言理解和生成任务中表现优异,但巨大的参数量和计算成本让其很难直接部署到线上产品中。为此,微软亚洲研究院提出了一种将基于 Transformer 的预训练大模型压缩成预训练小模型的通用方法:深度自注意力知识蒸馏(Deep Self-Attention Distillation),让预训练模型又快又好。预训练模型和微调代码现已开源。

发布时间:2020-05-12 类型:深度文章

集“百家”之长,成一家之言!微软提出全新预训练模型MPNet

近年来,预训练语言模型无疑成为了自然语言处理的研究热点。这些模型通过设计有效的预训练目标,在大规模语料上学习更好的语言表征来帮助自然语言的理解和生成。其中,BERT 采用的掩码语言模型 MLM 和 XLNet 采用的排列语言模型 PLM 是两种比较成功的预训练目标。然而,这两种训练目标各有优缺,具有较大的提升空间。为此,微软亚洲研究院机器学习组的研究员们,继去年面向自然语言生成任务推出预训练模型 MASS 之后,在自然语言理解任务上推出全新预训练模型 MPNet。它在 PLM 和 MLM 的基础上扬长避短,在自然语言理解任务 GLUE 和 SQuAD 中,超越 BERT、XLNet 和 RoBERTa 等预训练模型,取得了更好的性能。

发布时间:2020-04-21 类型:深度文章

赋能RPA时代,微软发布通用文档理解预训练模型LayoutLM

近年大热的机器人流程自动化(Robotic Process Automation, RPA)利用 AI 技术将人们从繁杂的电子文档处理任务中解放出来,其中最关键就是自动文档分析与识别技术。面对大量无标注电子文档,现有的大规模预训练语言模型能够在预训练阶段有效捕捉文本中蕴含的语义信息,但忽视了文档中的视觉结构信息。微软亚洲研究院近日发布了结合文档结构信息和视觉信息的通用文档预训练模型 LayoutLM,在表单理解、票据理解、文档图像分类等任务的测试中均取得了目前的最佳成绩,模型、代码和论文都已开放下载。

发布时间:2020-03-10 类型:深度文章

2020开年解读:NLP新范式凸显跨任务、跨语言能力,语音处理落地开花

2020年伊始,我们总结、展望了微软亚洲研究院在多个 AI 领域的突破与趋势,比如,更亲民的机器学习和更精巧的 AI 系统;数据洞察的获得变得更智能,AI 推进三维构建的发展;以及突破固化的计算机视觉和更具商用价值的 OCR 引擎。今天,我们将探索自然语言处理(Natural Language Processing,NLP)范式的新发展,以及微软亚洲研究院在语音识别与合成领域的创新成果。

发布时间:2020-01-17 类型:深度文章

机器推理系列第五弹:文本+视觉,跨模态预训练新进展

机器推理要求利用已有的知识和推断技术对未见过的输入信息作出判断,在自然语言处理领域中非常重要。此前我们介绍了机器推理系列的概览,机器推理在常识问答、事实检测、跨语言预训练、多轮语义分析和问答任务中的应用,本文作为该系列的第五篇,将介绍微软亚洲研究院在跨模态预训练领域的研究进展。

发布时间:2020-01-14 类型:深度文章

AAAI 2020丨沟壑易填:端到端语音翻译中预训练和微调的衔接方法

在端到端的语音翻译中,虽然预训练配合微调的方法被广泛使用,但两个环节尚且不能很好地进行衔接。微软亚洲研究院提出串联编码网络(Tandem Connectionist Encoding Network, TCEN),使参与语音翻译任务的每个子网络都能够被预训练,且预训练中学到的参数都将在微调过程中使用,从而显著提升语音翻译模型性能。

发布时间:2019-11-25 类型:深度文章

机器推理系列第四弹:基于推理的多轮语义分析和问答

自然语言处理的发展进化带来了新的热潮与研究问题。基于一系列领先的科研成果,微软亚洲研究院自然语言计算组将陆续推出一组文章,介绍机器推理(Machine Reasoning)在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答等任务上的最新方法和进展。此前我们介绍了机器推理的系列概览,机器推理在常识问答和事实检测任务中的应用,以及跨语言预训练,本文是该系列的第四篇文章。

发布时间:2019-11-20 类型:深度文章

EMNLP 2019丨微软提出显式跨语言预训练模型CMLM,显著提升无监督机器翻译性能

现有预训练模型的跨语言信息只通过共享 BPE 空间得到,这样得到的跨语言信号隐式而且受限。微软亚洲研究院提出了一种跨语言掩码语言模型(Cross-lingual masked language model,CMLM),可以显式地将跨语言信息作为训练信号,显著提升预训练模型的跨语言建模能力,进而提升无监督机器翻译的性能。

发布时间:2019-11-07 类型:深度文章