新闻中心

排序方式

ACL 2020 | 微软亚洲研究院精选论文带你一览NLP前沿!

编者按:自然语言处理顶会 ACL 2020 将于7月5日-10日在线举行。本届大会中,微软亚洲研究院共有22篇论文被录取,内容涵盖机器翻译、文本生成、机器阅读理解、事实检测、人机对话等领域。本文精选了6篇有代表性的论文为大家介绍。

发布时间:2020-07-01 类型:深度文章

ACL 2020丨多轮对话推理数据集MuTual发布,聊天机器人常识推理能力大挑战

编者按:在构建聊天机器人时,现有对话模型的回复往往相关性较好,但经常出现常识和逻辑错误。由于现有的大部分检索式对话数据集都没有关注到对话的逻辑问题,导致评价指标也无法直接反映模型对对话逻辑的掌握程度。对此,微软亚洲研究院发布了多轮对话推理数据集 MuTual,针对性地评测模型在多轮对话中的推理能力。

发布时间:2020-06-28 类型:深度文章

ACL 2020丨ST-NMT:软目标模板助力神经机器翻译

现有的多数神经机器翻译模型直接从源文本逐词翻译,翻译后的文本存在些许机翻的生硬感。受到人类翻译过程和其他领域基于模板和基于语法的方法启发,微软亚洲研究院提出了一种使用从语法树结构中提取的模板作为软目标模板来指导翻译过程的方法 ST-NMT。实验表明,ST-NMT 模型在中-英、英-德、日-中等多个翻译任务上明显优于基线模型,证明了软目标模板的有效性。

发布时间:2020-06-16 类型:深度文章

机器阅读理解与问答&聊天机器人实践指南

机器阅读理解、机器问答、聊天机器人都是近年大热的方向,其研究与应用领域都进展飞速。本期书单就由微软高级研究员、斯坦福大学计算机系博士朱晨光为大家推荐了一组相关书籍,并对机器阅读理解任务作了解析。朱晨光博士精通自然语言处理、对话机器人语义理解、机器阅读理解研究,曾在 SQuAD 1.0 机器阅读理解竞赛中获得第一,与微软亚洲研究院的合作研究成果在 CoQA 对话式问答挑战赛中获得第一并超越人类水平。

发布时间:2020-05-19 类型:深度文章

模型小快好!微软预训练语言模型通用压缩方法MiniLM助你“事半功倍”

大规模预训练模型在自然语言理解和生成任务中表现优异,但巨大的参数量和计算成本让其很难直接部署到线上产品中。为此,微软亚洲研究院提出了一种将基于 Transformer 的预训练大模型压缩成预训练小模型的通用方法:深度自注意力知识蒸馏(Deep Self-Attention Distillation),让预训练模型又快又好。预训练模型和微调代码现已开源。

发布时间:2020-05-12 类型:深度文章

集“百家”之长,成一家之言!微软提出全新预训练模型MPNet

近年来,预训练语言模型无疑成为了自然语言处理的研究热点。这些模型通过设计有效的预训练目标,在大规模语料上学习更好的语言表征来帮助自然语言的理解和生成。其中,BERT 采用的掩码语言模型 MLM 和 XLNet 采用的排列语言模型 PLM 是两种比较成功的预训练目标。然而,这两种训练目标各有优缺,具有较大的提升空间。为此,微软亚洲研究院机器学习组的研究员们,继去年面向自然语言生成任务推出预训练模型 MASS 之后,在自然语言理解任务上推出全新预训练模型 MPNet。它在 PLM 和 MLM 的基础上扬长避短,在自然语言理解任务 GLUE 和 SQuAD 中,超越 BERT、XLNet 和 RoBERTa 等预训练模型,取得了更好的性能。

发布时间:2020-04-21 类型:深度文章

赋能RPA时代,微软发布通用文档理解预训练模型LayoutLM

近年大热的机器人流程自动化(Robotic Process Automation, RPA)利用 AI 技术将人们从繁杂的电子文档处理任务中解放出来,其中最关键就是自动文档分析与识别技术。面对大量无标注电子文档,现有的大规模预训练语言模型能够在预训练阶段有效捕捉文本中蕴含的语义信息,但忽视了文档中的视觉结构信息。微软亚洲研究院近日发布了结合文档结构信息和视觉信息的通用文档预训练模型 LayoutLM,在表单理解、票据理解、文档图像分类等任务的测试中均取得了目前的最佳成绩,模型、代码和论文都已开放下载。

发布时间:2020-03-10 类型:深度文章

2020开年解读:NLP新范式凸显跨任务、跨语言能力,语音处理落地开花

2020年伊始,我们总结、展望了微软亚洲研究院在多个 AI 领域的突破与趋势,比如,更亲民的机器学习和更精巧的 AI 系统;数据洞察的获得变得更智能,AI 推进三维构建的发展;以及突破固化的计算机视觉和更具商用价值的 OCR 引擎。今天,我们将探索自然语言处理(Natural Language Processing,NLP)范式的新发展,以及微软亚洲研究院在语音识别与合成领域的创新成果。

发布时间:2020-01-17 类型:深度文章

机器推理系列第五弹:文本+视觉,跨模态预训练新进展

机器推理要求利用已有的知识和推断技术对未见过的输入信息作出判断,在自然语言处理领域中非常重要。此前我们介绍了机器推理系列的概览,机器推理在常识问答、事实检测、跨语言预训练、多轮语义分析和问答任务中的应用,本文作为该系列的第五篇,将介绍微软亚洲研究院在跨模态预训练领域的研究进展。

发布时间:2020-01-14 类型:深度文章