新闻中心

排序方式

代码智能新基准数据集CodeXGLUE来袭,多角度衡量模型优劣

代码智能(code intelligence)目的是让计算机具备理解和生成代码的能力,并利用编程语言知识和上下文进行推理,支持代码检索、补全、翻译、纠错、问答等场景。以深度学习为代表的人工智能算法,近年来在理解自然语言上取得了飞跃式的突破,代码智能也因此获得了越来越多的关注。该领域一旦有突破,将大幅度推动 AI 在软件开发场景的落地。

发布时间:2020-09-29 类型:深度文章

周明:预训练模型在多语言、多模态任务的进展

8月29日至30日,由中国科学技术协会、中国科学院、南京市人民政府为指导单位,中国人工智能学会、南京市建邺区人民政府、江苏省科学技术协会主办的主题为“智周万物”的2020年中国人工智能大会(CCAI 2020)在江苏南京新加坡·南京生态科技岛举办。在大会上,微软亚洲研究院副院长、国际计算语言学会(ACL)前任主席周明做了主题为《预训练模型在多语言、多模态任务的进展》的特邀报告。在大会上,微软亚洲研究院副院长、国际计算语言学会(ACL)前任主席、中国计算机学会副理事长周明做了主题为《预训练模型在多语言、多模态任务的进展》的特邀报告。

发布时间:2020-09-10 类型:深度文章

文档智能:通用文档预训练模型与数据集,推动NLP落地升级

随着数字化进程的加快,文档、图像等载体的结构化分析和内容提取成为关乎企业数字化转型成败的关键一环,自动、精准、快速的信息处理对于生产力的提升至关重要。以商业文档为例,不仅包含了公司内外部事务的处理细节和知识沉淀,还有大量行业相关的实体和数字信息。人工提取这些信息既耗时费力且精度低,而且可复用性也不高,因此,文档智能技术(Document Intelligence)应运而生。

发布时间:2020-08-19 类型:深度文章

IJCAI 2020 | 我们离有效的上下文建模还有多远?

一直以来,更好的上下文理解能力都是对话式语义解析模型追求的目标,学术界近几年也涌现了许多面向该场景的上下文建模方法。目前尚无研究对这些方法进行全面比较和深入分析,受此启发,微软亚洲研究院的科研人员在 IJCAI 2020 的论文中,全面评估了各种上下文建模方法的性能,并对不同方法在细粒度上下文现象的优势与困境做了深入分析。研究表明,目前的上下文建模方法仍不够成熟,在一些特定的上下文现象上表现不理想,因此未来该领域的研究任重而道远。

发布时间:2020-08-14 类型:深度文章

ACL 2020 | 微软亚洲研究院精选论文带你一览NLP前沿!

编者按:自然语言处理顶会 ACL 2020 将于7月5日-10日在线举行。本届大会中,微软亚洲研究院共有22篇论文被录取,内容涵盖机器翻译、文本生成、机器阅读理解、事实检测、人机对话等领域。本文精选了6篇有代表性的论文为大家介绍。

发布时间:2020-07-01 类型:深度文章

ACL 2020丨多轮对话推理数据集MuTual发布,聊天机器人常识推理能力大挑战

编者按:在构建聊天机器人时,现有对话模型的回复往往相关性较好,但经常出现常识和逻辑错误。由于现有的大部分检索式对话数据集都没有关注到对话的逻辑问题,导致评价指标也无法直接反映模型对对话逻辑的掌握程度。对此,微软亚洲研究院发布了多轮对话推理数据集 MuTual,针对性地评测模型在多轮对话中的推理能力。

发布时间:2020-06-28 类型:深度文章

ACL 2020丨ST-NMT:软目标模板助力神经机器翻译

现有的多数神经机器翻译模型直接从源文本逐词翻译,翻译后的文本存在些许机翻的生硬感。受到人类翻译过程和其他领域基于模板和基于语法的方法启发,微软亚洲研究院提出了一种使用从语法树结构中提取的模板作为软目标模板来指导翻译过程的方法 ST-NMT。实验表明,ST-NMT 模型在中-英、英-德、日-中等多个翻译任务上明显优于基线模型,证明了软目标模板的有效性。

发布时间:2020-06-16 类型:深度文章

机器阅读理解与问答&聊天机器人实践指南

机器阅读理解、机器问答、聊天机器人都是近年大热的方向,其研究与应用领域都进展飞速。本期书单就由微软高级研究员、斯坦福大学计算机系博士朱晨光为大家推荐了一组相关书籍,并对机器阅读理解任务作了解析。朱晨光博士精通自然语言处理、对话机器人语义理解、机器阅读理解研究,曾在 SQuAD 1.0 机器阅读理解竞赛中获得第一,与微软亚洲研究院的合作研究成果在 CoQA 对话式问答挑战赛中获得第一并超越人类水平。

发布时间:2020-05-19 类型:深度文章

模型小快好!微软预训练语言模型通用压缩方法MiniLM助你“事半功倍”

大规模预训练模型在自然语言理解和生成任务中表现优异,但巨大的参数量和计算成本让其很难直接部署到线上产品中。为此,微软亚洲研究院提出了一种将基于 Transformer 的预训练大模型压缩成预训练小模型的通用方法:深度自注意力知识蒸馏(Deep Self-Attention Distillation),让预训练模型又快又好。预训练模型和微调代码现已开源。

发布时间:2020-05-12 类型:深度文章

集“百家”之长,成一家之言!微软提出全新预训练模型MPNet

近年来,预训练语言模型无疑成为了自然语言处理的研究热点。这些模型通过设计有效的预训练目标,在大规模语料上学习更好的语言表征来帮助自然语言的理解和生成。其中,BERT 采用的掩码语言模型 MLM 和 XLNet 采用的排列语言模型 PLM 是两种比较成功的预训练目标。然而,这两种训练目标各有优缺,具有较大的提升空间。为此,微软亚洲研究院机器学习组的研究员们,继去年面向自然语言生成任务推出预训练模型 MASS 之后,在自然语言理解任务上推出全新预训练模型 MPNet。它在 PLM 和 MLM 的基础上扬长避短,在自然语言理解任务 GLUE 和 SQuAD 中,超越 BERT、XLNet 和 RoBERTa 等预训练模型,取得了更好的性能。

发布时间:2020-04-21 类型:深度文章