新闻中心

排序方式

智能文档新成员:动态文档智能模型MarkupLM

编者按:自2019年以来,微软亚洲研究院在“智能文档”领域进行了诸多探索,提出了通用文档理解预训练模型 LayoutLM,以及多语言通用文档理解预训练模型 LayoutXLM。然而,除了诸多视觉效果固定不变的文档外,现实中还存在大量实时渲染的动态视觉富文本文档,直接套用过去如 LayoutLM 系列模型中采用的基于二维空间坐标的布局编码对动态文档进行建模是不现实的。为此,微软亚洲研究院的研究员们开发了一种全新模型 MarkupLM,可直接对动态文档的标记语言源代码进行处理,不需要任何额外的计算资源即可渲染生成动态文档的实际视觉效果。实验结果表明,MarkupLM 显著优于过去基于网页布局的方法,且具有高实用性。

发布时间:2021-11-25 类型:深度文章

EMNLP 2021 | 微软亚洲研究院NLP领域最新研究一览

编者按:EMNLP(Conference on Empirical Methods in Natural Language Processing)是计算语言学和自然语言处理领域的顶级国际学术会议。今年的 EMNLP 大会于11月7日-11日正式在线上召开。在本届大会中,微软亚洲研究院有多篇论文入选,今天我们精选了其中的6篇来为大家进行简要介绍。欢迎感兴趣的读者阅读论文原文,一起了解自然语言处理领域的前沿进展!

发布时间:2021-11-09 类型:深度文章

EMNLP 2021 | LayoutReader:基于ReadingBank的阅读序列抽取模型

阅读序列抽取是文档智能分析中一项非常重要的任务,其旨在通过抽取扫描文档或数字商业文档中的单词并重新进行排序,将原本独立的单词组合成读者可以理解的文本。但由于日常工作生活中使用的文档,往往模板和格式各不相同,所以在出现复杂格式时,按照传统方法进行排列往往无法取得较好的效果。因此,微软亚洲研究院自然语言计算组的研究员们构建了首个大规模阅读序列数据集 ReadingBank,并基于 ReadingBank 提出了阅读序列抽取模型 LayoutReader。本文将对 ReadingBank 和 LayoutReader 的实现原理进行简要介绍,欢迎感兴趣的读者点击阅读原文了解论文中的更多详情,本文已被 EMNLP 2021 作为长文录取。

发布时间:2021-11-04 类型:深度文章

精心设计的 GNN 只是“计数器”?

问答(QA)任务是自然语言理解领域中一个基本且重要的课题,目前通常会使用预训练语言模型以及图神经网络等方法对问答进行推理。GNN 模块在推理中到底发挥了什么作用?这个问题需要科研人员做进一步深入探究。为此,微软亚洲研究院和佐治亚理工的研究员们剖析了最前沿的相关方法,并且发现一种极其简单、高效的图神经计数器就能在主流的知识问答数据集中取得更好的效果。

发布时间:2021-10-29 类型:深度文章

ACL 2021 | PENS: 个性化新闻标题生成数据集

为了开展新闻标题生成任务的研究,微软亚洲研究院的研究员们构建了第一个可以离线评测个性化新闻标题生成方法的基准数据集:PENS(PErsonalized News headlineS)数据集;同时还提出了一种个性化新闻标题生成的通用框架,并且对其进行了效果评估。该论文 “PENS: A Dataset and Generic Framework for Personalized News Headline Generation” 已被 ACL 2021 收录。

发布时间:2021-08-04 类型:深度文章

ACL 2021 | 今年NLP的这些论文,你不能错过!

自然语言处理领域的国际顶级学术会议ACL 2021于8月1日-6日在线举办。本届大会共计接收论文3350篇,其中21.3%的论文录用到了主会中,14.9%的论文录用在了Findings子刊中,其综合录用率达36.2%。在此次会议中,微软亚洲研究院也有多篇论文入选,本文精选了其中的6篇进行介绍,论文主题涵盖:跨语言命名实体识别、代码搜索、音乐生成、Hi-Transformer、预训练模型、语义交互等。欢迎感兴趣的读者阅读论文原文,希望对你的研究痛点有所启发和帮助!

发布时间:2021-08-03 类型:深度文章

ACL 2021 | 时空可控的图片描述生成

一直以来,图片描述生成任务都是人工智能领域研究人员们关注的热点话题。近期学术界提出的 Localized-Narratives 数据集,为图片描述生成的可控性和可解释性研究提供了新的机会。基于此,微软亚洲研究院的研究员们展开了深入研究,致力于对图像描述生成任务中所涉及的语义概念进行空间和时序关系上的控制,以提高其表现性能。同时,研究员们还提出了一种新模型 LoopCAG,并通过一系列实验证明了其在多个层面的可控性优势。针对视觉信号和语言信号的对应关系这一研究热点,研究员们从图片描述生成的可控性角度给出了解答,但想要深度理解和研究这一问题还有很长的路要走。希望感兴趣的读者可以阅读论文全文,并发表自己的独特观点,和研究员们一起交流学术感想!

发布时间:2021-07-29 类型:深度文章

ACL 2021 | 难度预测和采样平滑,提高ELECTRA模型的表现!

在 ELECTRA 模型的预训练过程中,生成器无法直接得到判别器的信息反馈,导致生成器的采样过程不够有效。而且,随着生成器的预测准确率不断提高,生成器会过采样那些正确的词作为替换词,从而使判别器的学习低效。为此,微软亚洲研究院提出了两种方法:难度预测和采样平滑,通过提高生成器的采样效率来提升模型的表现。相关研究论文 “Learning to Sample Replacements for ELECTRA Pre-Training” 已被 Findings of ACL 2021 收录。

发布时间:2021-07-28 类型:深度文章

微软亚洲研究院提出多语言通用文档理解预训练模型LayoutXLM

最近一段时间,基于文本、布局和图像的多模态预训练模型在视觉丰富的文档理解任务中取得了优异的性能,展现了不同模态之间联合学习的巨大潜力。继此前发布的通用文档理解预训练模型 LayoutLM 之后,微软亚洲研究院的研究员们进一步提出了一种基于多语言通用文档理解的多模态预训练模型 LayoutXLM,希望为丰富的视觉文档理解任务消除因不同语言所带来的障碍。同时,为了更精准地评估多语言文档理解预训练模型的性能,研究员们还引入了多语言表单理解基准数据集 XFUN。该数据集包含7种主流语言的表单理解标注样本:中文、日文、西班牙文、法文、意大利文、德文、葡萄牙文。

发布时间:2021-06-01 类型:深度文章

微软亚洲研究院最新研究成果:文字生成视频,只需一步

随着网络性能的不断提升,视频已经成为越来越多人获取信息、娱乐休闲的主要方式,与此同时也涌现出了不少视频的创作人员,他们将喜欢的人、事、物,以具有创意的视频形式呈现出来,这让和小编一样毫无视频创作细胞的小白羡慕不已。不过,这样的能力你很快就可以借助技术实现了,微软亚洲研究院提出的开放领域视频生成预训练模型 GODIVA,基于 3D 注意力机制,克服了视频帧连续性建模的挑战,可秒级实现基于文字脚本生成视频。

发布时间:2021-05-07 类型:深度文章