新一代多模态文档理解预训练模型LayoutLM 2.0，多项任务取得新突破！
近年来，预训练模型是深度学习领域中被广泛应用的一项技术，对于自然语言处理和计算机视觉等领域的发展影响深远。2020年初，微软亚洲研究院的研究人员提出并开源了通用文档理解预训练模型 LayoutLM 1.0，受到了广泛关注和认可。如今，研究人员又提出了新一代的文档理解预训练模型 LayoutLM 2.0，该模型在一系列文档理解任务中都表现出色，并在多项任务中取得了新的突破，登顶 SROIE 和 DocVQA 两项文档理解任务的排行榜（Leaderboard）。未来，以多模态预训练为代表的智能文档理解技术将在更多的实际应用场景中扮演更为重要的角色。
发布时间：2021-01-13 类型：深度文章
值分布强化学习（Distributional Reinforcement Learning）是一类基于价值的强化学习算法，也是一类新兴的强化学习方法。该方法达到了非分布式强化学习方法上新的基准性能，也与神经科学有着内在联系，因此具有很高的研究价值。本文将带大家一起选读多个近期值分布强化学习相关的研究工作，这些工作的发展脉络清晰、研究动机明确，为后续的进一步研究提供了重要参考。
发布时间：2021-01-08 类型：深度文章
最近，除了针对自然语言理解（NLU）任务设计的预训练语言模型，许多针对自然语言生成（NLG）任务而设计的预训练语言模型也被不断提出。然而，这些模型往往通过不同的任务、数据集、和评测指标进行评估，目前还没有一个统一的通用评测基准。为了填补 NLG 通用评测基准这一空缺，微软亚洲研究院提出了业内首个通用的语言生成评测基准 GLGE (General Language Generation Evaluation benchmark)。GLGE 提供了三种不同难度的的评测基准，以方便研究者们更全面或更有选择性地对模型进行评估。
发布时间：2021-01-06 类型：深度文章
不平凡的2020年即将结束。在这个回顾过去、展望未来的时刻，微软亚洲研究院推出了2020年度技术精选专辑。先让我们一起通过专辑的 “MV”，来看一下这张技术精选集都收录了哪些黑科技。
发布时间：2020-12-30 类型：深度文章
Transformer 模型在自然语言领域被提出后，目前已经扩展到了计算机视觉、语音等诸多领域。然而，虽然 Transformer 模型在语音识别领域有着更好的准确率，但在流式的语音识别场景下，Transformer 模型的速度和延时往往阻碍其实际的应用。为了解决这个问题，微软 Azure 语音团队与微软亚洲研究院的研究员们一起提出了一套结合 Transformer 家族的编码器和流式 Transducer 框架的解决方案，并提出了 Mask is all you need 的方法对模型进行快速训练以及解码，让 Transformer 模型能够在普通的计算设备上进行快速的语音识别。
发布时间：2020-12-30 类型：深度文章
随着 AI 领域越来越火热，各大顶会的论文发布似乎也越来越难：AAAI 2020 放榜，8800 篇提交论文创历史记录；CVPR 2020 被称为十年来最难投中的一届；IJCAI 2020 审稿堪称史上最严，创下了史上最低的接收率 12.6%；OSDI 2020 录用率不足18%；NeurIPS 2020 论文投稿数量创历史最高，但接收率却为史上最低……
发布时间：2020-12-24 类型：深度文章
如何评价一个人的语言学习水平？除了通过客观题判断外，还需要主观打分，比如作文打分、口语评测等。然而，主观评价往往成本较高，评价结果也常不能保持一致。为此，微软小英团队提出了利用序数回归的新方法，应用于发音、语音流畅度、英文写作三方面的打分。
发布时间：2020-12-17 类型：深度文章
在困难时期——2020年毫无疑问可以称得上是困难时期——我们中那些喜爱阅读的人尝试了所有种类的不同书籍。今年，有些时候我选择在一个棘手问题上深入探索，例如作为今年“黑人的命也是命”运动基础的不公正问题。其他时候，我需要换一个节奏，在一天结束时想点轻松些的事。这造成我读了各种各样的书，其中不乏优秀作品。在2020年行将结束时，我想推荐以下五本涉及各类主题的书。希望你能从中有所收获，从而帮助你——或你认识的喜爱阅读的朋友——给这一年画上美好的句号。
发布时间：2020-12-11 类型：深度文章
NeurIPS 2020 | 微软亚洲研究院论文摘录之强化学习&GAN篇
12月6日至12日，国际人工智能顶级会议 NeurIPS 2020 在线上举办。相比前几年，NeurIPS2020 无论是论文的投稿数量还是接收率都创下了记录：论文投稿数量创历史最高记录，相比去年增长了38%，接收率却为史上最低。今天，我们精选了微软亚洲研究院入选 NeurIPS 2020 中有关强化学习和生成式对抗网络 GAN 领域的工作，为大家进行介绍。
发布时间：2020-12-10 类型：深度文章
