新闻中心

排序方式

FastSpeech语音合成系统技术升级,微软联合浙大提出FastSpeech2

基于深度学习的端到端语音合成技术进展显著,但经典自回归模型存在生成速度慢、稳定性和可控性差的问题。去年,微软亚洲研究院和微软 Azure 语音团队联合浙江大学提出了快速、鲁棒、可控的语音合成系统 FastSpeech,近日研究团队又将该技术升级,提出了 FastSpeech 2 和 FastSpeech 2s,在提升语音合成质量的同时,大大简化了训练流程,减少了训练时间,加快了合成速度。

发布时间:2020-06-23 类型:深度文章

让大规模深度学习训练线性加速、性能无损,基于BMUF的Adam优化器并行化实践

深度学习领域经典的 Adam 算法在大规模并行训练的情况下会导致模型性能损失。为了解决这一问题,微软亚洲研究院采用 BMUF 框架对 Adam 算法进行了并行化,并在微软大规模 OCR 和语音产品数据集上进行了测试,使其在并行训练中几乎实现了线性加速的同时,模型性能基本无损。

发布时间:2020-05-28 类型:深度文章

集“百家”之长,成一家之言!微软提出全新预训练模型MPNet

近年来,预训练语言模型无疑成为了自然语言处理的研究热点。这些模型通过设计有效的预训练目标,在大规模语料上学习更好的语言表征来帮助自然语言的理解和生成。其中,BERT 采用的掩码语言模型 MLM 和 XLNet 采用的排列语言模型 PLM 是两种比较成功的预训练目标。然而,这两种训练目标各有优缺,具有较大的提升空间。为此,微软亚洲研究院机器学习组的研究员们,继去年面向自然语言生成任务推出预训练模型 MASS 之后,在自然语言理解任务上推出全新预训练模型 MPNet。它在 PLM 和 MLM 的基础上扬长避短,在自然语言理解任务 GLUE 和 SQuAD 中,超越 BERT、XLNet 和 RoBERTa 等预训练模型,取得了更好的性能。

发布时间:2020-04-21 类型:深度文章

ICLR 2020丨微软亚洲研究院精选论文解读

编者按:在全球疫情影响之下,原计划首次在非洲举行的国际 AI 学术会议 ICLR 2020 将成为第一届完全通过网络远程举行的 ICLR 会议。本文为大家介绍的4篇微软亚洲研究院精选论文分别研究了 BERT 在机器翻译中的应用,有理论保障的对抗样本防御模型 MACER,一种新的基于自我博弈的文本生成对抗网络(GAN)训练算法,以及可广泛应用于视觉-语言任务的预训练通用特征表示 VL-BERT。

发布时间:2020-04-20 类型:深度文章

微软超级麻将AI Suphx论文发布,研发团队深度揭秘技术细节

2019年8月,微软在世界人工智能大会上正式宣布由微软亚洲研究院研发的麻将 AI 系统 Suphx 成为首个在国际知名专业麻将平台“天凤”上荣升十段的 AI 系统,其实力超越该平台公开房间顶级人类选手的平均水平。麻将 AI 到底有哪些难点?Suphx 这一在游戏 AI 领域具有跨越性的突破具体是如何实现的?微软亚洲研究院 Suphx 研发团队已将相关论文发表在 arXiv 上,本文将为大家解读论文的核心内容。

发布时间:2020-04-08 类型:深度文章

低耗时、高精度,微软提出基于半监督学习的神经网络结构搜索算法SemiNAS

近年来,神经网络结构搜索(Neural Architecture Search, NAS)取得了较大的突破,但仍然面临搜索耗时及搜索结果不稳定的挑战。为此,微软亚洲研究院机器学习组提出了基于半监督学习的神经网络结构搜索算法 SemiNAS ,能在相同的搜索耗时下提高搜索精度,以及在相同的搜索精度下减少搜索耗时。SemiNAS 可在 ImageNet(mobile setting) 上达到23.5%的 top-1 错误率和6.8%的 top-5 错误率。同时,SemiNAS 第一次将神经网络结构搜索引入文本到语音合成任务(Text to Speech, TTS)上,在低资源和鲁棒性两个场景下取得了效果提升。

发布时间:2020-03-30 类型:深度文章

2019盘点:机器学习更亲民,AI系统更精巧

本文与大家分享的是2019年机器学习和系统领域的突破与进展,以及未来趋势。如果说机器学习可以算是 AI 的大脑,那么系统网络就像 AI 的身体躯干。AI 的进一步普及,需要对机器学习算法、模型、理论等进行不断地优化和提炼,同时也需要能够构建出高效、稳定、可信乃至“精巧”的 AI 系统,为 AI 应用的真正落地做好诸多准备。

发布时间:2020-01-06 类型:深度文章

NeurIPS 2019 | 全参数化分布,提升强化学习中的收益分布拟合能力

强化学习正在游戏领域中被广泛应用,其中基于分布拟合的强化学习算法是目前性能最好的一类方法。在这类方法中,如何参数化收益分布是算法设计的核心问题。现有的参数化方法在对累积概率分布进行拟合的时候,往往是选择固定的分位点概率或者随机采样的分位点概率。但是不同分位点概率带来的拟合误差往往差别很大。为了更好的拟合收益分布,微软亚洲研究院提出了可自适应的累积分布分位点概率,可以找出对于拟合累积分布函数最关键的几个分位点概率,实现了全参数化的分位函数,大大提升了对收益分布的拟合能力。

发布时间:2019-12-10 类型:深度文章

游戏 AI 挑战进阶,即时策略游戏和非完美信息游戏成为热点

在前面两篇文章中,我们回顾了游戏 AI 历史上的几个经典算法和里程碑事件,还介绍了如何从数学角度衡量象棋、围棋、扑克、麻将等棋牌类游戏 AI 的复杂度。在这篇文章里,我们将分享几个近年来非常成功的游戏 AI,同时介绍几个尚未被 AI 攻克的流行游戏,它们无疑代表着未来游戏 AI 的发展方向和趋势。

发布时间:2019-08-21 类型:深度文章