排序方式

细粒度稀疏也能取得高加速比:神经网络模型压缩与加速的新思路

深度神经网络让人工智能在多个领域获得了极大的进步,但随着模型日益变大、变复杂,深度神经网络的低延迟推理对应用落地来说至关重要。为此,微软亚洲研究院系统与网络组从模型的稀疏性入手解决计算力需求增长与供应之间的矛盾,通过利用权重稀疏性(weight sparsity)和特征图稀疏性(feature map sparsity)同时达到高准确率,高模型压缩率和加速比。

发布时间:2019-06-20 类型:深度文章

速度提升270倍!微软和浙大联合推出全新语音合成系统FastSpeech

目前,基于神经网络的端到端文本到语音合成技术发展迅速,但仍面临不少问题——合成速度慢、稳定性差、可控性缺乏等。为此,微软亚洲研究院机器学习组和微软(亚洲)互联网工程院语音团队联合浙江大学提出了一种基于Transformer的新型前馈网络FastSpeech,兼具快速、鲁棒、可控等特点。与自回归的Transformer TTS相比,FastSpeech将梅尔谱的生成速度提高了近270倍,将端到端语音合成速度提高了38倍,单GPU上的语音合成速度达到了实时语音速度的30倍。

发布时间:2019-05-30 类型:深度文章

ICML 2019 | 微软提出极低资源下语音合成与识别新方法,小语种也不怕没数据了!

目前,人类使用的语言种类有近7000种,然而由于缺乏足够的语音-文本监督数据,绝大多数语言并没有对应的语音合成与识别功能。为此,微软亚洲研究院机器学习组联合微软(亚洲)互联网工程院语音团队在ICML 2019上提出了极低资源下的语音合成与识别新方法,帮助所有人都可以享受到最新语音技术带来的便捷。

发布时间:2019-05-15 类型:深度文章

ICML 2019 | 序列到序列自然语言生成任务超越BERT、GPT!微软提出通用预训练模型MASS

从2018年开始,预训练(pre-train) 毫无疑问成为NLP领域最热的研究方向。借助于BERT和GPT等预训练模型,人类在多个自然语言理解任务中取得了重大突破。然而,在序列到序列的自然语言生成任务中,目前主流预训练模型并没有取得显著效果。为此,微软亚洲研究院的研究员在ICML 2019上提出了一个全新的通用预训练方法MASS,在序列到序列的自然语言生成任务中全面超越BERT和GPT。在微软参加的WMT19机器翻译比赛中,MASS帮助中-英、英-立陶宛两个语言对取得了第一名的成绩。

发布时间:2019-05-09 类型:深度文章

一文详解ICLR 2019微软亚洲研究院6篇入选论文

ICLR 2019 于5月6日至9日在美国新奥尔良举行,本届投稿比去年增长了近60%,共收到1591篇,录取率为31.7%。由微软研究院与蒙特利尔大学 MILA 研究所合作的论文《Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks》获得了最佳论文奖。来自微软亚洲研究院的6篇论文入选了本届ICLR,内容涵盖多智能体的对偶学习、自然语言生成模型训练中的表征退化问题、基于知识蒸馏的多语言神经机器翻译、多视图立体场景重建等。

发布时间:2019-05-07 类型:深度文章

Machine Teaching:用人类的专业知识与经验指导机器学习

随着AI应用的场景越来越丰富,加上数据量小、任务复杂等种种实践中可能出现的挑战,有时机器学习的结果并不理想,而且效率低下。而我们人类拥有丰富的专业经验,为什么不向机器传授一些小诀窍呢?为此,微软研究院推出了一种辅助方法——“机器教学”(Machine Teaching),人类可以利用自己的专业知识和经验帮助AI进行更有针对性的学习,帮助强化学习算法更快地找到解决方案。

发布时间:2019-04-30 类型:深度文章

Azure如何利用机器学习“预知”虚拟机故障?

云服务的一大优势,是使用户无需担心如何管理硬件资源和处理硬件故障。然而,如果云服务发生了硬件故障,该怎么办?现在,得益于微软亚洲研究院最新磁盘故障预测和节点故障预测的研究成果,Azure能够“预知”云服务中的硬盘故障,提前发出警示,并进行用户可控制的自动迁移流程,最大程度地减少硬件故障的影响。

发布时间:2019-04-23 类型:深度文章

WMT 2019国际机器翻译大赛:微软亚洲研究院以8项第一成为冠军

近日,由国际计算语言学协会ACL(The Association for Computational Linguistics)举办的WMT 2019国际机器翻译比赛的客观评测结果揭晓,微软亚洲研究院机器学习组在参加的11项机器翻译任务中,有8项获得了第一名,另外3项获得第二名,凭借多维度的技术创新成为冠军团队。

发布时间:2019-04-22 类型:深度文章

刘铁岩经验分享:形成机器学习研究的闭环

3月18日,微软AI讲堂2019校园行在第一站——中国科学院计算技术研究所启幕,微软亚洲研究院副院长刘铁岩博士为同学们带来了一场精彩的主题演讲,分享如何弥合研究与实际应用的裂隙,从现实中发现机器学习的研究问题,做帮助人们解决现实痛点的机器学习研究。

发布时间:2019-03-27 类型:深度文章

刘铁岩谈机器学习:随波逐流的太多,我们需要反思

人工智能正受到越来越多的关注,而这波人工智能浪潮背后的最大推手就是“机器学习”。机器学习从业者在当下需要掌握哪些前沿技术?展望未来,又会有哪些技术趋势值得期待?近期,微软亚洲研究院副院长刘铁岩博士受AI科技大本营和华章科技邀请,参与了一堂在线公开课,与大家分享微软研究院最新的研究成果,以及对机器学习领域未来发展趋势的展望。

发布时间:2019-01-07 类型:深度文章