新闻中心

排序方式

让大规模深度学习训练线性加速、性能无损,基于BMUF的Adam优化器并行化实践

深度学习领域经典的 Adam 算法在大规模并行训练的情况下会导致模型性能损失。为了解决这一问题,微软亚洲研究院采用 BMUF 框架对 Adam 算法进行了并行化,并在微软大规模 OCR 和语音产品数据集上进行了测试,使其在并行训练中几乎实现了线性加速的同时,模型性能基本无损。

发布时间:2020-05-28 类型:深度文章

CVPR 2020丨基于记忆增强的全局-局部整合网络:更准确的视频物体检测方法

在视频物体检测任务中,由于相机失焦、物体遮挡等问题,仅基于图像的目标检测器很可能达不到令人满意的效果。针对此类问题,微软亚洲研究院提出了基于记忆增强的全局-局部整合网络(Memory Enhanced Global-Local Aggregation, MEGA),它可以在只增加非常小的计算开销的前提下,整合大量的全局信息和局部信息来辅助关键帧的检测,从而显著地提升了视频物体检测器的性能。在广泛使用的 ImageNet VID 数据集中,此方法达到了截至目前的最好结果。

发布时间:2020-05-26 类型:深度文章

CVPR 2020丨Variational DropPath:提高3D CNN时空融合分析效率的秘诀

时空融合(Spatiotemporal fusion)是三维卷积神经网络(3D CNNs)的关键要素,它决定了网络前馈过程中每一层如何提取、融合空间信号和时间信号。目前已有的时空融合分析方法囿于过大的网络训练开销,仅能对有限数量的融合策略进行网络级别分析。微软亚洲研究院将时空融合策略嵌入到预先定义的概率空间,从而能够对任意多种融合策略进行网络级评估,而不必分别训练它们,极大地提高了针对时空融合策略的分析效率。

发布时间:2020-05-25 类型:深度文章

机器阅读理解与问答&聊天机器人实践指南

机器阅读理解、机器问答、聊天机器人都是近年大热的方向,其研究与应用领域都进展飞速。本期书单就由微软高级研究员、斯坦福大学计算机系博士朱晨光为大家推荐了一组相关书籍,并对机器阅读理解任务作了解析。朱晨光博士精通自然语言处理、对话机器人语义理解、机器阅读理解研究,曾在 SQuAD 1.0 机器阅读理解竞赛中获得第一,与微软亚洲研究院的合作研究成果在 CoQA 对话式问答挑战赛中获得第一并超越人类水平。

发布时间:2020-05-19 类型:深度文章

对话ACM Fellow周礼栋:博士之后,下一站在哪儿?

《Nature》针对全球6000多位博士生进行的一项调查,揭示了三分之一的博士生可能经历焦虑抑郁。研究瓶颈、毕业延期、求职压力,博士生涯可谓“南上加南”。临近毕业的计算机博士们更容易感到纠结:读完博士该去哪儿?学术界还是产业界?科技公司研究院还是创业?微软亚洲研究院副院长、国际计算机学会院士(ACM Fellow)周礼栋和我们聊了聊他的看法。

发布时间:2020-05-15 类型:深度文章

模型小快好!微软预训练语言模型通用压缩方法MiniLM助你“事半功倍”

大规模预训练模型在自然语言理解和生成任务中表现优异,但巨大的参数量和计算成本让其很难直接部署到线上产品中。为此,微软亚洲研究院提出了一种将基于 Transformer 的预训练大模型压缩成预训练小模型的通用方法:深度自注意力知识蒸馏(Deep Self-Attention Distillation),让预训练模型又快又好。预训练模型和微调代码现已开源。

发布时间:2020-05-12 类型:深度文章

CVPR 2020丨更准确的弱监督视频动作定位,从生成注意力模型出发

爆发式增长的海量热门视频正在对视频处理技术提出更高的要求,弱监督学习因此越来越重要。针对弱监督动作定位中的关键问题,微软亚洲研究院提出了一种新的思路,从特征表示的角度捕捉上下文和动作片段的区别,进一步提高了动作定位效果。

发布时间:2020-05-08 类型:深度文章

从意大利客户的抗疫历程中,我们能学到什么?

在新冠肺炎疫情期间,许多组织转为远程办公,这也让我们能够了解到一些客户的精彩故事——这些客户发现了沟通、协作和保持业务正常运转的新方式。我们也希望借此机会,分享他们在疫情期间的一些经验。最近我们在持续进行全球受疫情影响下的地区客户的经验分享,比如大中华区的故事。今天,我请我的同事、微软意大利公司资深业务主管 Luba Manolova,将分享意大利客户如何在特殊困难时期找到了创新的工作方式。

发布时间:2020-04-30 类型:深度文章

CVPR 2020丨MaskFlownet:基于可学习遮挡掩模的非对称特征匹配

在光流预测任务中,形变带来的遮挡区域会干扰特征匹配的结果。在这篇 CVPR 2020 Oral 论文中,微软亚洲研究院提出了一种可学习遮挡掩模的非对称特征匹配模块,它可以被轻松结合到端到端的基础网络中,无需任何额外数据和计算开销地学习到遮挡区域,从而显著改进光流预测的结果。

发布时间:2020-04-29 类型:深度文章