排序方式

让天下没有难训练的大模型,微软亚洲研究院开源TorchScale

编者按:近期,微软亚洲研究院从深度学习基础理论出发,研发并推出了 TorchScale 开源工具包。TorchScale 工具包通过采用 DeepNet、Magneto 和 X-MoE 等最先进的建模技术,可以帮助研究和开发人员提高建模的通用性和整体性能,确保训练模型的稳定性及效率,并允许以不同的模型大小扩展 Transformer 网络。

发布时间:2023-02-01 类型:深度文章

高精度压缩Transformer,NNI剪枝一站式指南

无论在学术界还是产业界,今年人工智能大模型都是爆款话题。但面对这些动不动就数十亿级别参数的模型,使用传统方法微调,宛如水中捞月、海底捞针。作为微软亚洲研究院为科研人员和算法工程师量身定制的一站式 AutoML(自动机器学习)工具, NNI(Neural Network Intelligence)在过去的三年间不断迭代更新,加强了对各种分布式训练环境的支持,成为了最热门的 AutoML 开源项目之一。

发布时间:2023-01-11 类型:深度文章

微软亚洲研究院深入探索图深度学习领域两大挑战,以图深度学习赋能知识计算

编者按:在 NeurIPS 2022 联合 Open Graph Benchmark 举办的大规模图学习竞赛(Open Graph Benchmark Large-Scale Challenge,OGB-LSC)上,微软亚洲研究院数据、知识与智能(DKI)组的研究员们聚焦知识图谱的链接预测任务,通过更好的知识图谱补全方案,实现了知识图谱更高的“时效性”、“准确性”和“完备性”。而在今年2月 WSDM 2022 联合亚马逊举办的动态异质图上的链接预测竞赛中,DKI 组的研究员们也取得了优异的成绩,其研究成果强调了对异质图信息和时序信息的建模。

发布时间:2022-12-29 类型:深度文章

对话微软CTO Kevin Scott:人工智能的未来之路

如今,从为软件开发人员生成代码到为图形设计师绘制草图,由大型语言模型驱动的人工智能系统正在改变人们的工作和创作方式。微软执行副总裁兼首席技术官 Kevin Scott 认为,未来,无论是帮助应对气候变化及儿童教育等全球挑战,还是彻底变革医疗健康、法律、材料科学甚至科幻小说等领域,这些人工智能系统的复杂度和规模都将继续增长。

发布时间:2022-12-07 类型:深度文章

AI+病毒学研究:跨界合作就像无影灯,减少跨领域认知阴影

编者按:在地球上,任何一种生物都摆脱不了病毒的纠缠,所有生物都会被病毒感染,例如感染细菌的噬菌体,感染阿米巴虫的米米病毒,还有感染人体的各种病毒,包括肝炎病毒、狂犬病病毒、埃博拉病毒、艾滋病病毒、新冠病毒等等。经过多年的研究,人类是否认清了病毒的本质?病毒究竟从何而来,又将去往何处?人类能否真正消灭病毒?它与人类只是敌对关系吗?AI+病毒学的跨界研究能否追本溯源?

发布时间:2022-12-05 类型:深度文章

预见AIOps:让云计算更自主、更前瞻、更全面,也更易于管理

编者按:“建立一个可供数百万人每天使用,但只需一名兼职人员管理和维护的系统。”这是吉姆·格雷(Jim Gray)在1999年获得图灵奖时对无故障服务器系统的畅想。他设想了一个自管理的“空中服务器”,可以存储大量数据,并可按需刷新或下载数据。如今,随着人工智能(AI)、机器学习(ML)、云计算的出现和快速发展,以及微软对云智能/AIOps(智能运维)的开发,我们比以往任何时候都更接近这一愿景,并有望超越这一愿景。

发布时间:2022-12-01 类型:深度文章

NeurIPS 2022 |前沿研究探索既有创造力又负责任的人工智能

编者按:作为目前全球最负盛名的人工智能盛会之一,NeurIPS (Conference on Neural Information Processing Systems) 在每年年末都是计算机科学领域瞩目的焦点。被 NeurIPS 接收的论文,代表着当今神经科学和人工智能研究的最高水平。今年的 NeurIPS 大会将于11月28日至12月9日举行,本届大会共收到10411篇有效投稿,其中2672篇获接收,最终接收率为25.6%。相比去年,投稿数量继续增加。

发布时间:2022-11-24 类型:深度文章

人工智能开启甲骨文整理研究新范式

编者按:在甲骨学研究中,甲骨“校重”整理是一项费事费力但又极其重要的基础性研究工作。微软亚洲研究院与首都师范大学甲骨文研究中心莫伯峰教授团队合作开发的甲骨文校重助手Diviner,第一次将自监督AI模型引入到甲骨文“校重”工作中,并取得数百项新成果,为甲骨文整理领域开创了人工智能与人类专家协作(AI+HI)的全新研究范式。

发布时间:2022-11-22 类型:深度文章

微软T-ULRv6:引领基础模型向多语言“大一统”迈进

近日,微软通用语言表示模型再创新佳绩。最新的 T-ULRv6 在谷歌 XTREME 和 GLUE 排行榜上摘得双榜冠军,证明了单个多语言模型可以同时在英语和多语言理解任务上达到 SOTA 性能。这也是多语言理解模型首次在两个排行榜上同时夺魁,力压专用于英语或专用于多语言任务的模型,从而有助于消除“多语言诅咒”。

发布时间:2022-11-17 类型:深度文章