ACL 2023|大模型时代,自然语言领域还有什么学术增长点?

国际计算语言学年会(Annual Meeting of the Association for Computational Linguistics,简称 ACL)是自然语言处理(NLP)领域的顶级国际会议,ACL 2023 将于2023年7月9-14日在加拿大多伦多举行。随着人工智能技术的快速发展,确保相关技术能被人们信赖是一个需要攻坚的问题。微软亚洲研究院也在不断推进负责任的人工智能的探索发现与应用实践。今天我们为大家带来3篇微软亚洲研究院以负责任的人工智能为主题入选 ACL 2023 的论文。

发布时间:2023-07-04 类型:深度文章

CVPR 2023 | 掩码图像建模MIM的理解、局限与扩展

编者按:掩码图像建模(Masked Image Modeling, MIM)的提出,为计算机视觉模型训练引入无监督学习做出了重要贡献。得益于 MIM 的预训练算法,计算机视觉领域在近年来持续输出着优质的研究成果。然而整个业界对 MIM 机制的研究仍存在不足。

发布时间:2023-06-20 类型:深度文章

CVPR 2023 | 计算机视觉顶会亮点前瞻

在知识和技术都迅速更新迭代的计算机领域中,国际计算机视觉与模式识别会议(CVPR)是计算机视觉方向的“顶级流量”,引领着学科及相关领域的研究潮流。今天我们为大家带来5篇微软亚洲研究院被 CVPR 2023 收录的论文,主题涵盖手语识别与检索、多模态生成、图像编辑、视频理解任务等。

发布时间:2023-06-14 类型:深度文章

以科技之力,守护地球家园:微软亚洲研究院助力实现可持续发展

编者按:2023年3月,联合国政府间气候变化专门委员会发布的一份报告[1]表明:“人类活动主要通过排放温室气体,已毋庸置疑引起了全球变暖。不利的气候影响已经比预期的更加深远和极端”。这些巨大的排放量来自全球各行各业,与整个人类的活动都密切相关,随着人类文明的发展,地球也正在遭受破坏。保护环境,建设和谐的生态家园,是人类共同的责任。

发布时间:2023-06-05 类型:深度文章

LLM时代,探索式数据分析的升级之路有哪些新助攻?

在这个信息爆炸的时代,数据已经成为我们生活、工作中不可或缺的重要资源。大量的数据犹如一座座金矿,蕴藏着无尽的价值。然而,如果无法从数据中提取出知识和信息并加以有效利用,那么数据本身并不能驱动和引领技术应用取得成功。如何让数据发挥它最大的价值?是数据、知识与智能(DKI)组持续探索的方向,为了实现这一目标,研究员们在探索式数据分析(Exploratory Data Analysis,EDA)领域进行了一系列的研究工作,相关成果已发表在 SIGMOD 2017、SIGMOD 2019、SIGMOD 2021、KDD 2022 和 SIGMOD 2023 等全球顶会上。同时,该系列工作也已应用于 Microsoft Excel,Microsoft Power BI 和 Microsoft Forms 等微软产品中。

发布时间:2023-05-31 类型:深度文章

隐藏在Microsoft Designer背后的新科技,让人人都是设计师

编者按:在视觉图像设计中,用户的需求与最终的设计成品往往是“想象很美好,现实很骨感”。这通常是因为用户在与设计师沟通时,双方理解不一致,导致最终设计结果不尽如人意。但是,如果能够“自给自足”,借助人工智能技术为每个人赋予设计能力,是否会更容易让自己脑海中的画面变为现实?智能化设计工具 Microsoft Designer 就是一个能辅助用户成为设计师的好帮手。

发布时间:2023-05-31 类型:深度文章

多项创新技术加持,实现零COGS的Microsoft Editor语法检查器

编者按:Microsoft Editor 是一款人工智能写作辅助工具,其中的语法检查器(grammar checker)功能不仅可以帮助不同水平、领域的用户在写作过程中检查语法错误,还可以对错误进行解释并给出正确的修改建议。神经语法检查器模型是这款提供了强大拼写检查和语法纠正服务的 Microsoft Editor 背后的关键技术,该模型采用了微软亚洲研究院创新的 Aggressive Decoding 算法,并借助高性能 ONNX Runtime(ORT) 进行加速,使服务器端的模型推理速度提升了200%,在不损失模型预测质量的情况下,节省了三分之二的成本。神经语法检查器模型还使用了微软亚洲研究院前沿的客户端 seq2seq 建模技术 EdgeFormer,构建了性能优异的轻量级生成语言模型,结合部署中的模型和系统优化,该技术可赋能用户在设备上的部署,从而实现零销货成本(zero-COGS, zero-cost-of-goods-sold)的目标。本文编译自微软研究院博客 “Achieving Zero-COGS with Microsoft Editor Neural Grammar Checker”。

发布时间:2023-05-23 类型:深度文章

LLM Accelerator:使用参考文本无损加速大语言模型推理

编者按:如今,基础大模型正在诸多应用中发挥着日益重要的作用。大多数大语言模型的训练都是采取自回归的方式进行生成,虽然自回归模型生成的文本质量有所保证,但却导致了高昂的推理成本和长时间的延迟。由于大模型的参数量巨大、推理成本高,因此如何在大规模部署大模型的过程中降低成本、减小延迟是一个关键课题。针对此问题,微软亚洲研究院的研究员们提出了一种使用参考文本无损加速大语言模型推理的方法 LLM Accelerator,在大模型典型的应用场景中可以取得两到三倍的加速。

发布时间:2023-05-17 类型:深度文章

语音合成模型NaturalSpeech 2:只需几秒提示语音即可定制语音和歌声

编者按:如果问华语乐坛近期产量最高的歌手是谁,“AI 孙燕姿”一定有姓名。歌迷们先用歌手的音色训练 AI,再通过模型将其他歌曲转换成以歌手音色“翻唱”的歌曲。语音合成技术是“AI 孙燕姿”的背后支持。广义的语音合成包含文本到语音合成(Text to Speech,TTS)、声音转换等。在 TTS 领域,微软亚洲研究院机器学习组和微软 Azure 语音团队早已深耕多年,并在近期推出了语音合成模型 NaturalSpeech 2,只需几秒提示语音即可定制语音和歌声,省去了传统 TTS 前期训练过程,实现了零样本语音合成的跨越式发展。

发布时间:2023-05-10 类型:深度文章