编者按：当前多模态模型大致分为两类，一类是专用多模态模型，如文本生成图像、文本生成视频等；另一类则是通用型多模态大语言模型，这类模型的目标是让人工智能具备自然语言理解和生成、图像识别，以及语音和视频的交互能力。近日，微软亚洲研究院又提供了一个新的选择——原生多模态大语言模型。它能够更深入地理解物理世界并执行多模态推理和跨模态迁移，其在不同模态的数据学习中还涌现出了新的能力。
发布时间：2024-09-03 类型：深度文章
编者按：当前多模态模型大致分为两类，一类是专用多模态模型，如文本生成图像、文本生成视频等；另一类则是通用型多模态大语言模型，这类模型的目标是让人工智能具备自然语言理解和生成、图像识别，以及语音和视频的交互能力。近日，微软亚洲研究院又提供了一个新的选择——原生多模态大语言模型。它能够更深入地理解物理世界并执行多模态推理和跨模态迁移，其在不同模态的数据学习中还涌现出了新的能力。
发布时间：2024-09-03 类型：深度文章
代码摘要、生成、翻译、修复全覆盖... WaveCoder开启代码智能新篇章
编者按：代码大语言模型（Code LLMs）作为大语言模型与编程领域结合的产物，可以通过自动生成和补全代码帮助开发者快速实现功能。但目前针对代码大语言模型的指令微调方法主要集中在传统的代码生成任务上，忽略了模型在处理复杂多任务场景中的表现。为此，来自微软亚洲研究院的研究员们开发了 WaveCoder 模型，其使用包含19,915个指令、涵盖4个代码任务的数据集 CodeSeaXDataset 进行训练，在代码摘要、生成、翻译、修复等多个代码任务的基准测试中显著优于其他开源模型，具有更强的泛化能力。近期，WaveCoder也已开源，希望可以成为开发者编程之旅中的得力伙伴！
发布时间：2024-08-30 类型：深度文章
编者按：随着数据量和模型规模的增加，大语言模型在指令执行、知识存储、逻辑推理和编程技能等方面展现出了突破性的能力。然而，大语言模型在产业领域的潜能尚未得到充分挖掘，特别是在满足产业数据分析、推理、预测、决策等数据智能需求方面。如何有效地变革各行业的数据模型及智能的构建方法与应用范式，仍然面临诸多挑战。为应对这些挑战，微软亚洲研究院提出了构建产业基础模型的倡议，其核心理念在于通过持续预训练，将产业数据智能相关的知识与技能融入到大语言模型中。基于这一理念，微软亚洲研究院开发了生成式表数据学习（Generative Tabular Learning，GTL）框架，展示了如何在表数据这一广泛使用的数据表征上，构建具有跨行业、跨数据模式、跨任务的产业基础模型。
发布时间：2024-08-28 类型：深度文章
Microsoft Research Forum第四期来了！一起来看多模态模型的最新技术进展与应用
人工智能技术正在不断突破我们的想象空间，并逐渐成为推动社会变革和科技进步的核心力量。在即将到来的 Microsoft Research Forum 第四期中，来自微软研究院不同实验室的研究员们将带大家了解最新的多模态 AI 模型、先进的 AI 评估基准和模型自我改进技术，以及全新的 AI 推理和复杂优化计算机，并与大家共同探讨 AI 模型将如何助力从天气预测到材料设计等各领域的进步。
发布时间：2024-08-27 类型：深度文章
编者按：在当今数据驱动的世界，理解复杂系统中的因果关系是科学研究和实际应用中的关键挑战。在人工智能领域，因果推理能力更是成为一个热门话题。如何揭示数据背后因果机制的关键？如何利用数据实现因果发现的突破？为回答这些问题，来自微软 DKI（Data, Knowledge and Intelligence，数据、知识与智能）领域的研究员们在进行了持续而深入的探索，其相关成果发表在 AAAI 2020、KDD 2022、SDM 2023、SIGMOD 2023 和 KDD 2024 等国际顶级学术会议上。同时，该系列工作也在 Microsoft Power BI 等产品中得到应用。
发布时间：2024-08-21 类型：深度文章
微软亚洲研究院多项创新技术，弥合大模型低比特量化与终端部署间鸿沟
编者按：在人工智能领域，模型参数的增多往往意味着性能的提升。但随着模型规模的扩大，其对终端设备的算力与内存需求也日益增加。低比特量化技术，由于可以大幅降低存储和计算成本并提升推理效率，已成为实现大模型在资源受限设备上高效运行的关键技术之一。然而，如果硬件设备不支持低比特量化后的数据模式，那么低比特量化的优势将无法发挥。
发布时间：2024-08-21 类型：深度文章
编者按：大语言模型在未使用多语言平行语料库进行预训练的情况下，依然表现出了卓越的多语言能力。但大模型如何处理多语言文本的底层机制仍是一个具有挑战性的问题。对此，微软亚洲研究院联合中国人民大学提出了语言激活概率熵，用于识别大模型中的语言特定神经元。该研究为理解和探索大模型的多语言能力提供了重要依据，并被自然语言处理领域的国际顶级学术会议 ACL 2024 收录。
发布时间：2024-08-14 类型：深度文章
编者按：生命健康是人类永恒的探索主题，也是医疗工作者不懈追求的使命。迈入全新的人工智能时代，如何让机器学习算法和人工智能大模型助力医疗健康行业发展，是学术界和产业界共同关注的议题。然而，从计算机领域看医学行业，与从医学需求出发寻找技术突破之间必然存在着认知偏差。身为具有执业医师资格的医学博士，微软亚洲研究院（上海）高级研究员王子龙对此有哪些独到的见解？他又将如何在人工智能与医疗健康之间架起创新的桥梁？
发布时间：2024-08-09 类型：人物
编者按：欢迎阅读“科研上新”栏目！“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里，你可以快速浏览研究院的亮点资讯，保持对前沿领域的敏锐嗅觉，同时也能找到先进实用的开源工具。
发布时间：2024-08-07 类型：深度文章
USENIX ATC 2024最佳论文 | 微软如何提升云AI基础设施的可靠性
编者按：近日，来自微软亚洲研究院的研究员们和来自微软 Azure 云平台的工程师们联合发布了一项开创性的、聚焦云 AI 基础设施高可靠性的研究工作：SuperBench 系统。该系统通过主动验证的手段解决了云 AI 基础设施中难以捉摸的“灰色故障”问题。这一研究工作已被全球计算机系统领域的顶级学术会议 USENIX ATC 2024 接收，并荣获最佳论文奖。SuperBench 不仅引起了业界的广泛关注，还有望改变未来云服务提供商确保 AI 基础设施高可靠性的方式，从而为行业树立新的标准。
发布时间：2024-07-31 类型：深度文章
