LongRoPE:超越极限,将大模型上下文窗口扩展超过200万tokens

编者按:大模型的飞速发展给人们的生活带来了前所未有的便利。我们是否能够设想利用大模型的潜力,快速扫描整部百科全书、解析繁琐复杂的法律条款,甚至对文章进行精准引用呢?在未来,这些将统统可以实现。然而,目前传统的大模型的上下文窗口限制与昂贵的微调成本使得它们难以处理超长文本,从而限制了其应用潜力。为解决这一问题,微软亚洲研究院的研究员们提出了 LongRoPE。通过精细化非均匀位置插值和渐进式扩展策略,LongRoPE 成功将大模型的上下文窗口扩展至2048k,不仅保持了原始短上下文窗口的性能,还大幅提升了长文本处理的效果。LongRoPE 的应用前景广阔,将为大模型的发展带来更多可能。

发布时间:2024-04-16 类型:深度文章

价值观罗盘:如何让大模型与人类价值观对齐?

编者按:随着人工智能技术的快速发展和能力的不断增强,大模型已经逐步应用于人们的日常生活。但这同时也带来了很多新的潜在风险,进一步凸显了大模型与人类价值观对齐问题的紧迫性。然而,人工智能应该与哪些价值观进行对齐?又该如何对齐?这些问题至今还没有明确的答案。

发布时间:2024-04-11 类型:深度文章

守护人类健康:人工智能赋能医疗领域创新应用

编者按:每年的4月7日是世界卫生日,又称世界健康日,旨在引起世界各国人民对卫生、健康工作的关注,提高人们对卫生领域的素质和认识,强调健康对于劳动创造和幸福生活的重要性。那么,如果医疗技术能够更加智能,我们是否能够更早地发现健康隐患,更精准地进行疾病治疗?在世界卫生日到来之际,让我们一起通过微软亚洲研究院(上海)的几个合作研究项目,看看人工智能如何助力我们打造一个更加健康的未来。

发布时间:2024-04-07 类型:深度文章

MicroCinema与CCEdit:让文生视频兼具创造性与可控性

编者按:随着视频生成技术的飞速进步,我们见证了人工智能技术在视频清晰度、长视频连贯性以及对物理变化理解和镜头转换处理能力方面的显著提升。不过,这些高质量的生成结果是否完全符合我们的需求呢?显然,并非总是如此。由于生成模型的不可预测性,其生成结果常常与用户预期偏离。

发布时间:2024-03-28 类型:深度文章

高性能计算与深度学习结合;提升云人工智能基础设施可靠性;基于心理测量学的通用型人工智能评估;模仿人脑思维模式的视觉语言规划框架

编者按:欢迎阅读“科研上新”栏目!“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里,你可以快速浏览研究院的亮点资讯,保持对前沿领域的敏锐嗅觉,同时也能找到先进实用的开源工具。

发布时间:2024-03-21 类型:深度文章

Microsoft Research Forum第二期:探讨人工智能与科学发现的变革

编者按:近日,微软研究院上线了面向全球研究界的全新线上系列活动 Microsoft Research Forum,旨在共同探讨人工智能时代的最新研究进展、大胆新颖的想法以及全球研究界关注的重要议题。来自微软研究院全球各地的研究人员将分享他们的研究洞见,并与大家进行在线讨论,希望碰撞出更多新的思想火花。

发布时间:2024-03-14 类型:深度文章

AI助力M-OFDFT实现兼具精度与效率的电子结构方法

编者按:为了使电子结构方法突破当前广泛应用的密度泛函理论(KSDFT)所能求解的分子体系规模,微软研究院科学智能中心的研究员们基于人工智能技术和无轨道密度泛函理论(OFDFT)开发了一种新的电子结构计算框架 M-OFDFT。这一框架不仅保持了与 KSDFT 相当的计算精度,而且在计算效率上实现了显著提升,并展现了优异的外推性能,为分子科学研究中诸多计算方法的基础——电子结构方法开辟了新的思路。相关研究成果已在国际知名学术期刊《自然-计算科学》(Nature Computational Science)上发表。

发布时间:2024-03-12 类型:深度文章

计算机科研人眼中不可或缺的“她力量”

要推动计算机领域的创新与可持续发展,提升性别的包容性是十分重要的一环。异质群体解决问题的表现常常优于同质群体,从业者的多样性也可以更好地增强创造力。多年来,微软亚洲研究院一直致力于推动计算机领域的多元发展,联合多方力量积极构建一个让女性与科技行业更加紧密共生的未来。

发布时间:2024-03-08 类型:深度文章

2024年值得关注的三大人工智能趋势

对生成式人工智能而言,2023年是具有重要意义的一年。在这一年里,数百万人通过使用 ChatGPT 和 Microsoft Copilot 等工具,让人工智能从实验室走进了我们的现实生活。展望2024年,人工智能将会变得更加便利和实用、更加深入细微,并将融入到那些可以提升我们日常工作和协助解决全球性问题的技术中。

发布时间:2024-02-22 类型:深度文章

AAAI上新 | 从生成检索、跨语言迁移,到负责任的视觉合成

编者按:欢迎阅读“科研上新”栏目!“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里,你可以快速浏览研究院的亮点资讯,保持对前沿领域的敏锐嗅觉,同时也能找到先进实用的开源工具。

发布时间:2024-02-21 类型:深度文章