深度文章

低GPU利用率的实证研究;可解决数学问题的数据合成新范式;大规模合成数学推理的指令微调数据;大模型改进推荐系统
欢迎阅读“科研上新”栏目!“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里,你可以快速浏览研究院的亮点资讯,保持对前沿领域的敏锐嗅觉,同时也能找到先进实用的开源工具。
守护人类健康:人工智能赋能医疗领域创新应用
每年的4月7日是世界卫生日,又称世界健康日,旨在引起世界各国人民对卫生、健康工作的关注,提高人们对卫生领域的素质和认识,强调健康对于劳动创造和幸福生活的重要性。那么,如果医疗技术能够更加智能,我们是否能够更早地发现健康隐患,更精准地进行疾病治疗?在世界卫生日到来之际,让我们一起通过微软亚洲研究院(上海)的几个合作研究项目,看看人工智能如何助力我们打造一个更加健康的未来。
LongRoPE:超越极限,将大模型上下文窗口扩展超过200万tokens
大模型的飞速发展给人们的生活带来了前所未有的便利。我们是否能够设想利用大模型的潜力,快速扫描整部百科全书、解析繁琐复杂的法律条款,甚至对文章进行精准引用呢?在未来,这些将统统可以实现。然而,目前传统的大模型的上下文窗口限制与昂贵的微调成本使得它们难以处理超长文本,从而限制了其应用潜力。为解决这一问题,微软亚洲研究院的研究员们提出了 LongRoPE。通过精细化非均匀位置插值和渐进式扩展策略,LongRoPE 成功将大模型的上下文窗口扩展至2048k,不仅保持了原始短上下文窗口的性能,还大幅提升了长文本处理的效果。LongRoPE 的应用前景广阔,将为大模型的发展带来更多可能。

实习岗位

全职岗位