编者按：

微软亚洲研究院“铸星计划”向全球杰出的青年学者发出邀请，提供在微软亚洲研究院进行为期三个月研究访问的机会。无论是与领域内顶尖研究员合作的机会，还是丰富的数据集和强大的支持资源，抑或是产业界独有的实际应用场景，都吸引着青年才俊们来到微软亚洲研究院探索领域内的前沿新知。

本文讲述了 2022 年度“铸星计划”访问学者、上海交通大学副教授郑伟龙的“铸星”故事。如果能知道抑郁症患者眼中的世界与普通人有何差别，我们是否就能进一步了解这个群体？通过脑电波，我们可以复原人类的视觉信息吗？带着他“有点疯狂”的想法，郑伟龙来到微软亚洲研究院（上海），完成了一段成果丰硕的“铸星”之旅。

新一年的“铸星计划”已开放申请，点击此处了解详情：微软亚洲研究院铸星计划 (msra.cn)

“当一个人在欣赏一幅油画的时候，能不能从脑电信号里重建他看到的图像？”这是上海交通大学副教授郑伟龙内心始终挥散不去的问题。

2022 年秋天，微软亚洲研究院高级研究员任侃了解到郑伟龙在脑电分析方面很有研究积累，便邀请他为自己的研究项目提供建议。正是这个契机让郑伟龙了解到“铸星计划”。铸星计划开放申请后，郑伟龙读博时的导师、上海交通大学吕宝粮教授非常支持郑伟龙进行申请，他认为“铸星计划”是一个十分难得的项目，对年轻学者的科研发展很有帮助。郑伟龙的同门师兄、上海交通大学的赵海教授是微软亚洲研究院早期的访问学者，他也向郑伟龙推荐了“铸星计划”。

为了寻找心中问题的答案，在导师和师兄的鼓励下，郑伟龙递交了申请。通过“铸星计划”，他作为铸星学者访问微软亚洲研究院（上海），与任侃携手开展研究，目前已合作完成一项跨多学科的前沿课题工作。

疯狂的想法，长远的愿景

中国有近 5000 万国民饱受抑郁症的困扰，更有 50% 的抑郁症患者为在校学生，精神心理障碍问题严重损害着民众的身心健康。郑伟龙一直从事计算机科学、脑科学和临床医学等相关领域的交叉研究，特别是多模态情感脑机接口的理论、方法和应用研究。“自己擅长的脑机接口领域能不能在抑郁症诊疗上提供什么帮助呢？”郑伟龙想。

郑伟龙，2022 年度微软亚洲研究院铸星学者

郑伟龙关心的问题与微软亚洲研究院（上海）的研究优势不谋而合。微软亚洲研究院（上海）致力于在感知、通信和机器智能等方面设计先进的算法和系统，用以应对人类在人工智能、医疗保健和可持续发展等方面所面临的巨大挑战。

“由于心理状态的不同，抑郁症患者和正常人看同一张油画，他们的脑电模式和眼动轨迹是不同的。我们能否找到一套量化指标，更好地了解抑郁症患者在视觉认知上面的信息？那样的话，是不是可以帮助我们更好地了解这个群体？”郑伟龙说。

得益于神经科学和人工智能的最新进展，科学家们已经能够记录视觉引发的大脑活动，并通过计算方法模拟人类的视觉认知能力。那么，是否有可能只根据非侵入式设备获取的大脑信号，就完全重建被试主体所看到的视觉内容呢？不只是抑郁症患者，还有很多人群需要脑电技术的帮助：无法活动的植物人能否在未来也能受益于这项技术，通过脑电活动理解植物人的想法和感受呢？其他精神疾病、脑类疾病的患者呢？郑伟龙和任侃在讨论后一致认为，好的研究不应该止步于 AI 或情感分析，而是要尽可能辐射更多更广的社会人群的需求，最终将研究题目确定为“通过脑电信号进行视觉重建”。

“这是一个太新的领域了，所有人都不知道能做到什么程度。”谈起自己的研究问题，郑伟龙笑道，“这个想法听起来有点疯狂、有点不可思议……甚至有点科幻，对吧？”

从 EEG 信号开始

郑伟龙的实验采纳自然图像（单一物品，比如一只猫、一本书）的已有公开数据集作为刺激物，收集受试者的 EEG 脑电信号（Electroencephalograph）。在对 EEG 信号进行解码和生成图像的过程中，郑伟龙和任侃发现，相较于 fMRI （功能磁共振成像技术），EEG 信号的视觉重建效果始终不尽如人意。

团队细致地比对 EEG 信号与 fMRI 采集信号的差异，试图寻找突破口。fMRI 的信号数据是三维图像，将 fMRI 信号转换成视觉图像是“从图片中生成图片”的过程。然而，EEG 脑电信号是一种通过放置在人类头皮上的便携电极低成本记录大脑时间动态的电生理信号，只能跟随时间采集波形信号。使用多维时序信号进行视觉重建，天然地就比使用图像信号要难上百倍。并且，EEG 脑电信号采集会受到电极放置错误或身体运动的影响，数据中容易出现严重的伪迹，且信噪比较低，又给研究带来极大挑战。

经过无数次调试，郑伟龙、任侃以及研究团队提出了 NeuroImagen，通过多级解码方式，可以从 EEG 信号中解码出不同粒度的样本语义信息和像素语义信息，将解码信息输入到已预训练的扩散模型，便可重建视觉感知的图像。他们的算法可以帮助解码抽取出更丰富、更有用的语义信息。其中，样本级别的语义信息提供了观看图像中主要类别、总体描述等粗粒度信息，这些信息可以比较准确地提取与解码；像素级别的语义信息则提供了观看图像的颜色、位置、形状等细粒度信息，这些信息较难以提取，但对重建图片的细节非常重要。

郑伟龙的研究框架图

实验结果表明，NeuroImagen 在根据 EEG 信号重建视觉图像的语义准确度、图片质量、结构准确性等方面上均优于其它前沿的重建方法。通过微软亚洲研究院“铸星计划”，郑伟龙的“疯狂想法”迈出了坚实的第一步。

优势互补，1+1＞2

脑机接口并非传统的计算机领域，这个领域处在医学、微电子、材料、人工智能等学科的交汇口，需要具备跨学科知识的复合型人才。开放、交流、合作，是脑机接口研究中不可或缺的要素。

“微软亚洲研究院具有浓厚的计算机和人工智能氛围，同时也非常关注对社会效益有益的研究，上海 lab 在 AI for healthcare 领域上投入比较多，与我的研究方向很匹配。我研究的兴趣也是服务于社会需求，比如脑疾病的智慧诊疗。”郑伟龙认为，仅仅是看看论文或者开几次会很难达到交流效果，必须把自己扔到对方的实验室里深度磨合，学习具体的方法和技术。

“微软亚洲研究院内部的交流是很充分、坦诚的，彼此之间愿意信息共享。”任侃说。在郑伟龙的“铸星”访问开启后，他立刻组织了内部研讨会，引荐更多研究员与郑伟龙就近期研究工作展开交流和讨论。此外，项目日常推进过程中，任侃与郑伟龙也会保持每周 2-3 次的交流频率。郑伟龙被这样的氛围所深深吸引：“我们团队——或者说整个微软亚洲研究院的科研氛围都是非常浓厚的，研究员们之间的讨论很激烈。大家谁有什么想法，就可以马上提出来，马上讨论，很快就能碰撞出一些思维的火花。”

任侃关注机器学习和算法模型，郑伟龙更关注脑科学和神经科学。两人在研究领域上形成优势互补，又是校友，有很多共同话题，是非常好的科研合作伙伴。在将机器学习的通用模型往 EEG 领域迁移的时候，大模型出现了“水土不服”的问题，郑伟龙便在他擅长的信号处理方面提供专业详实的知识，而在算法设计、算法优化方面，任侃又能够发挥他的专长。

“是铸星计划搭建了一个跨方向、跨领域的桥梁，让我们机器学习团队和伟龙的神经科学团队走到一起，紧密配合，呈现出 1+1＞2 的合作效果。”任侃总结道。

研究团队合影，从左到右依次为：王延森、任侃、郑伟龙和蓝宇霆

访问期间，郑伟龙受邀参加微软亚洲研究院首席研究员李东胜举办的 Brain & Neuroscience Workshop 2023，分享了题为“Rapid Context Inference in a Thalamocortical Model using Recurrent Neural Network”的报告，并与来自日本、韩国的学者和专家们展开学术讨论。对于郑伟龙而言，微软亚洲研究院的访问为他提供了一个全新的开放合作交流平台，让他不仅可以开拓自己的研究视野，还可以结识更多来自不同地区、不同背景的学者，与这些志同道合的伙伴们一起为社会作出贡献。

三个月的铸星之旅已画上句号，而郑伟龙的视觉信息重建研究才刚刚开始：油画数据、内容更为丰富的图片……一个个技术难关等待着他去攻克，而他与微软亚洲研究院（上海）的故事也未完待续。AI for healthcare 是微软亚洲研究院（上海）非常重要的研究方向之一，未来，郑伟龙将就情感脑机接口、人工智能医疗和神经网络方法等方面与微软展开进一步的合作。