微软中科大独家创新实践项目任务发布，前沿科研课题等你来挑战！

2021-03-18 | 作者：微软亚洲研究院

科研刚刚起步，难以完成庞大复杂的科研任务？
具体的领域研究内容五花八门，无法选择未来深耕的方向？

对前沿科研课题热情满满，却找不到项目来展现自己的实践才能？

微软中科大创新实践项目，将为你提供最佳的学习成长机会，让你对科研的困惑得到系统化的解答！

通过参与实践，你能够快速了解感兴趣的科研方向，理解掌握相应的基础知识和常用技术手段，以完成编程任务为导向，切实提高动手实践能力，还可以和师兄师姐导师们展开交流，开拓思路和眼界，加深对科研工作的思考！

微软中科大创新实践项目是由微软亚洲研究院与中国科学技术大学合作组织，面向中科大大三本科生的科研实践项目。项目计划于 2021 年 4 月至 6 月间开展，在项目中，同学们将与项目导师和微软亚洲研究院的研究员们共同完成一系列前沿科研课题，学习在机器学习、自然语言处理、计算机视觉、以及人工智能系统等领域的最新研究进展。

时间安排

4 月 7 日

实践项目报名截止

4 月 8 日-4 月 13 日

实践项目开题(线上)

4 月 14 日-5 月 26 日

实践项目开展

5 月 27 日

提交实践项目结题报告

5 月 28 日-6 月 4 日

结题报告评审，评语反馈，证书颁发

▼

具体项目内容如下

快来看看适合你的方向吧！

融合知识的新闻推荐

项目描述

利用知识图谱来提升推荐性能是近期学术界和工业界研究热点之一。知识图谱蕴含丰富的结构化数据，它能在多个方面提升推荐性能，例如准确性、多样性和可解释性等。在新闻推荐场景中，一篇新闻文章通常包含大量重要的命名实体，例如人名、地名和公司名称。本项目旨在探索从基础数据构建到搭建融合知识的个性化新闻推荐系统这一整体过程中所涉及到的各个重要环节，包含命名实体识别、知识链接、文本语义理解与个性化推荐模型构建等。

通过本项目，同学们可以系统地了解如何搭建一个融合知识的新闻推荐系统，并学习自然语言处理与推荐系统领域的前沿研究进展。

项目导师：谢幸

涉及领域：社会计算

参考资料

1.  SpaCy，https://spacy.io/api/entityrecognizer

2.  Tagme, https://github.com/marcocor/tagme-python

3.  Stanford-NER, https://nlp.stanford.edu/software/CRF-NER.shtml#Citation

4.  A Survey on Deep Learning for Named Entity Recognition, https://arxiv.org/pdf/1812.09449.pdf

5. A Survey on Recent Advances in Named Entity Recognition from Deep Learning models, https://www.aclweb.org/anthology/C18-1182.pdf

项目要求

  • 硬件要求：每个学生须有一台单卡 Linux-GPU-Server 一周以上的使用时间，以进行代码调试与模型训练
  • 具备机器学习与数据挖掘基础知识；
  • 良好的代码编程能力
课程内容

本项目分为 4 个阶段：

  • （1）调研、梳理命名实体识别（NER）和实体链接（knowledge entity linking）的前沿研究现状，撰写总结汇报；
  • （2）基于公开工具包，搭建一个实用的 NER 接口，输入为新闻文本，输出为其包含的知识实体；
  • （3）参考开源代码，动手实现并训练一个 NER 模型；
  • （4）结合文本和知识实体，训练一个融合知识的个性化新闻推荐模型。

搭建医学文献的英文-中文翻译系统 

项目描述

机器翻译是人们沟通和互相学习的重要技术方式，而医疗文献的特定领域翻译更能帮助医学专业知识的及时获取，其专业性更强，重要性更大。

机器翻译的训练需要依靠可靠的双语语料对，而医学领域则相对缺乏足够的语料。目前的通用领域机器翻译已经取得了不错的结果，本项目旨在构建一个可以在生物医学文献中使用的机器翻译系统，从英文文献翻译到中文文献，从而帮助更快速的了解文献的知识。

具体而言，本项目要求从现有的文献网站中爬取足量的文献数据，并尝试构造双语训练数据，通过监督、半监督等技术构建机器翻译系统。本项目希望学生能够了解和掌握实用的机器翻译任务的整体构建流程。

通过本项目，同学们可以系统地了解如何搭建一个完整的机器翻译系统，并学习自然语言处理与深度学习领域的前沿研究进展，以及特定领域的语料获取，训练方法构建等。

项目导师：刘铁岩

涉及领域：机器学习

参考资料

1. biorxiv：https://www.biorxiv.org/content/early/recent

2. biomedical translation: http://www.statmt.org/wmt20/biomedical-translation-task.html

3. fairseq: https://github.com/pytorch/fairseq

4. Attention is all you need, https://arxiv.org/pdf/1706.03762.pdf

项目要求

  • 硬件要求：每个学生须有一台单卡 Linux-GPU-Serve 一周以上的使用时间，以进行代码调试与模型训练
  • 具备机器学习与深度学习基础知识；
  • 良好的代码编程能力
课程内容

本项目分为 6 个阶段：

  • （1）了解、调研机器翻译领域现有的先进技术模型，规划医学机器翻译系统构建的整体流程方案；
  • （2）从biorxiv网站中爬取pdf文献，并利用pdf抽取工具对pdf文献的title和abstract，introduction进行抽取，作为需要翻译的文献内容；
  • （3）从互联网资源中挖掘可利用的英文到中文的翻译语料，构建训练语料库；
  • （4）参考现有的技术方案，提出监督或者半监督等机器翻译训练方法，并尝试构建机器翻译模型；
  • （5）参考已有的开源代码工具，动手实现并训练一个可以从英文翻译到中文的医疗文献翻译系统，并对biorxiv爬取的title，abstract，introduction进行翻译查看结果；
  • （6）项目总结，撰写整体的实验报告，包括流程方案的整理报告，实验训练的时间统计，部分翻译结果展示（不少于10篇文档）等；

深度学习优化理论与实践

项目描述

深度学习已经在各个领域大显身手，对它的理论研究却方兴未艾。深度学习理论研究尝试理解深度学习是怎么工作的，以期对新的结构和算法提供方向，以及在面对新问题超出预想时，如何去寻找手段去解决。本项目我们关注深度学习中的优化问题，探索优化算法和神经网络结构（宽度和深度）的关系，学习分析神经网络的常用方法，实践验证理论分析的结果，讨论一些实践技巧对结果的影响。

通过本项目，可以理解并掌握神经网络的基础知识，常用优化算法的分析手段。更进一步地，可以分析并理解优化算法和神经网络结构之间的相互影响，实践编程实现能力。

项目导师：陈薇

涉及领域：机器学习

项目要求

  • 硬件要求：须有一台单卡 GPU server 两周时间，对实验进行观察
  • 具有扎实的数学基础
  • 具备代码编程实现能力
课程内容

通过提交一个结题报告完成并呈现以下四部分：

  • （1）调研常用的随机优化算法（SGD, Adaptive methods)以及它们的理论分析方法；
  • （2）神经网络（包括普通前馈网络和卷积神经网络）的宽度和深度对前向传播和反向传播的影响；
  • （3) 分析前向信号与反向信号的统计特征，以及不同优化算法参数与神经网络宽度/深度的相互影响，特别是当宽度或深度渐近到无穷时；
  • （4）在标准数据集上验证，并尝试加入规范化层和残差链接对优化算法的影响

人工智能系统

项目描述

近年来人工智能特别是深度学习技术得到了飞速发展，这背后离不开计算机硬件和软件系统的不断进步。人工智能技术的发展依赖于计算机系统和人工智能相结合的共同创新模式。计算机系统现在正以更大的规模和更高的复杂性来赋能于人工智能，这背后不仅需要更多的系统上的创新，更需要系统性的思维和方法论。

项目不要求同学完成一个完整的深度学习系统设计和实现。而是要求同学们根据个人兴趣学习人工智能系统这门课程的一章或者几章 （链接见下）来了解计算机系统架构的相关问题，然后完成相应课程实验中的一个。

通过该项目，同学们可以一窥前沿系统设计和实现的大致方法，为以后从事计算机系统和网络相关的研究工作打好基础。

参考链接：https://github.com/microsoft/AI-System

项目导师：杨懋

涉及领域：计算机系统和网络

项目要求

  • 硬件要求：大部分可选项目最低仅需一台PC，某些项目需要多台具有 GPU 的PC/Server，硬件要求示例如下:

    https://github.com/microsoft/AI-System/tree/main/Labs/BasicLabs/Lab1

  • 掌握编程语言:  C/C++, Python；
  • 熟悉机器学习基本原理、计算机组成原理；
  • 了解计算机体系结构，具备计算机网络基础知识
课程内容

完成课程 Lab 中的一个并提交实验报告。有余力的同学可能根据课程 Lab 的指导，学习和完成 Lab 中的扩展部分，并撰写报告。

https://github.com/microsoft/AI-System/tree/main/Labs

 

经典三维点云重建方法的实践与比较

项目描述

从扫描点云中重建高精度曲面是计算机图形学中的重要课题。经典的重建算法建立于计算几何、逼近理论与数值优化技术，从输入的稠密点云中构建显式的网格或隐式曲面来重构物体曲面。本项目旨在系统了解一系列经典方法的原理，通过仔细的评测来掌握这些方法。

通过本项目，同学们可以系统了解三维点云重建中的重点课题和算法、掌握经典算法的使用、学习如何构造评测集和掌握算法评测的流程，并为未来基于数据驱动的三维重建打下基础。

项目导师：童欣

涉及领域：计算机图形学

参考资料

1. A Survey of Surface Reconstruction from Point Clouds https://doi.org/10.1111/cgf.12802

2. A Benchmark for Surface Reconstruction, http://vgc.poly.edu/files/berger/recon_bench/paper/tog.pdf  https://github.com/fwilliams/surface-reconstruction-benchmark

3. [Software] MeshLab and it python library,  https://www.meshlab.net/ https://github.com/cnr-isti-vclab/PyMeshLab

4. [C++ Library] CGAL https://www.cgal.org/ https://doc.cgal.org/latest/Manual/packages.html#PartReconstruction

项目要求

  • 一台 Windows 或 Linux 计算机（无需 GPU ）
  • 良好的 C++ 或 python 混合编程能力；良好的阅读英文文献能力
课程内容

本项目分为 3 个阶段：

  • 阅读阶段：阅读综述文献和特定算法文献。（1 周）
  • 编码阶段：基于给定的若干开源算法库，在给定的数据集上，评测不同的算法及参数。（2 周）
  • 总结阶段：结合评测结果，撰写并提交评测报。(1 周)

    评测算法包含：Screened Poisson Surface reconstruction, Scale-Space Surface Reconstruction, algebraic point set surface.

感知三维的二维图像对抗生成模型实现

项目描述

三维图像对抗生成模型（GAN）已经取得十分逼真的生成效果，但大多数现有模型在图像生成的机制上并不感知所生成内容的三维几何形状。在 GAN 中加入对生成内容的三维感知将实现图像三维属性编辑、图像三维重建等诸多新的应用。本项目旨在学习、实现并改进领域内最新的一种感知三维的 GAN 模型 — pi-GAN (Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis)。

扩展项目：基于 pi-GAN 实现 GAN inversion，进而将训练好的 pi-GAN 应用在对真实图像进行视角编辑、三维重建等任务。

通过本项目，学生可以学习对抗生成模型的基本知识并了解领域内最新最前沿的研究成果，提升编码能力、算法理解能力以及问题分析能力；在算法改进或应用方面有突破性发现可向国际顶级会议投稿。

项目导师：童欣

所在组别：计算机图形学

项目要求

  • 硬件要求：每个学生须有一台多卡 Linux-GPU-Server
  • 良好的 python 编程能力
  • 良好的阅读英文文献能力
  • 具备基础的机器学习的知识。
课程内容

实现基于深度学习的三维物体建模和绘制方法。扩展项目中实现对真实图像的视角编辑和三维重建。

 

你自己的图形学项目 DIY

项目描述

如果上面两个项目你都不喜欢，那么你可以选择任何一个你喜欢的图形学题目，然后实现近三年内你最喜欢的一篇 TOG 论文，如果可能，做出改进。

通过本项目，学习研究的基本过程，体验研究的流程，并对图形学一个题目有更多的了解

项目导师：童欣

涉及领域：计算机图形学

项目要求

  • 硬件要求：一台PC
  • 良好的编程能力
  • 良好的阅读英文文献能力
课程内容

能够读懂一篇论文，并复现，同时对论文结果进行分析评估

多物体实时跟踪

 

多物体跟踪是计算机视频理解领域的基础问题之一，在工业界有着广泛的应用， 但面临物体形变，遮挡, 多尺寸，多视角，实时处理等多种挑战。多物体跟踪的核心组成部分是物体检测和重新识别。它们分别取得了显著进展，然而它们在多物体跟踪任务上的交互却得到较少关注。本项目旨在探索物体检测和重新识别这两个子任务的内在关系，提高它们各自的性能及对多物体跟踪的综合性能，以达到更精确更快更鲁棒的性能。

参考资料：

GitHub - ifzhang/FairMOT: A simple baseline for one-shot multi-object tracking

项目导师：曾文军

涉及领域：计算机视觉

项目要求

  • 硬件要求：须有一台单卡 GPU server (NVIDIA 2080 card +) 两周以上的使用时间，以进行代码调试与模型训练
  • Python / Pytorch / Image processing / CV background
课程内容

通过编写具有比较研究和分析的技术报告，能够更好地了解 MOT 任务的问题和挑战。了解科研的基本内容，更好地了解 AI / CV领域。

 

视频人体关键点检测

项目描述

人体关键点检测是计算机视觉领域研究的热点问题之一，在工业界有着广泛的应用，包括人机交互、行为理解、视频特效等。人体关键点检测包括人体姿态的多变，人体关键点遮挡，以及人数不确定等多种挑战。本项目旨在探索人体关键点检测在时间轴上的一致性问题，解决连续视频帧上检测出来的人体关键点抖动不光滑的问题。本项目包含一个基础问题：单人视频人体关键点检测，以及一个附加挑战性问题：多人视频人体关键点检测。

通过本项目，同学们可以系统地学习卷积神经网络、人体关键点检测、视频处理等基础知识，熟悉人体关键点检测的前沿研究以及（附加）解决前沿课题。

项目导师：王井东

涉及领域：计算机视觉

参考资料

1. https://arxiv.org/abs/1902.09212

2. https://arxiv.org/abs/2006.15480

3. https://github.com/HRNet/deep-high-resolution-net.pytorch

4. https://github.com/HRNet/HRNet-Bottom-Up-Pose-Estimation

5. https://github.com/HRNet

项目要求

  • 硬件要求：每个学生须有一台 4 卡 Linux-GPU-Server 两周以上的使用时间，以进行代码调试与模型训练
  • 具备计算机视觉和深度学习的基础知识
  • 良好的编程能力，如 python
课程内容

  • (1）调研人体姿态估计前沿研究现状，撰写总结汇报；
  • (2）熟悉并训练提供的单图人体关键点估计模型；
  • (3）直接应用训练好的单图人体关键点估计模型到单人视频；
  • (4）思考解决检测结果在连续帧中不连贯的问题；
  • (5）附加：多人视频人体关键点检测

数字人像传送门

项目描述

机器学习与多媒体技术的发展为视频通讯带来了更加多样化的效果和更好的用户体验。本项目的任务是将一个场景中采集的人像传送到另一个场景中，具体任务可以简化为将一张照片中的人像传送到另一张图像中，使得传送后的图片看上去符合透视效果，并进一步将这张图片的三维结构重建出来，使得人像可以传送到这个重建的三维空间中的任意有效位置上。用户可以在任意角度观测到传送后的人像和场景。

在项目实施中，可以充分利用参考资料中已有的预训练模型，因此本项目对于 GPU 等硬件的需求不高。可以用已有的预训练模型产生我们需要的输出，例如利用在 MSCOCO 上训练的 DeepLab 分割模型得到人像，利用 PlaneNet 生成单幅图像的三维模型，最后用 Deep Harmonization 形成人像与背景的融合。同学们也可以用自己调研到的方法做出更好的结果。

通过本项目，同学们可以对机器学习与机器视觉算法有直观的了解，并掌握其基本原理，通过自己构建的系统可以获取成就感，并培养科研兴趣。

项目导师：吕岩

涉及领域：多媒体计算

参考资料

1. https://arxiv.org/abs/1706.05587

2. http://vision.cse.psu.edu/courses/CompPhoto/SingleView3d.pdf

3. https://openaccess.thecvf.com/content_cvpr_2018/papers/Liu_PlaneNet_Piece-Wise_Planar_CVPR_2018_paper.pdf

4. http://www.scan-net.org/

项目要求

  • 硬件要求：一台单卡 Linux-GPU-Server 一周以上的使用时间，用以加深对预训练模型的理解，或自己训练模型。
  • 快速深度学习网络框架
  • 视觉技术文档搜索调研能力
  • 基本图像处理技术
  • 熟悉三维透视理论，包括三维、二维坐标之间的转换。
课程内容

项目分三个阶段

  • （1）项目的分步设计和调研，需要同学们找到每个模块相应的技术和文献。
  • （2）项目基本步骤实现，可以得到一个简单的传送门输出。
  • （3）助教会提示每个模块的更精细算法，根据完成情况加分。每个同学的时间弹性合理实现，使得这个项目生成更精致的效果
  • 最终提交一个结题报告和相应的代码文件。

报名方式

符合条件的申请者请填写下方申请表：

https://jinshuju.net/f/a2Ufaq

或扫描下方二维码，立即填写进入申请！

标签

​