许继征:艾美工程奖背后的微软人

2017-12-21 | 作者:微软亚洲研究院

2017年10月25日,美国电视界的最高奖项艾美奖将本年度的工程奖颁发给了一个名为“视频编码联合工作组”的团队,以表彰其在开发高效视频编码(HEVC)国际标准方面所取得的成就。

HEVC(High Efficiency Video Coding)也被称作H.265,是为最新一代高分辨率视频而设计的视频压缩标准,有“4K 时代的解码标准”之称。相比上一代技术H.264,它可以使1080P视频内容的压缩效率提升一倍左右,这意味着传输的视频内容质量更高,网络带宽更节省。目前,这一技术标准已被全球大多数超高清电视分发系统和终端所采用。

那么这个“视频编码联合工作组”又是个什么组织?其实,它是由来自ISO、国际电信联盟以及国际电工委员会的专家组成,微软、苹果、诺基亚、高通、三星、索尼弗劳恩霍夫协会通讯技术研究所、华为、联发科等多家企业也都是工作组的主要贡献者。微软亚洲研究院更是有项目组从标准制定伊始就全力支持。微软亚洲研究院与HEVC之间有哪些不得不说的故事?还是请HEVC标准制定的“幕后英雄”、微软亚洲研究主管研究员许继征来跟大家聊一聊。

我们在微软做研究,让你的视频体验更流畅

1999年,许继征便以实习生的身份加入微软亚洲研究院,随后成为员工并一直工作至今,是研究院迄今为止任职时间最久的实习生入职员工。不仅如此,他对待研究也十分专一,精专于数字视频相关的技术工作。从2003年许继征就开始参与部分H.264的标准制定,并且在2010年全力投入HEVC的标准制定。

随着高分辨率电视、手机、电脑等设备的不断涌现,视频领域得到了蓬勃而快速的发展,这为电子公司和视频设备制造商提供了难得的发展机遇,也为如何打破不同视频编码之间的壁垒提出了挑战。期间,视频编码技术标准的发展经历了从MPEG-1、MPEG-2,到MPEG-4 Part2、 MPEG-4 Part10/H.264,再到HEVC/H.265的漫长过程。

“视频标准是业界所有大公司都会涉及的内容,所以需要大家一起来做。”2013年1月,在视频编码联合工作组的努力下,代表最前沿视频压缩技术水平的HEVC正式成为国际标准。“在技术研究的过程中,微软有40多项专利技术被HEVC所采纳,并且在‘屏幕视频编码标准’这个子项目上挑起了大梁。在和屏幕视频编码标准相关的6项关键技术中,有5项出自微软亚洲研究院之手。”

屏幕视频编码框架

“所谓‘屏幕视频编码’其实很好理解。”许继征解释道,”过去我们常讲的视频就是摄像机拍摄出来的,比如电视台、网络视频等节目,但其实现在有越来越多视频并非来自传统的摄像机拍摄,而是由机器生成的,比如电脑、手机里的游戏等等,它们完全不受摄像机的物理限制,可以很简洁,也可以很复杂,而且经常是超高分辨率的视频。为了更好地对这些视频进行编码和解码,专门的‘屏幕视频编码标准’便应运而生。”

值得一提的是,许继征团队将微软搜索的相关技术应用到了屏幕视频编码中,让视频编码的效率提高了上千倍。这一技术的应用源于HEVC组织方为解决屏幕视频编码问题而发起的一次“技术征集”,在与微软内部的多个团队沟通、学习后,许继征借鉴了搜索领域技术发明的基于哈希的运动搜索,创新性地解决了高效屏幕视频编码这个问题,使得HEVC在屏幕视频编码的速度更快、性能更好、效率更高。

经过团队的努力,微软的屏幕视频编码方案在众多公司的编码方案中脱颖而出,成为唯一一个比基准方案更快并且在编码效率上远超其它方案的方案,相关技术也成为了屏幕视频编码标准参考模型的原型。许继征自然而然地成为了HEVC屏幕视频编码标准的编委和标准组织里相关技术小组的联合主席,团队里的李斌研究员也担任了参考软件开发小组的联合主席。在今年3月份,独立的第三方测试验证了HEVC屏幕视频编码标准在技术上的飞跃——对典型的屏幕视频,新的标准比HEVC的基础版本能再节省超过80%的带宽,远超当初标准计划的50%的目标!

如今,HEVC技术标准已被全球大多数超高清电视分发系统和终端所采用,各类电子设备仅用很小的带宽或容量,就能获得更好的视频输出质量。许继征举例说,“现在小到机顶盒、智能手机、电视,大到地面数字广播系统、电视台都采纳了HEVC。”HEVC已经成为工业界影响力最大的技术之一,几年之间就从技术标准层面,推动了整个产业的进步。随着机器产生视频的广泛应用,我们也期待屏幕视频编码标准会成为一个更成功、应用更广泛的标准,或许下一个艾美奖就会颁给这样一个针对新型视频的编码标准。而学术方面,许继征团队的一篇关于屏幕视频编码的文章在上周更是斩获了Visual Communication and Image Processing会议的最佳论文奖。

Open Research让研究的路越走越宽

通过HEVC的研究,为整个行业树立标准,在许继征看来是一件特别自豪、有成就感的事情。而这种由国际标准组织牵头,通过几十家公司共同努力,在统一的平台用统一的数据公开地就一个技术问题进行良性竞争,更是意义非凡 。

过去,不同的企业和研究机构或多或少都存在“闭门造车”的现象,很多研究领域非常封闭,数据、源代码不公开等等导致了不少技术在论文中写得高端大气,但是很难在实际中真正地使用起来,最终成为无用的炫技。而一些领域秉承开放研究(Open Research)的理念,把数据和源代码公开,让更多人可以去验证、去探索、去尝试,这样也更容易把技术工业化、产品化,从而促进业界能发展得更快。如今日新月异的AI领域,便是开放研究的受益者。

多年参与国际标准制定的许继征,对开放研究的精神颇有感触。他说:“开放与合作并行,恰恰能够让研究的路越走越宽,也会更有力地促进行业以及企业自身的发展。”事实上,微软一直都在积极拥抱开源,2016年9月的GitHub报告显示,微软已在这一全球最大的代码托管网站和开源社区上拥有16419位开源贡献者,成为GitHub上排名第一的开源贡献者。

2016年9月,GitHub报告显示微软已拥有16419位开源贡献者

而过去几年间,微软亚洲研究院也发布了不少重要的开源项目,如深度学习领域的微软认知工具包CNTK、图数据库GraphView、软件无线电项目Sora等等,研究员们对于开放研究也抱有极大的热情。

多跨界,多积累,所有经历都是财富

许继征加入微软亚洲研究院已有近20年时间,谈起被研究院牢牢吸引的原因,他表示,微软亚洲研究院不仅仅是一个可以通过技术影响整个工业界的广阔平台,而且它的研究方向涉及各个领域,对于研究人员知识面的拓展非常有利,每个人都可以和不同方向的同仁协作从事跨领域的有趣研究,尝试各种可能性,碰撞出不一样的火花。

就像在屏幕视频编码技术标准的研发中,正是基于对微软搜索领域技术的了解,才使得许继征能通过借鉴其原理来攻克新的技术难关。因此,他建议有志于加入微软的朋友,“一定要对其他领域也保持好奇心。没有人知道其它领域什么时候会促进、激发你在本领域的研究。”

同样,许继征认为研究员在某个领域拥有深厚的积累也非常重要。这种积累不仅来源于成功的项目,也可以从挫折中获得。他坦言,在微软亚洲研究院将近20年的工作时间中,并非每个项目都一帆风顺,在技术中遇到的困难和阻碍在他看来却都是宝贵的财富。

许继征(前排中间)和团队成员

2003年,许继征和团队开始研究当时业界特别看好的可伸缩视频编码技术,但后来由于工业界的软硬件没有达到可以适配的程度,与H.264标准的结构也不太兼容,最后研究成果虽然也在标准征集方案中名列头筹,却没最终落地。“现在来看,这一研究成果还是有些超前了。”面对技术未能广泛应用的失望,许继征看到了结果的另一面,“不过通过这个项目,我们也积累了很多经验,包括怎样参与这些标准化组织的工作,怎样更有效地沟通,怎样在组织内良性竞争等等,这些其实都为日后做好HEVC项目打下了很好的基础。”

在微软,许继征多年如一日躬耕于数字视频标准研究这方沃土,也用这种方式最广泛地影响着整个业界。

业余之时,许继征还是一名忠实的慢跑爱好者,他说,跑步和做研究其实很像:一方面都需要持之以恒;另一方面不能急于求成——跑步着急容易伤到膝盖,而做研究着急就会打击自信心。做研究和慢跑都无法给你一时的快感,而需要用耐心去慢慢积累,进而取得更大的成就。

标签