马腾宇:人工智能学院中的冉冉新星

毕业于清华大学和姚班，他的博士毕业于普林斯顿大学。例如，今年只有31岁的马腾宇，正在冉冉成为人工智能领域的新星。

马腾宇目前是斯坦福大学的助理教授。他的主要研究兴趣是机器学习和算法研究。主题包括非凸优化、深度学习及其理论、强化学习、表示学习、分布式优化、凸松弛、高维统计等。

2017，清华“姚班”创始人、中国科学院院士、中国第一位图灵奖获得者姚期智先生在谈到姚班教育时提到:

“在学术领域，我们有几个学生从事人工智能，两个已经在大学任教，一个是美国杜克大学，另一个是美国斯坦福大学。他们都从事人工智能的理论基础在过去的四五年里，他们非常非常擅长人工智能理论。否则，他们就不会被这些著名的大学所聘用，尤其是刚刚毕业、可以被斯坦福大学聘用的马腾宇。中国学生和外国学生都不是很少。......他们确实可以说是人工智能领域的先驱，并且将来肯定会在这个领域留下非常深刻的痕迹。”

1.

马腾宇对算法理论的兴趣始于姚班据马腾宇介绍，给他印象最深的是姚期智先生当时为姚班新生开设的“计算机科学数学”课程。在本课程中，姚期智将在每章中使用一两个最经典的案例，让学生很快意识到为什么数学在计算机领域非常有用。姚期智没有在这门课程中一步一步地系统介绍计算机理论的细节。最重要的是激发学生对计算机理论的兴趣。这相当于在这个寻宝游戏的计算机理论研究中激发学生对“宝藏”的渴望。至于如何找到这些宝藏，学生们会自己去找。这对培养姚班学生的兴趣非常重要，马腾宇也深受影响。

马腾宇是清华大学2008级毕业生，毕业于姚班。像他的高年级学生、弟弟妹妹和前后的同学一样，毕业于姚班的马腾·余(Marteng Yu)在本科期间也沉迷于计算机算法的研究。2012年大学毕业后，他选择在普林斯顿大学学习，师从桑吉夫·阿罗拉教授。

2.

马腾宇在适当的时候开始阅读。2012年，辛顿和他的学生在ImageNet竞赛中以10个百分点的优势超过了AlexNet的第二名。结果，人类进入了人工智能的新时代——以神经网络为代表的深度学习时代。Sanjeev作为算法领域的领导者，有着敏锐的嗅觉，并意识到机器学习将成为一个潜在的领域。因此，机器学习算法的研究从2012年开始。马腾宇进入普林斯顿后，选择了机器学习算法，与李融等人一起研究非凸优化问题。

在2012年，大多数人仍然使用传统的方法来做优化问题，这基本上是凸优化问题。在深度学习时代，算法通常需要通过求解一些非凸优化问题来寻找最优的神经网络参数理论上，非凸优化是一个NP难问题，但在实践中，即使是非常简单的算法也能很好地执行。然而，很少有人明白原因。马腾宇、李融等人是第一批致力于解决这一问题的研究者。随后，正是通过对非凸优化问题的系统研究，马腾宇获得了2018年的ACM博士论文荣誉奖，李荣获得了2019年的斯隆研究奖。

马腾宇的博士论文，荣获2018年ACM博士论文荣誉奖

3.

优秀导师，对一个学者的研究生涯非常重要，因为导师的学术价值观和方法论将深刻影响他的弟子在未来研究生涯中的态度桑吉夫无疑是个好导师，他带来的大多数学生毕业后都会去美国顶尖大学教书，比如杜克大学

马腾宇，资料来源:普林斯顿新闻

在普林斯顿期间，导师桑吉夫也对马腾宇产生了很大影响。马腾宇对他的评价是“Sanjeev是一个‘真正的科学家’”:

“Sanjeev确实是在为科学做科学研究。对于他关心的问题，他会仔细演绎所有细节，从证明到实验，再到写不允许有任何错误的文章。此外，桑吉夫也非常积极和耐心。在一个新问题上，他经常坚持不懈，从所有可能的角度进行尝试。即使所有最初的尝试都失败了，他仍然会一次又一次地尝试新的想法，直到他最终成功。这是我从他那里学到的一件非常重要的事情。”

4.

当然，导师的影响只是成功的一个方面，马腾余自身的才华和勤奋使他在普林斯顿的五年中获益良多

2-014年，马腾宇获得了西蒙斯研究生奖，2015年获得了IBM博士奖学金，2016年获得了NIPS最佳学生论文奖，2018年获得了COLT最佳论文奖，他的博士论文还获得了ACM博士论文荣誉奖，同年夏天，他获得了全球计算机前五名的四所大学的录取通知书，最终选择了斯坦福大学。

的成功可能只是一个巧合，该系列的成功是实力和潜力的证明。

NIPS 16最佳学生论文，2018修订版

以2016 NIPS最佳论文奖为例。这项工作主要是关于为什么非转换优化可以用作矩阵完成。矩阵补全常用于推荐系统。理论上可以分析的算法比较慢，而实践中使用的算法都是基于非转换优化，但是没有理论上的保证和理解。因此，有一个大的开放问题:为什么非转换优化可以解决这个问题？

马腾宇等人在这部著作中首次回答了这个问题事实上，在马腾宇、李荣和杰森·李开始工作并提交论文之前和之后不到两个月。尽管如此，这是一个长期积累。马腾宇大约一年前就意识到理解非凸优化的重要性，并偶尔尝试从不同的角度去解决这个问题，但是没有什么大的收获，直到他在二月份的一篇文章中看到一个小技巧，突然得到灵感，很快就解决了这个问题。对于这次经历，马腾宇总结说

“我认为做科学研究有三个主要困难:1)找到一个重要的方向；2)找到一个可以解决的问题；3)同时，有足够的技术储备和技术创新。“

COLT’18最佳论文

2018，发表在COLT上的马腾宇论文“过参数化矩阵传感和二次活动神经网络中的算法正则化”获得最佳论文奖。然而，这篇论文类似于NIPS' 16的最佳学生论文。提交前后只需两个月在这项以"正规化"为主题的工作中，马腾宇和他的同事们直接继承了以前的工作，但以前的工作只能解决一个特殊的问题。马腾宇意识到如果他们按照自己的想法去做，事情可能会变得越来越复杂。认识到这一点非常重要。他说:

“要做科学研究，了解为什么其他技术在自然界不可行是非常重要的。”大多数时候，科学研究是缓慢的，因为你有很多选择。你不知道哪个是好的，哪个是坏的。这太可怕了一旦你知道哪个选项不好，剩下的好选项就不多了。因此，科学研究的一个重要步骤是消除错误的选择。其次，更重要的是知道为什么它是坏的，因为如果你不知道为什么它是坏的，很难把它变成好的。

一个想法，如果你能知道它不起作用的根本原因，在正常情况下，通过具体修改这个想法就不难得到更好的计划。因此，我们的工作模式如下:我们发现一个想法没有效果，然后我们理解这个想法失败的原因，修改并提出一个新的想法；如果新的想法不能解决问题，他们会发现问题，纠正它，然后来回走，如此而已。"

2018 ACM博士论文荣誉奖，资料来源:普林斯顿新闻

5.

2 018对29岁的马腾宇来说是一个丰收年，COLT最佳论文，ACM博士论文荣誉奖，来自许多顶尖大学的橄榄枝...然而，受桑吉夫的影响，马腾宇对这些荣誉表现出极大的冷漠他说

“没什么感觉”首先，这是每个人对我工作的肯定。可能的原因是，我的博士论文是一个早期系列的工作，试图理解为什么非收敛优化可以解决机器学习的问题。在此之前，这个领域几乎没有研究。......但是做科学研究，你的回报往往非常落后这篇博士论文是五年工作的总结，包括我们在2017年实际完成的柯尔特' 18最好的论文要做科学研究，应该考虑长期病房而不是短期病房。”

然而，不管马腾宇是否冷静，科学研究的早期荣誉对于一个科学家的成长是必不可少的，这可以使年轻学者对攀岩研究的巅峰充满信心。

6.

另一方面，“长期”是马腾宇科学研究的关键词。在谈到他的方法论时，马腾宇说

“就科研风格而言，我更关心长期影响，而我对学科的选择也会受到这方面的影响。”“

在科研实践中，注重长期影响是研究人员成为真正科学家的关键一步以如何看待失败的尝试为例，注重长期影响的人会更积极地看待失败，因为短期内失败，但长期来看是有益的，失败并不重要。如果你知道失败的原因，在很多情况下，你会改变它，让它成功。

马腾宇关于非转换优化的报告，来源:艾伦学院学术讨论会

马腾宇说:“在许多情况下，如果我真的能知道我为什么失败，在许多情况下我就能把它变成成功的局面。”然而，工作往往比不上，我只能了解一点我失败的原因，然后从中吸取一点经验。然而，经过长期的积累，我可以理解为什么整个过程是行不通的。这样，我可以找到另一种思维方式。“

人工智能目前面临许多困难。马腾宇已经工作十年了。他认为人工智能的理论基础仍然是一个很大的难题。目前，我们仍然很难理解该算法的作用。因此，如何理解算法，如何更好的设计算法成为马腾宇最关心的问题。作为他的导师桑吉夫，面对如此重大的问题，他试图从不同的角度去解决。如何通过理论思维帮助机器学习是马腾宇的“长期”问题

何说，虽然在当前机器学习的研究过程中，实验指导往往比理论思维指导更重要但从长远来看，理论思维的指导价值在未来几年将会越来越突出。就像在博士选择布局的初始阶段被忽略的非凸优化研究一样，斯坦福大学的助理教授马腾宇现在也在研究布局机器学习理论，这是一种更大的布局。

当然，长期并不意味着“空中楼阁”。十年后写一篇文章。从长远来看，马腾宇在实验指导和理论思考之间取得了平衡，把这个长期问题分成了一系列非常小的问题，这些问题表现在一个又一个主题的结果，一篇又一篇论文的结果上。目前，在斯坦福大学有5名博士生和几名硕士生的马腾宇正以每年发表十多篇论文的速度朝着这个目标一步步前进。