http://bbs.sciencenet.cn/home.php?mod=space&uid=593593&do=blog&id=464505

CVPR 2010 的 best paper "Efficient Computation of Robust Low-Rank Matrix Approximations in the Presence of Missing Data using the L1 Norm" 的作者来自于澳大利亚一个做机器视觉著名的小组,前不久该文作者来访,做了个报告,对他们小组的工作有了进一步的了解。

恰好今年本人翻译了这篇文章,于是放上来共享(原文和翻译文都在附件中)。

以下谈一下这篇文章的读后感:

近些年来,由于SPARCE类的方法在模式识别,计算机视觉邻域的应用,各种有关L1 norm的优化问题被提出,应用的手段也层出不穷,毫不夸张的说,带动了一波灌水的狂潮(当然PR和CV时时都是大水区)。

那么,这篇文章为什么能够得到CVPR best paper? 其实我也不知道,因为这个不是我评的。因此本人只基于经验分析一下该文章的值得注意的地方吧,即算是管中窥豹而已。(因为不是具体论述问题,只是心得,因此以下可能有不严谨的地方,见谅)

首先,这篇文章和时下流行的灌水题材L1相关,问题也很明确,在目标函数为L1 norm误差下Low-Rank Matrix逼近。关于L1 norm的求解的文章如同过江之鲫,但是这篇文章,从标题上就可以看出,是“in the Presence of Missing Data”,这是个值得注意的地方,因为Missing Data是在具体问题中所不可避免的,和作者的工作相关,因此该文章并非是为了灌水而灌水,而是做了工作,一不小心得了个灌水奖。这一点与很多人用“要你命三千”的方式拼凑方法,然后“伪分析”一顿来灌水是天壤之别,云泥之判。

具体到方法,该作者实际上是把Wiberg的方法“改造”到了L1 norm下。因为Wiberg的方法只适用于L2范数下,该作者巧妙地通过一系列的形式上的运算,变成对偶的线性规划问题,然后进行计算求解。作者提出的这个算法属于迭代求解,每一步都是线性规划的迭代。其实作者在文章中也提到了,Wiberg方法并不被重视,过去多少年都几乎没人注意,而作者却能够慧眼识珠,中间的原因是什么呢?还是如上一段讲到的,首先作者是从事其领域多年,有深入的见解,知道问题的所在,于是对于任何方法能够站在自己的角度上审视,是否能“楚才晋用”,这一点和别人满世界的找新方法用在自己领域然后灌水,有本质的不同。再者,作者对于wiberg方法有深入的认识,一般的人即是看到该方法,或浅尝辄止,因为毕竟不能够直接的运用,而本文的作者却架起一座桥梁,把wiberg方法移花接木到L1 norm下面并,并取得良好的效果,这和机械拼凑方法境界完全不一样。可见,基础扎实,善于思考也是很重要的。

由于听过作者的报告,虽然我不是做增强现实的,但对他的报告印象很深,他们的工作做得十分踏实,围绕着增强现实的各种问题都有不错的工作,本文的研究正是他们工作的产物,从文章中论述的问题来看,几点都切中要害,首先是有missing Data,然后是说L2 norm下对outlier的敏感等等。虽然该文章论述的是L1 norm目标函数求解,但是作者并没有像很多人一样,动不动搬一些“sparce”之类的名词出来显示其所站高度,也没有牵强的说他的问题符合某某假设,所以用某某方法是好的云云,而是尽可能的照顾读者,让读者了解这个工作有啥意义,为啥要这么做,这么做有什么问题等。

作为一个迭代的方法,作者毫不掩饰的说这个还没能证明一定收敛(当然很多迭代方法难以证明其收敛),但是实验数据尽可能给出详细,全面的结果,不仅比较了在人造数据集上的结果,还比较了在真实数据集(重构恐龙模型)上的结果,同时也给出了每次迭代运行时间的比较,收敛的误差比较等等。且使用的数据集都是比较常见的,为大众认可的。

综合看来,这个文章的优点是切中实际需求,具有较好的创新型以及较为可信的实验结果。对于一般的人来讲,往往是知道问题的形式,然后找方法来解决,然后通过修饰数据,或者只比较某些指标,或者在实验中限定对自己有利的环境等等来发文章,这种情况的产生当然和外部的压力,环境,所从事的方向有关,但是见微知著,从这篇文章里面可以获得些许启发,不一定是搞科研,思考其他的问题同样有所裨益。

附件:

翻译.pdf

robustl1_eriksson.pdf