菲爾茲獎得主芒福德為三維人臉識別和配準(zhǔn)獻(xiàn)上神助攻
三維人臉曲面研究一直是計算機(jī)視覺的基本問題之一。
通常情況下,對于人類經(jīng)過生物進(jìn)化而習(xí)得的先天能力,機(jī)器學(xué)習(xí)可以勝任或者超過人類;對于人類經(jīng)過科學(xué)積累而建立的抽象理論體系,機(jī)器學(xué)習(xí)目前依然無法和人類匹敵。三維人臉識別和三維人臉曲面配準(zhǔn)這兩個計算機(jī)視覺領(lǐng)域的經(jīng)典問題,就給出了這樣的例子。
人臉識別問題是給定一張人臉曲面,判定此人的身份;三維人臉曲面配準(zhǔn)問題是給定兩張人臉曲面,在人臉間找出點(diǎn)點(diǎn)對應(yīng)關(guān)系,也就是求出它們之間的一個光滑雙射(微分同胚)。三維人臉曲面配準(zhǔn)的技術(shù)更為精細(xì),它要求給出逐點(diǎn)對應(yīng),特征點(diǎn)對齊,全局某種形狀畸變最小,因而既考慮局部信息,又牽扯整體幾何。相對于基于圖像視頻的人臉識別,三維人臉識別對于光照條件的變化、不同表情的變換、化妝方式的變化、頭部姿態(tài)的變化更加魯棒,識別性能有所提升。三維人臉識別可以用監(jiān)督學(xué)習(xí)達(dá)到比人類更為精準(zhǔn)的地步。但是,對于三維人臉曲面配準(zhǔn)問題,目前機(jī)器學(xué)習(xí)的方法無法直接奏效。首先,人類對于兩張人臉曲面間的特征點(diǎn)和它們之間的對應(yīng)關(guān)系,具有良好的直覺,可以毫不費(fèi)力地標(biāo)注出來;但是對于曲面間的映射,或者稠密點(diǎn)之間的對應(yīng)關(guān)系,并沒有明確的直覺,手工標(biāo)注非常困難。因此,數(shù)據(jù)準(zhǔn)備工作幾乎無法實(shí)現(xiàn)。相反地,微分幾何方法為曲面間的配準(zhǔn)問題提供了強(qiáng)有力的模型,特別是菲爾茲獎得主、代數(shù)幾何泰斗、計算機(jī)視覺大師芒福德(David Mumford)早期的研究領(lǐng)域——??臻g——非常適用于這一問題的研究。
芒福德當(dāng)年在哈佛上本科的時候,在扎里斯基(Zaraski)的代數(shù)幾何課上,產(chǎn)生了奇思妙想,最終催生了他得菲爾茲獎的工作。但這個想法不太容易解釋,即便是初淺地描述也非常抽象。給定一張人臉曲面,我們通常只考慮皮膚構(gòu)成的部分,去除眼睛和嘴的內(nèi)部,同時將解剖意義下的特征點(diǎn)(例如眼角、嘴角、鼻尖)標(biāo)注出來。因此人臉曲面實(shí)際上是帶邊界和特征點(diǎn)的拓?fù)鋸?fù)雜的曲面。給定兩張這樣的曲面,給定邊界之間和特征點(diǎn)之間的對應(yīng)關(guān)系,則我們所求的映射應(yīng)該滿足這些預(yù)定的對應(yīng)關(guān)系。數(shù)學(xué)上,這意味著我們固定了曲面間映射的同倫類。固定一張拓?fù)淝?img data-type="gif" src="http://pic.zhishifenzi.com/9/sw/zsfz1535988256.1704026.jpg" data-ratio="1" data-w="11" />,考慮曲面上所有的黎曼度量。兩個度量
,
被稱為是共形等價的,如果存在一個保角的微分同胚
,數(shù)學(xué)上這意味著存在一個標(biāo)量函數(shù)
:
,使得微分同胚誘導(dǎo)的拉回度量和初始度量之間滿足等式
。圖1給出了人臉曲面到平面圓盤之間的一個保角變換,保角變換亦被稱為是共形變換。兩個度量彼此等價,被記為
,度量
的共形等價類被記為
。那么,曲面
上所有黎曼度量的共形等價類構(gòu)成的空間被稱為是曲面
的模空間(Moduli Space)。
圖1. 曲面間的保角映射:三維曲面上任意畫兩條相交曲線,映到平面上后,平面曲線的交角等于原來三維曲面上曲線的交角。
圖2. 人臉表情變換不是保角變換。
一般情況下,人臉表情變化會帶來黎曼度量的變化,這種變化不是保角變換。圖2給出了一個實(shí)例。我們將帶邊界的人臉曲面保角地映到平面的多孔環(huán)帶上,多孔環(huán)帶的內(nèi)圓半徑和圓心的構(gòu)型是曲面的共形不變量。兩張曲面的共形不變量不同,因此不存在共形變換。因此,這兩張臉在??臻g中代表不同的點(diǎn)。??臻g的定義具有兩級抽象,首先將黎曼度量分成共形等價類,這是一級抽象;然后,所有的共形等價類構(gòu)成了??臻g,這是第二級抽象。直觀而言,模空間涵蓋了所有可能的形狀,其本身是帶有奇異點(diǎn)的黎曼流形,存在黎曼度量,??臻g中任意兩點(diǎn)之間可以定義距離,也可以定義測地線。換言之,任意兩張帶度量的人臉曲面可以被視作是模空間中的兩個點(diǎn),可以用??臻g的度量測量它們的相似程度;也可以計算它們之間在??臻g內(nèi)的測地線,就是它們之間某種微分同胚,使得角度畸變最小。
圖3. 帶有特征點(diǎn)的兩張人臉
PHP Core Warning – yii\base\ErrorException
PHP Startup: Unable to load dynamic library '/usr/lib/php/20151012/php_mysqli.dll' - /usr/lib/php/20151012/php_mysqli.dll: cannot open shared object file: No such file or directory
$_POST = [ 'src' => 'http://mmbiz.qpic.cn/mmbiz_jpg/DC6TBwbVt3KDyBKKa5apiaKbMwMia8ticvmFV1tQL2cENlEKNV5KM7lBRPxrHELc4mP7ia4SdvspmLkCnSmppu0zEQ/0?wx_fmt=jpeg', 'count' => '17', ];
圖4. 帶有特征點(diǎn)的兩張人臉之間,角度畸變最小的微分同胚,也可被視作是??臻g中的測地線
圖3、圖4解釋了這一觀點(diǎn)。圖3中,給定了兩張人臉曲面,上面標(biāo)注了特征點(diǎn)。兩張曲面之間不存在保持特征點(diǎn)間對應(yīng)關(guān)系的保角變換,但是存在唯一的一個微分同胚,將角度畸變降到最小,如圖4所示,即所謂的泰西米勒映射(Teichmuller Map)。這一映射將源曲面上的無窮小圓映到目標(biāo)曲面上的無窮小橢圓,所有的橢圓具有相同的偏心率。整張曲面上,最大的偏心率可以作為角度畸變的一種量度。在所有可能的微分同胚中,泰西米勒映射使得這種角度畸變達(dá)到最小。由此,泰西米勒映射給出了??臻g中的測地距離和測地線。
PHP Core Warning – yii\base\ErrorException
PHP Startup: Unable to load dynamic library '/usr/lib/php/20151012/php_mysqli.dll' - /usr/lib/php/20151012/php_mysqli.dll: cannot open shared object file: No such file or directory
$_POST = [ 'src' => 'http://mmbiz.qpic.cn/mmbiz_jpg/DC6TBwbVt3KDyBKKa5apiaKbMwMia8ticvmQBibrZTp7YxLgfdLibdv0HYQjZxeeNgmIVdZgjcdnNzsVVeia50dalkPA/0?wx_fmt=jpeg', 'count' => '18', ];