專利名稱：一種弱化表情形變影響的三維人臉識別方法
技術領域：
本發明涉及一種三維人臉識別方法，尤其涉及一種以導向變形和變形剛性約束為基礎的弱化表情形變影響、提高識別性能的三維人臉識別方法。
背景技術：
自動人臉識別技術在國家安全、軍事安全、公共安全和家庭娛樂等領域具有廣泛的應用前景，過去幾十年中，人臉識別得到深入廣泛的研究。然而，基于圖像的二維人臉識別技術仍然面臨巨大的挑戰，在光線、姿態和表情變化的情況下，二維人臉識別的準確性還遠遠不能讓人滿意。
三維人臉識別技術有望從根本上解決基于圖像的人臉識別方法所面臨的“受姿態、光線和表情影響”的難題。基于三維數據已經獲取的前提，三維人臉識別受光線的影響很小。由于三維數據具有顯式的幾何形狀，三維人臉識別更具克服姿態變化的潛力。然而，表情變化改變了三維人臉模型的形狀，造成人臉局部區域的塑性變形，從而極大地降低三維人臉識別的性能，因此，如何克服或降低表情的影響是三維人臉識別中一個關鍵的問題和挑戰。現有的技術尚無法做到在各種表情變化情況下達到較好的識別性能。
發明內容
本發明提供一種基于導向變形和變形剛性約束的弱化表情變化影響、提高識別性能的三維人臉識別方法。
一種弱化表情形變影響的三維人臉識別方法，其步驟如下 (1)三維人臉模型姿態定位通過檢測三維模型的對稱面和兩個特征點(鼻尖點和鼻基點)確定人臉姿態，將三維模型置于統一的坐標框架中，方便導向變形時三角形對應關系的建立； 步驟(1)采用的定位人臉模型的6個自由度的元素是對稱面和兩個特征點(鼻尖點和鼻基點)。
對稱面檢測采用的是基于ICP對齊原始模型和其鏡像模型，再求對應點的中軸面的方法。
鼻尖點和鼻基點的檢測采用下述方法 pnt＝argmaxp∈C(dist(p，le))(1) pnb＝arg minp∈L(yp)(2) L＝{p|p∈C，yp＞ypnt，dist′(p，le)＝0} (3) 其中，pnt為鼻尖點和pnb為鼻基點，C為側影線，連接側影線C頭尾兩點的線段為le，dist(·，)表示點到直線段的距離，yp表示點p的y軸坐標，dist′(·，)表示點到直線段距離的一階微分。
(2)、剛性約束的計算選取包含不同表情的同類模型樣本和異類模型樣本各若干組，在參數域分別計算同類差異和異類差異，將同類差異二值化為剛性約束模板，用于描述人臉曲面不同區域的不同變形能力； 步驟(2)采用的剛性約束的計算是基于多組同類模型，每組中一個是中性模型，其余為帶表情模型。
采用的模型間對應關系的計算在參數域建立。
采用的二值剛性約束的約束率為50％。
(3)基于向導的約束變形給定待變形模型和中性表情的向導模型，以向導模型的梯度場為目標對待變形模型的所有三角形面片進行變換，然后建立變換后的梯度場及其散度場，結合二值剛性約束模板，利用泊松方程求解變形結果，得到弱化表情變形的中間模型； 步驟(3)中采用變形技術是基于泊松方程的變形技術，其線性系統的建立如下式 AU＝b (4)
其中U是變形后網格中任一待求解頂點的坐標分量，b是修改后的梯度向量場的散度，矩陣A是拉普拉斯算子在網格M上構建的一個稀疏矩陣，相應角度見附圖7。
采用的變形技術是用gallery中的模型作為變形向導。
對應三角面片的建立采用的是平均最近距離。
基于向導的梯度場計算是對每個三角面片建立局部坐標系，然后用下式進行變換 X′ij＝Hi·Xij，j＝0，1，2(6) 其中Hi保證下式成立 其中
是三角面片T的法向量。
剛性約束與變形技術的融合采用的是分塊矩陣計算法，如下 其中落入二值約束模板中剛性區域的頂點元素個數為k，稀疏矩陣A的前k行的方程系數對應這k個頂點，A1，A2，A3，A4分別為k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的塊矩陣，U1對應于剛性區域中頂點的x，y，z分量之一，U2是待變形頂點的坐標分量，b1，b2是對應的散度。保持U1不變，泊松方程簡化為求解如下線性系統 A4U2＝b2-A3U1 (9) 采用的線性系統的計算方法是矩陣分解和回代。
(4)匹配匹配變形后的中間模型和當前從gallery庫中取得的向導模型，計算相似度。
步驟(4)采用的匹配相似度量如下式 其中Dcg(·)表示基于向導模型的一次約束變形過程，RMS(·，·)表示最近點平均距離。
(5)識別對gallery中的每一個模型施加(3)、(4)兩步的計算，選取其中平均距離最小的一個作為識別結果，以完成系統功能。
表情變化下的三維人臉識別問題可以簡單定義為已知庫(gallery)中登記了多個身份人每人一個的中性表情模型，對輸入的一個帶表情的模型(probe)，如何實現正確的分類。
假設帶表情的模型為Mp，其對應未知的中性表情模型為Mpn，則存在一個變形函數F，使得Mp＝F(Mpn)，如果可以求出F的逆函數F-1，則可以對Mp施以變換F-1，得到中性的模型Mpn，然后用Mpn與gallery庫中模型匹配則可以實現弱化表情的影響的目的。
由于Mpn未知，F和F-1無法求解，但可以用已有的條件求近似解，首先，F-1函數與模型本身的屬性有關系，例如人臉模型有些區域變形能力強，有些區域則更剛性一些。其次，盡管Mpn未知，但gallery中有大量的中性表情模型，可以借用這些模型的信息。
首先計算模型Mp的表情變形屬性λ，為模型的每個區域賦以一定的變形能力，然后以gallery中的每一個中性模型為假想Mpn′，計算F-1，再用模型的變形屬性λ約束F-1，改進F-1為Fλ-1，采用Fλ-1對Mp進行變換，再與gallery中當前模型匹配。此時，當且僅當Mpn′與Mpn是同一個中性表情模型時，Fλ-1才可以將Mp變為Mpn，否則表情變形屬性約束Mp，確保Mp不會變成Mpn′。這樣的變換Fλ-1可以提高類內相似度，而保持類間的差別度，以弱化表情變化的影響。按以上的思路，提出了一個帶約束的導向變形模型(GCD模型)。其中表情變形屬性對應模型中的剛性約束，導向變形對應于F-1。
本發明方法在三維人臉識別中可以弱化表情變化的影響、提高三維人臉識別的性能。
圖1是本發明的帶約束的導向變形模型用于三維人臉識別的流程圖； 圖2是本發明的人臉模型對稱面檢測和側影線提取示意圖； 圖3是本發明的側影線上鼻尖點和鼻基點檢測示意圖； 圖4是本發明的三維人臉模型的類內差異(第一行)和類間差異(第二行)示意圖； 圖5是本發明的三維人臉模型匹配差異度量亮度圖； 圖6是本發明的剛性約束模板建立過程示意圖； 圖7是本發明的簡單一環網格示意圖； 圖8是本發明的三維人臉網格之間的三角面片局部坐標系的生成和變換示意圖； 圖9是本發明的基于向導模型的梯度場導引和基于泊松方程的變形結果重建示意圖； 圖10是本發明的約束前后的變形結果對比示意圖； 圖11是本發明的基于GCD模型的三維人臉識別與PCA、ICP識別率的比較圖；
具體實施例方式 三維人臉模型姿態定位 姿態定位通過三步完成，首先檢測對稱面并提取側影線，然后確定鼻尖點和鼻基點，最后應用一個剛性變換將三維人臉模型置于統一的坐標框架中以完成姿態定位。
(1)對稱面檢測和側影線提取 我們首先提出一個魯棒的三維人臉對稱面檢測的方法。給定人臉網格M的頂點集合VM＝{pi∈R3|1≤i≤N}，對任意一個平面，可以找到VM關于該平面的鏡像頂點集VM中任意一點pi的對應鏡像點是VMm中的pim，原人臉網格的拓撲結構與鏡像網格一致，嚴格意義上說，如果考慮曲面片的方向，鏡像網格的三角面片的頂點序應該與原網格M相反，此時可以取得統一的曲面方向，由于這里我們主要對點集進行分析，因此可以忽略拓撲結構變化的影響。
將鏡像點集VMm向原網格點集VM配準，使兩者最終對齊，假設得到的點集為其中點的對應次序依然不變。此時，VM和VMm′組成一個新的頂點集合
由于三維人臉本身大致對稱，
是一個自對稱的集合，人臉網格的對稱面必過VM和VMm′中對應點的平分線，因此人臉的對稱面A內蘊的點集可以用下式表示 其中<·，·>表示兩向量的點積。
我們采用ICP方法對齊VM和VMm，ICP能有效地對齊三維模型，但保證其收斂要求兩個待對齊的模型具有粗略對齊的初始位置。因此，計算原人臉網格M的鏡像網格時，需小心地選擇對稱平面。如果初始選擇的對稱平面本身就在人臉網格的對稱面附近，則用該平面鏡像得到的鏡像點集VMm和VM就會有較好的初始對齊位置。
觀察人臉網格的基本形狀，我們發現人臉網格是一張上下方向較長，左右跨度居中，前后厚度較小的曲面，近似于半橢球的形狀。因此，我們對人臉網格的點集VM分布做主元分析(PCA)，可以得到一個平均點
和三個主方向(特征向量)
這三個特征向量分別對應從大到小排序的三個特征值，按PCA的特征值與特征向量的關系，
方向是點集散度最大的方向，
其次，
最小，其方差即為三個對應特征值。由此，我們可以選擇初始對稱平面如下 這個初始鏡像對稱平面滿足在原始人臉的對稱面附近的要求。
由于VM和VMm′有N對對稱點，每一對都可以確定一個人臉網格的對稱平面，我們用最小二乘法擬合各個平面，最后得到優化的對稱平面A，側影線的求取只需計算對稱平面A與原始網格M的交，如圖2。
(2)鼻尖點和鼻基點的確定 鼻尖點pnt和鼻基點pnb都在側影線C上，假設連接側影線C頭尾兩點的線段為le，如圖3所示，對大量人臉特征的觀察可以得出下面兩條假設 a)鼻尖點pnt是位于側影線C上，距離線段le最遠的點； b)鼻基點pnb是位于側影線C上，沿pnt向上的側影線上所有點中與線段le的第一個距離極小值點。
基于上面的兩條假設，可以列出如下的鼻尖與鼻基檢測方法 pnt＝argmaxp∈C(dist(p，le))(4) pnb＝arg minp∈L(yp)(5) L＝{p|p∈C，yp＞ypnt，dist′(p，le)＝0} (6) 其中，dist(·，)表示點到直線段的距離，yp表示點p的y軸坐標，dist′(·，)表示點到直線段距離的一階微分。
(3)統一坐標框架 我們已得到人臉網格的對稱面方向ds和兩個特征點pnt和pnb，通過這三個特征可以把人臉網格放置到一個統一的坐標系中以完成姿態確定。令 vx＝ds(7) vz＝vx×vy(9) 以pnt為原點，vx，vy，vz分別為x，y，z三個坐標軸，可以確定一個新的坐標框架，所有的三維人臉模型可以變換到這個坐標框架中。把坐標框架沿x軸逆時針轉20度，得到最終的統一坐標框架。
剛性約束的計算 三維人臉模型因表情產生的塑性變形在人臉各個部分是不同的，表明人臉各部分的變形能力是不同的，我們要將塑性變形恢復回來，其實是一種逆向的變形，也應該考慮人臉各部分的變形能力。剛性約束正是表達人臉模型各部分不同變形能力的一種度量。
經過大量的觀察和實驗，我們發現三維模型匹配時類間差異和類內差異分布情況有較大差別。如圖4，類內的差異(第1行)多發生于嘴巴區域、雙眉和兩頰的下側，而類間的差異非常不穩定(第2行)，在人臉的任何區域都可能出現差異。圖5是類間差異(第1列)和類內差異(第2列)的一個統計分析亮度圖。類內差異的亮度較大的區域恰恰是表情影響較小的區域，我們稱之為近似剛性區域，當我們對帶表情模型施以逆向變形的時候，近似剛性區域應該具有更大的彈性系數。相反，其它區域的彈性系數小一些。
隨機選擇一個模型集合St，其中每個個體包含至少一個中性模型和盡可能多的帶表情模型，統一的剛性約束模板可以通過訓練的方法得到，如圖6。
首先建立中性模型與同類模型之間的頂點對應關系，我們在模型的參數域求解對應關系。將所有模型姿態確定后固定于統一坐標系中，然后以一個單位圓盤作為參數域對每個模型進行參數化，在參數域內按最近點原則建立頂點的對應關系；對參數域圓盤建立極坐標系，對極坐標r和θ進行均勻分割，建立多個cell，模型參數化后落于同一個cell的人臉區域認為是同一個區域。
采用ICP算法對St中任意一個非中性模型Mi與其同類的中性模型MiN進行匹配，并計算每個頂點在中性模型上的最近點的距離，設Vi是Mi中所有落入第i個cell的頂點集，Vi中第j個頂點到MiN的最近的頂點距離為dij，那么第i個cell對應區域的平均類內差異DTi為 其中|·|表示集合中元素的個數，在圓盤參數域對所有的cell計算類內平均差異，采樣后的亮度圖像如圖6。
我們的約束條件是要確定參數域某個區域內保持固定的頂點，對參數域平均差異圖設定一個比例后，可以得到一個二值的剛性模板(binarymask)。這個二值剛性模板即是GCD模型的約束條件，白色區域內的頂點保持不變，黑色區域內的頂點用GCD模型進行變形。為參數域平均差異圖設定的比例，即不變區域在整個參數域中的比例，我們稱之為約束比率，圖6的約束比率為50％。
基于向導的約束變形 帶約束的導向變形模型就是要將帶表情的模型Mp，在約束條件下向向導中性表情模型Mq變形以弱化表情的影響，主要內容包括基于泊松方程的梯度域變形技術、基于向導的梯度的計算和剛性約束的融合。
(1)基于泊松方程的梯度域網格變形技術 給定的網格Mp，其所有頂點的坐標分量x，y，z分別表示三個標量場，采用梯度算子，可以得到相應的梯度場，梯度域變形技術的關鍵是通過改變梯度場，得到修改后的網格微分屬性，然后對其重建標量場，重建結果對應原來的x，y，z分量，從而得到變形后的模型。重建過程通過Poisson方程完成，而梯度場的改變通過向導模型完成。
1)離散網格上的微分操作算子 (a)離散標量場和離散矢量場 網格M上定義的離散標量場u，可以表示為 其中φi是一個分段線性基函數，在M上的vi點值為1，其它頂點位置值為0，因此，標量場u在vi處的值為ui。網格M上點的坐標的x，y，z三個分量都滿足標量場的定義，可以看作是定義在網格上的三個標量場。
M上離散矢量場ξ的定義類似于標量場，如下 其中ψk是分段常基函數，在三角形片Tk內部為1，Tk外部為0；NT(v)表示與頂點v鄰接的所有三角面片集。標量場的梯度場是網格上的一個矢量場。
(b)離散梯度算子 網格上離散標量場u的梯度運算子定義如下 其中Tv是頂點v依附的三角形，它的三個頂點為v0，v1，v2，按逆時針排序。
其中AT表示三角形Tv的面積，％是求模運算符，(·)⊥表示將向量沿Tv的法向逆時針旋轉90度。標量場經梯度運算，可以得到一個梯度向量場，在Tv內部，梯度是一個常量。
(c)離散散度算子 給定網格M上的向量場ξ，散度運算子定義為 其中<·，·>表示向量點乘運算。
(d)離散拉普拉斯算子 標量場u上的拉普拉斯算子在1環網格上可以表示為下式，參考圖7中角度的符號。
其中N(i)表示頂點vi的鄰接頂點。
2)基于泊松方程的曲面重建 連續曲面上的Poisson方程描述如下 2f＝Div(ξ)，f|Ω＝f*|Ω(17) 其中，f是未知標量函數，Div(·)是向量場ξ的散度，f*是Dirichlet邊界條件，表示連續條件下的拉普拉斯算子。
考慮離散標量場u，可以是網格M的x，y，z分量中的任意一個，其梯度場(u)是一個向量場ξ，此時離散條件下的Poisson方程可以寫為 A(u)≡Div((u))＝Div(ξ)(18) 其中離散梯度算子、散度算子和拉普拉斯算子的計算如(13)(15)(16)式，可以得到如下的一個稀疏線性系統 AU＝b ( 19) 其中U是變形后網格中任一待求解的坐標分量，b是修改后的梯度向量場的散度，矩陣A是拉普拉斯算子在網格M上構建的一個稀疏矩陣
待變形網格Mp，可以看作是拓撲結構已知，而幾何信息未知的數據集，變形就是通過未知幾何信息(x，y，z)的梯度場ξ，結合Mp的拓撲信息，求解其散度，然后用公式(19)求解幾何信息(x，y，z)坐標，即得到變形結果。梯度場ξ要求運算前給定，如何給定ξ我們將在下一節描述。
3)基于向導的梯度場計算 變形過程中，如何計算Mp修改后的梯度場是一個核心的問題。假設Mg是Mp的變形方向(即向導)，先把Mp和Mg的三角面片建立對應關系，將Mp的每一個三角面片在歐氏空間直接向Mg中的對應三角面片作變換。由于每個三角面片的對應面片一般不是同一個，三角面片之間的變換并不相同，因此，變換會把分段光滑的Mp的三角面片分離破碎，然后我們基于破碎的面片集合用梯度算子計算改變后的梯度場，作為目標梯度場，整個過程Mp的拓撲連接關系始終保持不變。
首先，我們將Mp和Mg置于一個統一的坐標系中。此時，兩個模型之間的三角面片有近似的對應關系。
然后，通過變換Mp的三角面片方向變換其面上的梯度值，我們對一個三角面片的三個坐標x，y，z(對應三個標量場)施以相同的變換，這樣變形后的結果比較一致。設Tip是Mp上的任意一個三角面片，Tig是Mg上距Tip平均距離最近的三角面片，引入局部變換Hi，將Tip變換為Tip′，設Tip中某頂點vj的坐標為Xij，Tip′中對應頂點坐標為X′ij X′ij＝Hi·Xij，j＝0，1，2(21) 其中Hi保證下式成立 其中
是三角面片T的法向量。
對每一對Tip和Tig，按最近點原則建立頂點的對應關系后，可以在各自三角面片內建立兩個局部的坐標框架Fig和Fip，如圖8。由于梯度向量與平移變換無關，我們只考慮旋轉變換，Hi可以通過下式計算 變換完成后，采用梯度算子即可計算出改變后的梯度場，至此，我們實現了以Mg作為向導變換Mp的微分梯度場的任務。代入Poisson方程完成破碎三角形的粘合和變形模型的重建。如圖9，結果與Mg非常相似。
4)剛性約束與泊松方程的融合 采用二值剛性約束，可以確定GCD變形技術處理Mp時保持不變的頂點，只需將Mp參數化到同樣的單位圓盤參數域中即可參照模板約束確定固定的頂點。現在我們將約束模板融合到泊松方程中，使得求解過程更為連貫。
設Vc是Mp中落入二值約束模板中剛性區域的頂點集合，其元素個數為k，回憶泊松方程，假設稀疏矩陣A的前k行的方程系數對應這k個頂點，否則，我們總可以通交換矩陣的行和列，使得A滿足這個假設，將A分割成分塊矩陣，泊松方程可以改寫為 其中A1，A2，A3，A4分別為k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的塊矩陣，U1是對應于Vc中頂點的x，y，z分量之一，U2是待變形頂點的坐標分量，b1，b2是對應的散度。保持U1不變，泊松方程簡化為求解如下線性系統 A4U2＝b2-A3U1 (25) 在GCD變形中，由于二值剛性模板固定，輸入網格的約束頂點是固定的，因此，我們可以分解矩陣A4，然后用回代的方法解這個線性方程組，因此，可以實現非常快的計算速度。圖10是約束前后的變形結果比較。
三維模型匹配 給定三維模型的Mp和Mg，兩者的相似度計算如下 其中Dcg(·)表明GCD模型變換，RMS(·，·)表示最近點平均距離。
實驗結果 我們在FRGC v2.0庫上測試了帶約束的導向變形模型(GCD)用于三維人臉識別的性能。由于gallery中應存放中性表情臉，因此選擇FRGC ver2.0中有對應中性模型的帶表情模型作為測試模型，這樣的模型共有1538個，對應353個人。選擇353人最早采集的中性表情模型組成gallery。1538個非中性模型對應不同的表情(smile，frowning，surprise，disgust，sadness，puffy cheeks)，由于采集時間與表情有良好的對應關系，我們按采集時間將非中性表情模型分成9個測試庫，Probe1至Probe9，如表1。
表1 FRGC ver2.0帶表情模型的測試集分割 人臉認證模式下，GCD模型與PCA、ICP的等錯誤率比較如表2，人臉識別的Rank-1圖如圖10。
表2等錯誤率GCD vs ICP，PCA GCD模型與PCA技術和ICP技術進行比較的實驗表明，GCD模型在處理表情變化的庫上有很大的優勢，這主要歸功于GCD模型實現了變形與約束之間的一個平衡，對應于類內相似度與類間差別之間的一個平衡，因此，GCD模型能弱化表情變化的影響、顯著地提高表情變化下的三維人臉識別的性能。
權利要求
1.一種弱化表情形變影響的三維人臉識別方法，步驟如下
(1)三維人臉模型姿態定位
通過檢測三維模型的對稱面和鼻尖點、鼻基點兩個特征點確定人臉姿態，將三維模型置于統一的坐標框架中，方便步驟，(3)中導向變形時三角形對應關系的建立；
(2)剛性約束的計算
選取包含不同表情的同類模型樣本和異類模型樣本各若干組，每組同類模型至少包括一個中性模型，在參數域分別計算同類差異和異類差異，同類差異基于中性模型計算，將同類差異二值化為剛性約束模板，用于描述人臉曲面不同區域的不同變形能力
(3)基于向導的約束變形
每次匹配測試模型和gallery中的中性模型時，將中性模型作為向導模型，以向導模型的梯度場為目標對測試模型的所有三角形面片進行變換，然后建立變換后的梯度場及其散度場，結合步驟(2)得到的二值剛性約束模板，利用泊松方程求解變形結果，得到弱化表情變形的中間模型；
(4)匹配
匹配變形后的中間模型和向導模型，計算兩個模型間最近點對的平均距離作為兩者的相似度；
(5)識別
對gallery中的每一個模型實施步驟(3)、步驟(4)兩步的計算，選取其中平均距離最小的一個作為識別結果，以完成系統功能。
2.根據權利要求1所述的弱化表情形變影響的三維人臉識別方法，其特征是步驟(1)的對稱面檢測采用的是基于ICP對齊原始模型和其鏡像模型，然后求對應點的中軸面的方法。
3.根據權利要求1所述的弱化表情形變影響的三維人臉識別方法，其特征是步驟(1)鼻尖點和鼻基點的檢測采用下述方法
pnt＝argmaxp∈C(dist(p，le))(1)
pnb＝argminp∈L(yp) (2)
其中，pnt為鼻尖點，pnb為鼻基點，C為側影線，連接側影線C頭尾兩點的線段為le，dist(·，)表示點到直線段的距離，yp表示點p的y軸坐標，dist′(·，)表示點到直線段距離的一階微分。
4.根據權利要求1所述的弱化表情形變影響的三維人臉識別方法，其特征是步驟(2)采用的剛性約束的計算是基于多組同類模型，每組一個中性模型，其余為帶表情模型；步驟(2)剛性約束計算采用的模型間對應關系在參數域建立；采用的二值剛性約束的約束率為50％。
5.根據權利要求1所述的弱化表情形變影響的三維人臉識別方法，其特征是步驟(3)中采用變形技術是基本泊松方程的變形技術，其線性系統如下式
AU＝b (4)
其中U是變形后網格中任一頂點的坐標分量，b是修改后梯度向量場的散度，矩陣A是拉普拉斯算子在網格M上構建的一個稀疏矩陣，αij是邊ei，(j+1)與ej，(j+1)的夾角，βij是邊ei，(j-1)與e(j-1)，j的夾角。
6.根據權利要求1所述的弱化表情形變影響的三維人臉識別方法，其特征是步驟(3)采用的變形技術是用gallery中的模型作為變形向導；步驟(3)中模型間對應三角面片的建立采用的是平均最近距離。
7.根據權利要求1所述的弱化表情形變影響的三維人臉識別方法，其特征是步驟(3)中基于向導的梯度場計算是對每個三角面片建立局部坐標系，然后用下式進行變換
Xij′＝Hi·Xij，j＝0，1，2(6)
其中Xij是三角面片i的第j個坐標，Hi保證下式成立
其中
是三角面片T的法向量。
8.根據權利要求1所述的弱化表情形變影響的三維人臉識別方法，
其特征是步驟(3)剛性約束與變形技術的融合采用的是分塊矩陣計算法，如下
其中落入二值約束模板中剛性區域的頂點元素個數為k，稀疏矩陣A的前k行的方程系數對應這k個頂點，A1，A2，A3，A4分別為k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的塊矩陣，U1是對應于剛性區域中頂點的x，y，z分量之一，U2是待變形頂點的坐標分量，b1，b2是對應的散度。保持U1不變，泊松方程簡化為求解如下線性系統
A4U2＝b2-A3U1 (9)
9.根據權利要求1所述的弱化表情形變影響的三維人臉識別方法，其特征是步驟(3)采用的線性系統的計算方法是矩陣分解和回代。
10.根據權利要求1所述的弱化表情形變影響的三維人臉識別方法，其特征是步驟(4)采用的匹配相似度量如下式
其中Dcg(·)表示基于向導模型的一次約束變形過程，RMS(·，·)表示最近點平均距離。
全文摘要
本發明公開了一種弱化表情形變影響的三維人臉識別方法，步驟如下(1)三維人臉模型姿態定位；(2)剛性約束的計算；(3)基于向導的約束變形；(4)匹配變形后的中間模型和gallery庫中的已知模型完成三維人臉識別。本發明可弱化表情變化的影響、提高三維人臉識別的性能。
文檔編號G06K9/62GK101131730SQ200710071538
公開日2008年2月27日 申請日期2007年9月25日 優先權日2007年9月25日
發明者綱 潘, 王躍明, 吳朝暉 申請人:浙江大學