一種利用深度相關神經網絡模型識別人臉表情的方法及裝置的制造方法
【專利摘要】一種利用深度相關神經網絡模型識別人臉表情的方法及裝置，本發明方法包含以下步驟：1)訓練深度相關神經網絡模型；2)輸入圖像到訓練好的模型，得到人臉表情特征，3)將特征輸入分類器，得到識別結果。本發明的裝置由主機和客戶機構成；其中，主機內設置有人臉數據采集模塊、表情識別模塊、監護模塊三部分；連接關系為，人臉數據采集模塊、表情識別模塊、監護模塊三部分依序連接；監護模塊與客戶機連接。本發明的有益效果為，1)使最后的識別準確度更高；2)本發明克服輸入測試圖像時對模型參數反饋自適應調節參數的問題；3)本發明根據損失函數反饋，通過樣本的重要性來自適應調整模型參數，具有更好的魯棒性。
【專利說明】
一種利用深度相關神經網絡模型識別人臉表情的方法及裝置
技術領域
[0001] 本發明屬于人臉表情識別技術領域，尤其是屬于一種基于改進后的深度神經網絡 模型(DNN)人臉表情識別方法技術領域。
【背景技術】
[0002] 面部表情識別，簡單說來是對最基本的人類情緒的識別，最基本的人類情緒共分 七種，包含憤怒、厭惡、恐懼、快樂、悲傷、驚訝和正常。人與人之間的交流，基于表情內容而 獲得的信息占據絕大部分，遠超過基于語言內容而獲得的信息，所以表情信息的獲得、分析 對于一個個人來講是十分重要的。隨著計算機技術的高速發展，人工智能技術的進步，一些 人工智能產品如機器人等已經出現在人類的生活中，但是對于機器人來講，如何正確識別 人類的面部表情，從而分析人類的基本情緒，最終實現人機之間有感情的高級溝通交流，已 經成為人工智能領域的一個新興、熱點研究課題。
[0003] 現有的面部表情識別技術，一般包含三個步驟:面部圖像預處理、特征提取和分 類。在提取特征部分有兩種方法，1)面部動作單元方法，即通過檢測和分析如眼部、嘴巴等 這些每個單獨的面部單元特征，對這些特征進行組合之后來進行一些面部表情分析;2)容 貌特征法，將整個人臉或者局部人臉通過圖像的濾波得到特征矢量，得到特征矢量后進行 表情的分類與識別。
[0004] 上述第1種方法，即使用面部動作單元方法提取表情特征時，由于每個運動單元是 每個局部化的空間模板，沒有時間描述信息，需要可靠的面部檢測與跟蹤技術，還需要人臉 檢測器捕獲人臉特征點準確的位置信息，以確保提取出準確的特征信息，在很多情況下，并 不能保證有很高的準確率和性能。
[0005] 上述第2種方法，即使用容貌特征法，由于大部分容貌特征法都要提取手工特征， 在將這類方法用在新的數據集上時泛化能力較差。
[0006] 現有的面部表情識別技術所使用的傳統的DNN(深度神經網絡）、T_DNN(基于 triplet損失的深度神經網絡)等算法，在對模型反饋調節模型參數時，對所有的訓練樣本 不加區分，使得有些樣本在訓練不同的表情類時區分度不高，對表情、姿態與光照等復雜變 化的魯棒性差，最終不能更好的識別人類的面部表情特征。
【發明內容】
[0007] 對于上述現有技術的缺點，本發明提供一種利用深度相關神經網絡模型識別人臉 表情的方法，本發明對人臉表情的識別更為合理、準確。
[0008] -種利用深度相關神經網絡模型識別人臉表情的方法，本發明包含以下步驟：1) 訓練深度相關神經網絡模型;2)輸入圖像到訓練好的模型，得到人臉表情特征，3)將特征輸 入分類器，得到識別結果。
[0009] 本發明步驟1、步驟2)的內容為，首先構造一種隱含層數目大于等于3層的深度神 經網絡結構進行模型訓練;訓練過程中，用損失函數判斷哪些樣本是重要樣本，重要樣本為 其對應的特征與同類樣本對應的特征之間的距離和其對應的特征與異類樣本對應的特征 之間的距離很接近的樣本;對于重要樣本，在更新模型時，給予更多的權重去訓練學習。因 此，定義樣本集合PziPi}，這里6 = ，其中？1和對是同類表情的圖像，？1和巧:是不 同表情的圖像，設f(x)為圖像X經神經網絡模型處理后的輸出，則f(x)就為X的特征表示，需 要得到有效的特征汽？1)，1<)和1>,〇'要讓映射后的特征汽？1)和，(<)比以 ？1)和，(<) 這些特征更近，這樣在更新模型參數時，就有選擇性的給那些重要樣本更多的權重，定義損 失函數如下：
[0010]這里γ彡0,是一個判斷學習樣本重要性的參數，如果和 小于γ，說明這些樣本太過難以區分，對此類樣本不進行學習，避免過擬合， 這里α是一個權衡參數。關于f(Pl)、f ?·(/?；)的梯度函數表示如下：
[0015] 本發明步驟3)的分類器為k近鄰分類器。
[0016] 使用權利要求1所述的一種利用深度相關神經網絡模型識別人臉表情的方法的載 體，本發明該載體為一種人體監護裝置，該裝置由主機和客戶機構成;其中，主機內設置有 人臉數據采集模塊、表情識別模塊、監護模塊三部分;連接關系為，人臉數據采集模塊、表情 識別模塊、監護模塊三部分依序連接;監護模塊與客戶機連接。
[0017] 本發明人臉數據采集模塊為，用攝像頭采集實時的人臉圖像數據，將獲取的人臉 數據送入表情識別模塊。
[0018] 本發明表情識別模塊為一種利用深度相關神經網絡模型識別人臉表情的模塊。
[0019] 本發明監護模塊為，根據表情識別模塊識別出來的結果做出不同監護響應。
[0020] 本發明客戶機為，客戶機獲得識別結果并同時獲得對應人臉表情視頻，監護人利 用客戶機修改監護響應方式。
[0021] 本發明主機與客戶機的連接方式為采用有線或者無線方式進行通信連接。
[0022] 本發明涉及的深度相關神經網絡是常見的深度神經網絡(DNN)的升級算法。
[0023] 本發明的有益效果為，1)本發明能夠更快更好的訓練樣本得到合適的模型參數， 使最后的識別準確度更高。2)本發明克服輸入測試圖像時對模型參數反饋自適應調節參數 的問題，著重研究了同類表情樣本和不同類表情樣本經神經網絡模型映射之后在空間的相 對距離問題。3)本發明根據損失函數反饋，通過樣本的重要性來自適應調整模型參數，具有 更好的魯棒性。
[0024]下面結合附圖和【具體實施方式】對本發明做進一步解釋。
【附圖說明】
[0025]圖1為本發明的結構不意圖；
[0026] 圖2為本發明【具體實施方式】中的第一種神經網絡結構圖；
[0027] 圖3為本發明【具體實施方式】中的第二種神經網絡結構圖。
【具體實施方式】
[0028] -種利用深度相關神經網絡模型識別人臉表情的方法，本發明包含以下步驟：1) 訓練深度相關神經網絡模型;2)輸入圖像到訓練好的模型，得到人臉表情特征，3)將特征輸 入分類器，得到識別結果。本發明采用深度神經網絡對圖像進行特征提取，圖2給出了第一 種神經網絡模型結構圖，圖3給出了第二種神經網絡模型結構圖。
[0029] 本發明步驟1、步驟2)的內容為，首先構造一種隱含層數目大于等于3層的深度神 經網絡結構進行模型訓練;訓練過程中，用損失函數判斷哪些樣本是重要樣本，重要樣本為 其對應的特征與同類樣本對應的特征之間的距離和其對應的特征與異類樣本對應的特征 之間的距離很接近的樣本;對于重要樣本，在更新模型時，給予更多的權重去訓練學習。因 此，定義樣本集合P={Pi}，這里C = :(?，對，埒卜其中Pi和對是同類表情的圖像，Pi和6是不 同表情的圖像，設f(x)為圖像X經神經網絡模型處理后的輸出，則f(x)就為X的特征表示，需 要得到有效的特征f( Pl)，f (<)和，(/4,要讓映射后的特征f(Pl)和f 比f( Pl)和，(P7) 這些特征更近，這樣在更新模型參數時，就有選擇性的給那些重要樣本更多的權重，定義損 失函數如下：
[0030]這里γ彡0是一個判斷學習樣本重要性的參數，如果和 |f (巧）-f小于丫，說明這些樣本太過難以區分，對此類樣本不進行學習，避免過擬合， 這里α是一個權衡參數。關于f (Pl)、f 的梯度函數表示如下：
[0035] 本發明步驟3)的分類器為k近鄰分類器。
[0036] 使用權利要求1所述的一種利用深度相關神經網絡模型識別人臉表情的方法的載 體，本發明該載體為一種人體監護裝置，該裝置由主機和客戶機構成;其中，主機內設置有 人臉數據采集模塊、表情識別模塊、監護模塊三部分;連接關系為，人臉數據采集模塊、表情 識別模塊、監護模塊三部分依序連接;監護模塊與客戶機連接。本發明的人體監護裝置結構 示意圖見圖1。
[0037] 本發明人臉數據采集模塊為，用攝像頭采集實時的人臉圖像數據，將獲取的人臉 數據送入表情識別模塊。
[0038] 本發明表情識別模塊為一種利用深度相關神經網絡模型識別人臉表情的模塊。
[0039] 本發明監護模塊為，根據表情識別模塊識別出來的結果做出不同監護響應。
[0040] 本發明客戶機為，客戶機獲得識別結果并同時獲得對應人臉表情視頻，監護人利 用客戶機修改監護響應方式。
[0041] 本發明主機與客戶機的連接方式為采用有線或者無線方式進行通信連接。
[0042] 本發明中，108X108、3X3、54X54、27X27、13X13、6X6、160X160、80X80、40X 40、20X20等數值的單位為像素。
[0043] 表1【具體實施方式】中的第一種神經網絡參數
[0045]表2【具體實施方式】中的第二種神經網絡參數
【主權項】
1. 一種利用深度相關神經網絡模型識別人臉表情的方法，其特征在于，包含W下步驟： 1)訓練深度相關神經網絡模型;2)輸入圖像到訓練好的模型，得到人臉表情特征，3)將特征 輸入分類器，得到識別結果。2. 根據權利要求1所述的一種利用深度相關神經網絡模型識別人臉表情的方法，其特 征在于，步驟1、步驟2)的內容為，首先構造一種隱含層數目大于等于3層的深度神經網絡結 構進行模型訓練;訓練過程中，用損失函數判斷哪些樣本是重要樣本，重要樣本為其對應的 特征與同類樣本對應的特征之間的距離和其對應的特征與異類樣本對應的特征之間的距 離很接近的樣本;定義樣本集合P= {Pi}，運里=>,，皆，/d，其中Pi和孩是同類表情的圖 像，Pi和磚是不同表情的圖像，設f(x)為圖像X經神經網絡模型處理后的輸出，則f(x)就為X 的特征表示，需要得到有效的特征f(Pi)，/杉:)和f ?狂），定義損失函數如下：運里丫 >0,是一個判斷學習樣本重要性的參數，如果小于丫，說明運些樣本太過難W區分，對此類樣本不進行學習，避免過擬合，運里α是一個權 衡參數;關于f (Pi)?片）> (每)的梯度函數表示如下：3. 根據權利要求1所述的一種利用深度相關神經網絡模型識別人臉表情的方法，其特 征在于，步驟3)的分類器為k近鄰分類器。4. 使用權利要求1所述的一種利用深度相關神經網絡模型識別人臉表情的方法的載 體，其特征在于，該載體為一種人體監護裝置，該裝置由主機和客戶機構成;其中，主機內設 置有人臉數據采集模塊、表情識別模塊、監護模塊Ξ部分;連接關系為，人臉數據采集模塊、 表情識別模塊、監護模塊Ξ部分依序連接;監護模塊與客戶機連接。5. 根據權利要求4所述的使用權利要求1所述的一種利用深度相關神經網絡模型識別 人臉表情的方法的載體，其特征在于，人臉數據采集模塊為，用攝像頭采集實時的人臉圖像 數據，將獲取的人臉數據送入表情識別模塊。6. 根據權利要求4所述的使用權利要求1所述的一種利用深度相關神經網絡模型識別 人臉表情的方法的載體，其特征在于，表情識別模塊為一種利用深度相關神經網絡模型識 別人臉表情的模塊。7. 根據權利要求4所述的使用權利要求1所述的一種利用深度相關神經網絡模型識別 人臉表情的方法的載體，其特征在于，監護模塊為，根據表情識別模塊識別出來的結果做出 不同監護響應。8. 根據權利要求4所述的使用權利要求1所述的一種利用深度相關神經網絡模型識別 人臉表情的方法的載體，其特征在于，客戶機為，客戶機獲得識別結果并同時獲得對應人臉 表情視頻，監護人利用客戶機修改監護響應方式。9. 根據權利要求4所述的使用權利要求1所述的一種利用深度相關神經網絡模型識別 人臉表情的方法的載體，其特征在于，主機與客戶機的連接方式為采用有線或者無線方式 進行通信連接。
【文檔編號】G06N3/08GK106096598SQ201610698191
【公開日】2016年11月9日
【申請日】2016年8月22日 公開號201610698191.2, CN 106096598 A, CN 106096598A, CN 201610698191, CN-A-106096598, CN106096598 A, CN106096598A, CN201610698191, CN201610698191.2
【發明人】林旭
【申請人】深圳市聯合視覺創新科技有限公司