2D與3D人臉識別同屬計算機視覺領域。由于2D圖像是三維物體在平面上的投影,2D人臉識別的性能會受到光照、姿態(tài)、表情等外界因素干擾,從而影響準確性。因此,如何充分利用人臉的二維和三維信息,如何提高人臉識別的識別率,特別是在人臉遮擋、光照條件不好、拍攝角度不佳等場景下提高人臉識別的識別率是當前需解決的關鍵問題之一。為了解決上述問題這種融合2D人臉檢測和3D人臉識別系統(tǒng)的方法包括如下步驟:
1、通過3D深度相機采集RGB圖像和深度圖像,或采集IR圖像和深度圖像;
2、對RGB圖像或IR圖像進行預處理;
3、對預處理后的RGB圖像或IR圖像,根據(jù)2D檢測方法檢測人臉,框出人臉邊界框以及鼻尖、左右眼、左右嘴角這5個人臉關鍵點;
4、將所得到的5個人臉關鍵點映射到對應的5個XYZ關鍵點的點云上,對XYZ點云數(shù)據(jù)集檢測到的三維人臉數(shù)據(jù)點云進行標準化;
5、根據(jù)標準化后的三維人臉數(shù)據(jù)點云,將其正交投影至指定平面,進行網(wǎng)格擬合,網(wǎng)格擬合后將三維人臉數(shù)據(jù)點云轉(zhuǎn)變?yōu)槎S人臉深度圖;
6、將二維人臉深度圖采用人臉識別方法進行識別,得到人臉識別結果。