用深度學習快速人臉建模

 2017-05-25 11:03:00.0

本篇論文發表於 SIGGRAPH 2017,併入選 Technical Papers Preview Trailer。爲便於非專業人士閱讀,以下介紹儘量不夾帶英文和公式,也儘量精簡扼要。

關鍵詞:Face Modeling, Face Database, Deep Learning, Face Caricatures, Gestures, Sketch-Based Modeling

論文鏈接:DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling

簡介

臉部建模一直是計算機圖像和視覺領域的熱門話題,包括卡通人物建模、人臉藝術設計、人臉實時重構等等,尤其是交互式人臉建模。我們構建了一個快速的、交互的、基於深度學習的人臉建模框架。通過簡單勾勒人臉圖畫(caricature),我們的模型可以迅速生成對應的三維人臉模型,並且可以同時擬合面部輪廓和細節表情。同時我們也提供了多種方式進行快速的模型修改。實驗證明我們的結果具有高精度和快速度。

框架

非常推薦大家通過視頻瞭解我們的框架:

Youtube: DeepSketch2Face(SIGGRAPH2017) Youtube

騰訊視頻: DeepSketch2Face(SIGGRAPH2017) 騰訊視頻

框架的流程如圖所示:

用深度學習快速人臉建模

初始繪製模式(Initial Sketching Mode)

我們採用了卷積神經網絡(CNN)來學習二維繪畫的人臉特徵。如圖所示,輸入是 256 乘 256 大小的繪畫圖片,通過卷積層提取特徵,結合每個像素點的雙線性插值編碼,利用不同的全連接層,最終輸出一個 50 維的人臉向量和一個 16 維的表情向量。我們預設了 50 個人臉基底和 16 個表情基底,最終輸出的模型則是向量和基底的點乘。我們可以做到近乎實時的渲染,即用戶每勾勒一筆線條,迅速輸出對應的擬合三維模型。(對於卷積層,我們採用了較老的 AlexNet。我們也試驗了 Resnet 等更新的網絡結構,在精度上沒有特別顯著的提升;同時考慮到實時繪製的速度要求,我們選擇了這樣一個折衷方案。)

用深度學習快速人臉建模

以下是一些真實渲染結果:

用深度學習快速人臉建模

連續繪製模式(Follow-up Sketching Mode)

利用同樣的卷積神經網絡以及區域變形技術(Laplacian deformation),我們給用戶提供了簡易修改的繪製方案。對於不精於從空白紙張繪製肖像的用戶,或者不想生成複雜人臉形狀的用戶,可跳躍第一步直接進行連續繪製。在連續繪製模式下,由單向工程(二維 -> 三維)轉變爲雙向工程 (二維 <-> 三維):用戶可直接從當前生成或預設的三維模型得到一個二維的人臉輪廓,並基於這個人臉輪廓進行修改、刪除、變形等操作;類似於第一步,這個二維輪廓可以生成相應的三維模型。

下圖是一個典型的通過連續繪製模式生成的模型:

用深度學習快速人臉建模

精細修改模式(Gesture-based Refinement)

我們提供了基於手勢的精細修改模式。如圖所示,用戶可以通過相應的手勢,選取圖像的區域進行變形,如面頰凸起,眉毛修改、面部輪廓修改等等。用戶的手勢也是通過一個簡單的卷積神經網絡學習,輸入是用戶繪畫的手勢,輸出是對應的操作。

用深度學習快速人臉建模

其他

平均來講,基於我們的框架,新手繪製一個人臉模型只需要 5~7 分鐘,熟練後甚至在一兩分鐘內就畫出一個逼真的人臉模型。我們支持多種模型格式輸出,以便對接其他平臺。用戶在實時操作過程中可以無障礙地進行撤銷和恢復操作。用戶操作窗口本身也支持各種常見的渲染操作,如放大縮小旋轉移動貼圖等等。同時,我們也提供了一個用於人臉建模的數據庫,包含極大量的人臉模型,及其不同的表情和誇張程度(levels of exaggeration)

用深度學習快速人臉建模

結尾

有了這個軟件,再也不用擔心不會建模了!更多關於模型的細節和數學公式,請參考原論文。

----------------------------------

更新:鑑於大家的需求,我們會陸續上傳 demo 文件和數據庫資料(預計八月),需要的童鞋們可以先 star 我們的 repo: irsisyphus/deepsketch2face

雷鋒網按:本文原作者irsisyphus,香港大學計算機系大三學生,論文第二作者。更多內容及個人簡歷請關注我的個人網站,歡迎各種工作 / PHD 內推。本文原載於知乎專欄,雷鋒網(公衆號:雷鋒網)對文章做出了不改變原意的調整。

「12小時零基礎入門深度學習班」開課啦!

想要挑戰AlphaGo卻不懂深度學習?

雷鋒網AI慕課學院專門打造了《12小時零基礎入門深度學習》,fastai中文社區最活躍的四位貢獻者親授,硅谷教學模式帶你實操9個深度學習項目!即使零編程基礎,也能在這裏找到適合你的學習路徑!

課程鏈接:http://www.leiphone.com/special/mooc/01.html

文章來源:雷鋒網