牆後的所有姿勢,全被「瞎眼」AI透視

 2018-06-13 16:15:22.0

編者按:本文來自微信公衆號「量子位」(ID:QbitAI),作者:李林 若樸,36氪經授權發佈。

古人云,隔牆有耳。

但想要做到「隔牆有眼」,就像二娃那樣,能穿牆透視,似乎是種遙不可及的本領。

現在,MIT CSAIL的一羣科學家,就用AI構建了一雙透視眼。你在牆後的一舉一動,它就都能看見。這項研究,作爲spotlight論文發表在CVPR 2018上。

吶,效果就是這樣。

牆後的所有姿勢,全被「瞎眼」AI透視識別的方式,就是把人體簡略成一套基本的骨架結構。不同部位,用不同的顏色標示,左右手、左右腿都不一樣。

即便你走到牆後,人眼看不到,但AI一樣能準確判斷你的位置與姿勢。基本算是開了一個透視外掛。

牆都擋不住這套系統,窗簾就更不在話下了。

牆後的所有姿勢,全被「瞎眼」AI透視黑燈瞎火的地方,也完全不是問題。

牆後的所有姿勢,全被「瞎眼」AI透視上面這個演示,我們還可以看到,這個AI認出了兩個人。沒錯,這個AI還能同時識別多人的姿態。

而且即便是多人同時交叉行進的複雜場景,這個AI也能順利搞定。

牆後的所有姿勢,全被「瞎眼」AI透視看到這,你可能會說:除了穿牆之外,其他的演示,並不算炸裂啊,這種人體姿態的識別,已經早有人做了,不是麼?

沒錯。

但這個AI,其實是個眼瞎的「盲AI」!

穿牆透視也好,多人識別也好,依靠的全都不是視覺信號,實際上,根本沒給AI視覺信號。

牆後的所有姿勢,全被「瞎眼」AI透視

那,這個AI靠什麼識別人體?

無線電波。

它用的無線電波有點類似大家常見的WiFi信號,但是功率更弱一些。利用無線信號在人身上的反射,來「看清」人體。

因此,這個AI的名字就叫RF-Pose,從射頻到姿勢的意思。

來,感受下這兩張圖。看看你能不能腦補出人體姿勢。

牆後的所有姿勢,全被「瞎眼」AI透視

透視眼修煉之道

我們前面提到過,RF-Pose識別人類動作時,根據的並不是視頻,而是無線電波的反射。

而想要訓練這樣一個AI,面臨着一個嚴重困難:

根本沒有標註好的數據集可用。

更要命的是,就算你糾集一批人類,想羣策羣力標註一個這樣的數據集,也完全不可行——無線電信號那個微弱粗糙的分辨率,我們人類根本認不出。

這個困難,在訓練過程中無法迴避。於是,他們用上了「跨模態監督」方法,在無線電波接收器旁邊加了個攝像頭,同步記錄無線電波和視頻,然後從視頻流中提取人體姿勢信息,用作無線電波的監督信號。

他們在MIT校園裏收集了50小時的數據集,男女老少都不放過,場景包括辦公室、食堂、教師、報告廳、樓梯、走廊等等50餘處。

在這個數據集裏,最熱鬧的數據幀包含14個人,最少的當然是完全沒有人。

也就是說,數據集包含兩大部分:圖像上能看到人的、和人被遮擋了的。MIT團隊從圖像上能看到人的部分選取70用於訓練,30%留作測試用,而人被遮擋的數據全都用來測試。

70%能看見人的數據,拿來訓練了一個跨模態「師生網絡」。

牆後的所有姿勢,全被「瞎眼」AI透視

在這個網絡中,老師以圖像爲輸入,預測出人體關鍵點的置信圖,學生以射頻信號爲輸入,以和老師最接近爲目標,學着預測人體關鍵點置信圖。

從置信圖再生成出我們最終看到的骨架模型,RF-Pose的透視技能就算修煉完成了。

無線新方向

這篇論文的作者,包括Mingmin Zhao、Tianhong Li、Mohammad Abu、Alsheikh Yonglong、Tian Hang Zhao、Antonio Torralba、Dina Katabi等。

牆後的所有姿勢,全被「瞎眼」AI透視

其中一作Mingmin Zhao(趙明民),本科畢業於北京大學,目前在MIT讀博。去年夏天,趙明民發表過另一篇AI+無線信號的論文,主要用這個技術來監測人類的睡眠情況。論文發表在ICML 2017上。

論文傳送門:http://sleep.csail.mit.edu/

此前,他還研究過使用無線信號識別表情。

傳送門:http://eqradio.csail.mit.edu/

你看,這其實是一整套技術。不用安裝攝像頭,只需要通過類似WiFi的無線信號,現在就能知道你在哪,有什麼動作,是什麼姿勢,情緒怎麼樣,心跳快不快以及睡眠質量怎麼樣……等等。

當然這套技術並不是要窺探你的隱私。

而是有更廣泛的應用場景。例如,幫忙監測家裏的老人或者醫院的病人。這套系統有幾個好處。

首先,不用攝像頭,省卻了很多隱私的擔憂。

其次,這個技術能比較準確的識別出不同的人,並且追蹤行動、姿態、情緒等相關數據。

再次,監測可以穿牆而過,不受干擾。

以及,被監測對象可以不必佩戴隨身任何其他設備,輕鬆高效。

總之這是個很有意思的方向。當然這一方向的研究,還有大量的工作需要完成。比方,這個團隊會繼續尋求捕捉更細微的動作,例如老人的手部顫抖等。當然透視監測的準確率,也需要進一步提升。

而趙明民之所以一直研究這個方向,其實源於他的導師:Dina Katabi。

牆後的所有姿勢,全被「瞎眼」AI透視

Katabi教授一直在研究無線技術,她是CSAIL實驗室NETMIT研究組負責人,也是MIT無線網絡和移動計算中心的主任。

上面提到的所有研究,其實都沒有細講無線信號的問題。

實際上,Katabi團隊在2015年發表的一篇論文裏,對這件事有更爲詳細的描述,論文題目:Capturing the Human Figure Through a Wall。

在這篇論文裏,披露了當時那套無線設備的一些細節。

吶,就是這樣。

牆後的所有姿勢,全被「瞎眼」AI透視

研究傳送門

牆後的所有姿勢,全被「瞎眼」AI透視

項目主頁:
http://rfpose.csail.mit.edu/

論文:

Through-Wall Human Pose Estimation Using Radio Signals
Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi
Computer Vision and Pattern Recognition (CVPR), 2018
http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhao_Through-Wall_Human_Pose_CVPR_2018_paper.pdf

說明一下,目前這個AI的監測效果,在沒有遮擋的情況下,準確率62.4%,需要穿牆透視的時候,它的準確率是58.1%。

先別太苛刻,這個AI還是個寶寶嘛。就算是看着視頻來識別姿勢,現在AI的準確率也並沒有非常高。2017年曠視在MS COCO人體關鍵點檢測奪冠的成績,也才73%而已。

推斷出人體姿勢之後,AI還能進行一些其他工作:比如根據這個骨架結構來認人。給AI兩秒鐘的骨架活動片段,它認人的準確率就能達到83%。

文章來源:36kr