把Stable Diffusion接入機器人會怎樣?
告訴它你想讓它畫什麼,然後一筆一筆畫出來。
只見它一邊與旁邊的人類工程師談笑風生,一邊熟練地用馬克筆在白板上畫出一隻簡筆的貓。
最後還不忘簽下自己的名字「Ameca」,然後抬起執筆的手,用眼神繼續審視著剛剛完成的作品。
當Ameca詢問人類對它的作品是否滿意的時候,工程師老哥耿直地回答「這畫的有點簡略了」。
然後高能來了。
Ameca生氣地嗆了回去:
如果你不喜歡我的畫,你可能只是不懂藝術。
機器人Ameca,來自英國公司Engineered Arts,之前就以表情逼真到嚇人出名過一次。
現在它get到用筆畫畫的新能力,又驚豔了一眾網友。
每一筆畫完後輕輕舉起筆,就像一個真正的素描藝術家一樣,這個小細節太酷了。
機器人怎麼用筆畫畫的?
Ameca具體是怎麼學會畫畫的,它自己就能解釋明白:
我使用開源的Stable Diffusion,對生成的影象做骨架化和向量化,然後再把轉化出的軌跡轉換成動作並執行。
就這樣,Ameca的身體動作和麪部表情由Engineered Arts自研技術驅動,語言能力來自GPT-3(沒錯,不是3.5),再加上Stable Diffusion,組成了一位機器人畫家。
有網友表示,這樣的能力在教育中很有用,對於學生來說,用機器人比盯著電腦螢幕看有意思多了。
Engineered Arts自研技術包括機器人作業系統Tritium和機器人生產平臺Mesmer。
首先用36臺攝像機無死角捕捉海量真人面部資料,包括骨骼結構,面板紋理和表情等。
對這些資料做3D建模,並3D列印出機器人的矽膠面板。
Tritium作業系統連線了硬體、軟體和雲端,可以驅動機器人的每一個元件,除了面部,還會牽動頭頸、肢體的不同「肌肉」。
最終實現更逼真的表情。
再加上語言模型GPT-3和語音技術,Ameca已經初步具備了與人類互動的能力。
這次除了畫畫以外,Engineered Arts還公佈了另一條人類與Ameca討論音樂的視訊,或許暗示這是下一個挑戰方向。
Ameca說自己喜歡爵士古典和電子樂,人類給他出的難題「如果要把這三種風格融合在一起寫一首歌,第一句歌詞是什麼。」
Ameca略加思索就給出了回答。
另外Ameca還在搞一場與網友互動的活動。
如果你有什麼問題想問它,可以去原視訊評論區留言,下一條視訊可能就是Ameca回答你的問題了。
參考連結:
[1]https://www.youtube.com/watch?v=_1OA_9_wW70
[2]https://www.youtube.com/watch?v=L32BRcvnWRU
[3]https://www.engineeredarts.co.uk/mesmer-creation/