TMT观察网_独特视角观察TMT行业

最近，一個魔性小游戲火了，每個玩兒它的人都會擠眉弄眼、表情怪異。光是看他們的表情，你可能根本猜不出這是一款什么游戲。

華盛頓大學計算機專業的研究生 Nathan Gitter 制作了這款叫做 Rainbrow 的小游戲，游戲內容非常簡單：控制一個 emoji 表情在屏幕內來回跳動，吃到不同位置的星星，星星越多，分數越高。而隨著分數的升高，游戲中的障礙物會越來越多，比如汽車、籃球、鴨子等 emoji 會出現在屏幕中，玩家需要及時反應躲開障礙，以達到更高的分數。

這樣一個小游戲很容易讓人聯想到許多類似的永無止境的休閑游戲（比如《天天過馬路》），本身看上去并沒有特別之處，但好玩的是，想要操作游戲，你的手指完全無用武之地，因為要操作它你必須用到眉毛。

對，你沒聽錯，就是用眉毛，當做出生活中常見的「挑眉」或者「囧眉」的表情時，游戲中的角色就能向上或者向下，它就是一個能配合你眉毛做出反饋的躲避游戲。如同游戲的名字 Rainbrow（由 Rainbow+Eyebrow 合成）暗示的含義那樣，它需要你的「眼技」隨時在線。

游戲的操作方式如此吸引人，你也許會好奇這到底是怎么做到的。這里不妨先回想一下 iPhone X 發布會上讓很多人印象深刻的 Animoji，通過 iPhone 特殊的前置攝像頭，人的面部表情就變成了熊貓、公雞、狗狗等各種各樣的虛擬形象，是不是和今天介紹的這款小游戲的操作很像呢？

從解鎖到人臉交互

和 Animoji 類似，擠眉弄眼的 Rainbrow 用到了蘋果的 ARKit 框架，通過使用 iPhone X 的 True Depth 相機系統，你的面部被實時捕捉，并在手機上對應出相對表情，這一功能依賴于 iPhone X 強大的相機系統和神經網絡運算能力。

如我們曾介紹的那樣，iPhone X 的「劉?！拱讼鄼C、麥克風、揚聲器、環境光感應器、距離感應器、泛光感應元件、紅外鏡頭和點陣投影儀等多個元件，它們組合在一起打造出 iPhone X 獨一無二的體驗。其中，泛光感應元件、紅外鏡頭以及點陣投影儀構成了 True Depth 相機系統核心。

通過朝人面部發射超過 30000 個肉眼不可見光點，True Depth 相機系統不但可以掃描出用戶面部精細的三維圖像，并且可以結合 A11 仿生芯片強大的神經網絡運算能力，學習追蹤到人面部的各種變化，這是 iPhone X 開發出全新交互的硬件基礎。

True Depth 相機系統配合 A11 仿生芯片的強大運算能力，面部信息會被捕捉并迅速建模，并實時繪制出 50 多種面部肌肉的運動。因為這一特性，上文提到的 Rainrow 才得以實現效果，畢竟眉毛簡單的上挑和下彎都是比較簡單的面部肌肉動作（前提是你允許在游戲時打開前置攝像頭）。

作為 Rainbrow 的開發者，同時也是 iOS 開發工程師，Gitter 本人對面部交互應用非?？春茫J為人的面部表情如此豐富，配合手機能夠發揮出更多作用。在 Rainbrow 之外，他還開發出另一個用鼻子控制并摧毀目標的游戲 Nose Zone，在他看來，這些技術和藝術的結合能創造出偉大的產品。而考慮到智能手機出現這么多年，觸摸交互的影響深入人心，我們似乎可以預見另一個由人臉交互帶來的新變革。

當人臉「無所不能」

人臉曾經是被忽視的交互方式，但如今，時代變了。

iPhone X 推出之后，不少人仍舊堅持認為蘋果徹底拋棄方便而順手的指紋解鎖過于冒險。但事實上，人的面部信息價值并不僅僅在于用來解鎖，當發布會展示出和人臉配合的有趣的 Animoji 應用時，關于人臉交互的可能性，在一點點被挖掘出來。

今年 8 月，一款名叫Facedance Challenge 的小游戲迅速火遍全球。在游戲中，你需要做出各種各樣的面部表情，來應對隨時出現的游戲挑戰，玩過的人都知道，為了通關，不知道要對著手機鏡頭做出多少稀奇古怪令人窒息的表情，但這種新奇的游戲體驗，就算是在一旁靜靜看著，也會覺得人臉搭配手機玩兒出花樣來不可思議。

盡管因為硬件限制，目前市面上很多和人臉相關的手機應用不能像 Animoji 那樣與人臉產生強交互，如 Facedance Challenge 這樣的游戲，采用的實際上是人臉圖片分類技術，遠遠比不上 Animoji 復雜。但這并不妨礙人臉和 AI、AR 等結合產生新的交互，這是在軟件與硬件共同推動下發展起來的未來。

軟件在探索交互的可能。目前一般的手機前置攝像頭就可以做到對人臉關鍵點，如輪廓、眉毛、眼睛、鼻子、嘴唇等關鍵部位進行坐標點追蹤定位，從而分辨人的面部表情并推斷情緒，配合大公司的 AI 平臺，如今年 4 月的 Facebook F8 大會上推出的AR Studio，藝術家們可以發掘人臉交互的各種可能，比如對著屏幕眨眨眼能「冒出很多星星」，或者張張嘴就能「噴火」，因為這些動作的豐富，人們看到了交互的新奇之處。

硬件則解決了實際中的各種困難。因為感應元件的發展，我們能讓手機在黑暗之中捕捉到人臉（如 iPhone X 的紅外感應元件），也能讓相機將人臉看得更清楚。因為 AI 芯片的加入，人臉的數據能被實時高速處理，加上 AR 平臺的支持，人們通過面部交互就能夠完成過去很多不太可能做到的事。

不妨做出一個理想假設：AI 芯片目前已經可以在一些手機上實現對于場景的快速判斷，從而拍出觀感更佳的照片，同樣的方法能否運用在對人的表情判斷上呢？當手機前置相機可以快速判斷出人的情緒，就能進行真正的「智能交互」，比如發現你的表情不開心時，主動為你講笑話，或者發現你的面部信息比較痛苦時，為你撥打求救電話聯系親密的人。又或者，在用手機聽老師上課時，老師們可以借助 AI 工具，了解到你目前的情緒，從而隔空對你做出更好的指導。

這些都是過去我們不曾想過的面部交互方式，在游戲之外，關于人臉交互的無數種可能，即將伴隨智能手機與 AI 技術的進化而大放異彩。

來源|極客公園