上周 Google I/O 2016 公布了 Project Soli 的最新進(jìn)展娩怎，可以通過手掌和手指的簡單手勢來控制智能手表和智能音箱。

Soli 是一塊極小的雷達(dá)芯片胰柑，它可以適配大多數(shù)可穿戴設(shè)備截亦，實(shí)時(shí)追蹤你的手部動(dòng)作，檢測手指的位置柬讨、相對(duì)距離和運(yùn)動(dòng)崩瓤，通過動(dòng)作進(jìn)行數(shù)據(jù)和指令的傳達(dá)，讓你擺脫觸摸屏踩官。

在本周四晚「深圳灣夜話」活動(dòng)中却桶，我們邀請了 Maxus Tech 創(chuàng)始人 Mark 與各位科技愛好者聊了聊 Google Project Soli 及其他手勢識(shí)別技術(shù)。

Google Project Soli 發(fā)展概述

在 2015 年 5 月的 Google I/O 大會(huì)上卖鲤，Google 第一次向外界公布 Project Soli 這項(xiàng)手勢操作感應(yīng)技術(shù)的原型肾扰。由 Google ATAP 與 Infineon 合作研發(fā)，使用雷達(dá)技術(shù)來探測細(xì)微的動(dòng)作和手勢蛋逾，并把它們進(jìn)行轉(zhuǎn)化和信息輸入集晚。這項(xiàng)能隔空操控屏幕界面的技術(shù)引起了人們極大的興趣。

· 使用手勢操作手表区匣，設(shè)備感知手指細(xì)微的調(diào)頻動(dòng)作

緊接著在 10 月份偷拔，Google 將此技術(shù)的開發(fā)者版本（Project Soli dev kit）開放給了 60 個(gè)開發(fā)單位和開發(fā)者。這些開發(fā)者個(gè)體或組織利用 Project Soli dev kit 進(jìn)行二次開發(fā)亏钩，應(yīng)用到了不同的領(lǐng)域當(dāng)中莲绰，如物體識(shí)別、車載應(yīng)用姑丑、新媒體展示應(yīng)用等蛤签。

· 基于 Project Soli dev kit 開發(fā)者套件開發(fā)手勢識(shí)別應(yīng)用

在今年的 Google I/O 大會(huì)上，Google 公布了這項(xiàng)技術(shù)的突破性進(jìn)展：體積縮小至最初模型的 1/3栅哀，功耗降低了 22 倍（由 1.2W 降低到了 0.054 W ）震肮，性能提高了 256 多倍称龙。

Project Soli 采用 60 GHz，波長 5mm 的極高頻毫米波無線電波捕捉動(dòng)作戳晌、距離鲫尊、速度等信息，感應(yīng)精確度達(dá)到毫米級(jí)沦偎。據(jù) Infineon 負(fù)責(zé)人稱疫向，其無線電探測器捕捉圖像的幀率為每秒 1.8 萬幀。

· Project Soli 外觀演進(jìn)圖（2014.7~2015.5）

Google 用了 10 個(gè)月的時(shí)間將 Soli 從 PC 主機(jī)大小縮小到了硬幣大小豪嚎。為了提高精度搔驼，還使用了 2 個(gè)發(fā)射器與 4 個(gè)接收器。

· 硬幣大小的 Soli疙渣，包含 2 個(gè)發(fā)射器與 4 個(gè)接收器

另外匙奴，Google 將這項(xiàng)技術(shù)應(yīng)用到兩件產(chǎn)品之中并進(jìn)行了現(xiàn)場演示：一個(gè)是 LG 智能手表，另一個(gè)是 JLB 音箱妄荔。

這款 LG 智能手表支持觸控和語音輸入泼菌，但它真正的微妙之處在于，你只要通過手指細(xì)微的動(dòng)作啦租，就能在表盤上實(shí)現(xiàn)切換哗伯、點(diǎn)擊等功能。

Google ATAP 與 Harman 聯(lián)手打造的 JLB 音箱篷角，箱體無任何按鍵焊刹，通過手勢可進(jìn)行歌曲的播放、暫停恳蹲、切換等操作虐块，正面的環(huán)形光圈具有進(jìn)度條顯示的功能。

Google Project Soli 雷達(dá)技術(shù)的運(yùn)作原理

Google Project Soli 主要運(yùn)用雷達(dá)技術(shù)嘉蕾，通過持續(xù)發(fā)射和接受手部反射的電磁信號(hào)贺奠，測量精細(xì)、復(fù)雜的動(dòng)作變化错忱，而后轉(zhuǎn)碼分析儡率、識(shí)別。

· 手指運(yùn)動(dòng)的同時(shí)以清，造成反射波頻譜的連續(xù)變化儿普。

Google Project Soli 雷達(dá)通過 RDM （Range Doppler Map，距離－多普勒映射）, IQ data 以及 Spectrogram（頻譜圖） 獲得手勢信息掷倔，進(jìn)一步使用 Machine Learning 估算出手勢眉孩。

· 頻譜圖，圖片來源于 Google Preject Soli 官網(wǎng)

手勢識(shí)別技術(shù)的主流方案

目前勒葱，手勢識(shí)別技術(shù)的主流方案有光學(xué)和穿戴勺像，非主流方案包含雷達(dá)障贸、磁力、肌肉電吟宦、電磁波等。

基于光學(xué)的手勢識(shí)別技術(shù)

光學(xué)方案包括三種涩维，按簡單到復(fù)雜的程度進(jìn)行排序?yàn)椋?b>二維手型識(shí)別殃姓、二維手勢識(shí)別、三維手勢識(shí)別瓦阐。

二維手型識(shí)別也稱為靜態(tài)二維手型識(shí)別蜗侈，該技術(shù)通過獲得的二維信息，可識(shí)別一指到五指張開或握拳等「靜態(tài)」手勢睡蟋，但不能識(shí)別持續(xù)變化踏幻、動(dòng)態(tài)的手勢。代表公司為一家在 2013 年成立的印度公司 Flutter（已被 Google 收購）戳杀。

· 來自印度的團(tuán)隊(duì) Flutter 通過靜態(tài)手型控制視頻

二維手勢識(shí)別即為動(dòng)態(tài)手勢識(shí)別该面，與二維手型識(shí)別相同的是，它們只能實(shí)現(xiàn)對(duì)二維空間內(nèi)的感知信卡，同樣不具備對(duì)深度信息的識(shí)別隔缀。但比起二維手型識(shí)別，該技術(shù)增加了對(duì)手勢「動(dòng)態(tài)」的感知傍菇，可追蹤手勢的簡單運(yùn)動(dòng)信息猾瘸，比如通過揮手動(dòng)作，實(shí)現(xiàn)播放丢习、暫停等操作牵触。代表公司為以色列的 PointGrab，EyeSight 等咐低。

· 來自以色列的團(tuán)隊(duì) PointGrab 通過動(dòng)態(tài)手勢操控電腦

相比前兩種手勢識(shí)別技術(shù)揽思，三維手勢識(shí)別技術(shù)就復(fù)雜多了，除了手型和動(dòng)作信息渊鞋，它同時(shí)還需要獲得深度信息绰更，而深度信息的獲得主要靠這三種技術(shù)：機(jī)構(gòu)光（Structure Light ）、光飛時(shí)間（Time of Flight）锡宋、多角成像（Multi-camera）儡湾。代表性團(tuán)隊(duì)將在下文提到。

基于穿戴傳感的手勢識(shí)別技術(shù)

穿戴式的手勢識(shí)別的運(yùn)作原理為：通過手上佩戴的 IMU 傳感器獲得手勢执俩、指關(guān)節(jié)等運(yùn)動(dòng)信息徐钠，在計(jì)算機(jī)中建模得到相關(guān)手勢。對(duì)運(yùn)動(dòng)手勢建模的技術(shù)相對(duì)更復(fù)雜役首，也是目前許多創(chuàng)業(yè)者嘗試的方向尝丐。國內(nèi)的諾亦騰是使用該項(xiàng)技術(shù)的代表公司显拜。（關(guān)于這家公司的情況，可閱讀相關(guān)文章：他們正致力于把人的身體放進(jìn)虛擬世界爹袁；以及：以酷炫動(dòng)捕技術(shù)聞名的諾亦騰远荠，是怎么做「智能硬件」的？）

· 通過穿戴傳感進(jìn)行動(dòng)作捕捉而聞名的諾亦騰

手勢識(shí)別技術(shù)的非主流方案

Google Project Soli 是雷達(dá)技術(shù)應(yīng)用典型代表失息，其技術(shù)原理就不再贅訴譬淳。磁力技術(shù)的原理與 IMU 傳感器的運(yùn)用原理相類似，通過獲取力的大小盹兢、方向邻梆、距離等信息，計(jì)算機(jī)對(duì)手勢進(jìn)行建模绎秒。

這里重點(diǎn)講述一下比較有意思的肌肉電技術(shù)浦妄，應(yīng)用該項(xiàng)技術(shù)的典型產(chǎn)品為加拿大創(chuàng)業(yè)公司 Thalmic Labs 推出的手勢臂環(huán)——MYO，通過感知手臂上的肌肉運(yùn)動(dòng)可識(shí)別出近 20 種手勢见芹，例如用戶可利用手勢進(jìn)行一系列的觸屏操控動(dòng)作剂娄。

· 佩戴上 MYO 手環(huán)，通過感知手臂肌肉運(yùn)動(dòng)辆童，實(shí)現(xiàn)對(duì)大屏幕游戲的操控宜咒。

· 肌肉電技術(shù)示意圖

但 MYO 臂環(huán)的使用上也存在一些弊端：由于在一天當(dāng)中，人體體征是變化著的把鉴，如果你將長期佩戴的臂環(huán)拆下再戴上時(shí)故黑，則它有可能會(huì)停止工作。但總的來說庭砍，其應(yīng)用效果也相當(dāng)酷炫场晶，不多說，上段視頻一睹為快：

電磁波方案怠缸，其最具代表性的則是一項(xiàng)由卡耐基梅隆大學(xué)（CMU）團(tuán)隊(duì)所研發(fā)的 SkinTrack 技術(shù)诗轻，該系統(tǒng)由一個(gè)能連續(xù)發(fā)射高頻交流信號(hào)的指環(huán)，和嵌入智能手表的內(nèi)置傳感器的手環(huán)組成揭北。

該設(shè)備采用 80MHz 的電信號(hào)進(jìn)行皮膚傳播扳炬，讓你手上的皮膚成為「觸摸屏」。手環(huán)可以追蹤所佩戴指環(huán)的運(yùn)動(dòng)軌跡搔体，并與皮膚上的拓展觸摸屏產(chǎn)生交互感應(yīng)恨樟，通過手指在皮膚上的滑動(dòng)，提取相位差等建模信息疚俱。該團(tuán)隊(duì)曾提到劝术，在使用過程中，人體出汗和持續(xù)運(yùn)動(dòng)都會(huì)影響指環(huán)的電路和信號(hào)的發(fā)射，他們接下來也會(huì)著重解決這個(gè)問題养晋。

國內(nèi)應(yīng)用手勢識(shí)別技術(shù)的團(tuán)隊(duì)

光學(xué)作為手勢識(shí)別的主流方案之一衬吆，以國外的 Leap Motion 為主要典型代表。使用三維手勢識(shí)別技術(shù)也是國內(nèi)較多團(tuán)隊(duì)?wèi)?yīng)用的一個(gè)方向绳泉，其中有三家具代表性的公司：

uSens 凌感科技

uSens 凌感是一家由硅谷科技人才創(chuàng)立逊抡、專注于 VR/AR 研發(fā)的創(chuàng)新企業(yè)，其核心團(tuán)隊(duì)擁有視覺算法零酪、人工智能秦忿、機(jī)器學(xué)習(xí)、光學(xué)蛾娶、人機(jī)交互、系統(tǒng)軟件等方面的先進(jìn)技術(shù)潜秋，公司在美國硅谷蛔琅、杭州、北京峻呛、深圳均設(shè)有團(tuán)隊(duì)罗售。在 2015 GDC 上，uSens 就展示了一款支持三維手勢控制的移動(dòng) VR+AR 設(shè)備 Impression Pi（印象湃）钩述。

值得一提的是寨躁，uSens 研發(fā)的手勢追蹤技術(shù)，結(jié)合機(jī)器視覺算法牙勘，實(shí)現(xiàn)無需佩戴任何手柄等外設(shè)進(jìn)行手勢捕捉职恳。另外，uSens 通過計(jì)算機(jī)視覺技術(shù)已經(jīng)在位移追蹤方面取得新的突破方面，并將其逐步移植到移動(dòng)端放钦，把那些復(fù)雜的電線拋棄掉。

奧比中光

來自深圳的奧比中光是一家專注于三維傳感技術(shù)的創(chuàng)新性企業(yè)恭金，而這家不到 80 人的企業(yè)在國內(nèi)率先自主研發(fā)了 3D 計(jì)算芯片以及 3D 傳感器操禀，主要被運(yùn)用于安防、智能裝備横腿、輔助駕駛等不同領(lǐng)域颓屑。

他們研發(fā)出了指甲蓋大小的（4.5mm*4.5mm*4 mm）的消費(fèi)級(jí)別芯片，是一套可用于手機(jī)耿焊、平板電腦的嵌入式 3D 模組揪惦，目前全球只有 4 家公司能做，奧比中光是其中之一搀别，并且是亞洲唯一一家實(shí)現(xiàn)量產(chǎn)的企業(yè)丹擎。

樂視、創(chuàng)維、海信等知名品牌電視機(jī)已應(yīng)用上了奧比中光 3D 傳感器芯片蒂培。奧比中光 CEO 黃源浩曾表示：「不出幾年再愈，機(jī)器人、無人機(jī)會(huì)逐步搭載 3D 攝像頭护戳，3D 傳感技術(shù)還會(huì)被運(yùn)用于 VR翎冲、AR 的領(lǐng)域∠被模」

鋒時(shí)互動(dòng)

體感創(chuàng)業(yè)公司鋒時(shí)互動(dòng)由一個(gè)四人組合 Sharpnow Group 創(chuàng)立抗悍。

在 2013 年 2 月， Leap Motion 發(fā)布了其主要面向 PC钳枕、Mac 的體感控制器缴渊，而據(jù)了解，鋒時(shí)互動(dòng)早在 2012 年就提出了近場體感的概念鱼炒，但礙于投資環(huán)境衔沼，他們直到 2013 年底才發(fā)布原型機(jī)。

2014 年 7 月昔瞧，鋒時(shí)互動(dòng)正式發(fā)布了用于識(shí)別人體手勢操作的設(shè)備——微動(dòng)（VID）指蚁，能精確識(shí)別用戶的手指及動(dòng)作，并轉(zhuǎn)化為操作指令自晰，實(shí)現(xiàn)雙手懸空操作電腦凝化、玩體感游戲等功能。此外酬荞，微動(dòng)產(chǎn)品還增加了獨(dú)立的預(yù)算單元搓劫，可完成大量的數(shù)據(jù)處理工作。

總結(jié)

在 Google I/O 大會(huì)上袜蚕，Google ATAP 的負(fù)責(zé)人 Ivan Poupyrev 給大家展示了雷達(dá)技術(shù)在手勢識(shí)別上的應(yīng)用和實(shí)現(xiàn)方式糟把，以及技術(shù)的突破性進(jìn)展，給業(yè)界提供了很好的示范牲剃。

目前遣疯，包括手勢識(shí)別、語音識(shí)別在內(nèi)的人機(jī)交互技術(shù)尚未成熟凿傅，較高的學(xué)習(xí)成本以及有待提高的交互體驗(yàn)缠犀，都是技術(shù)迭代過程中所要攻克的難題。Ivan Poupyrev 曾表示聪舒，即使目前他們還不確定能否將技術(shù)完整實(shí)現(xiàn)辨液，但他們依舊會(huì)堅(jiān)持下去。

本期「深圳灣夜話」嘉賓 Mark 簡介：

一位物理箱残、數(shù)學(xué)滔迈、籃球愛好者止吁，Maxus Tech 創(chuàng)始人，超聲波手勢動(dòng)作捕捉技術(shù)開發(fā)者燎悍，現(xiàn)研究基于超聲波雷達(dá)信號(hào)的手勢動(dòng)作捕捉技術(shù)敬惦。感興趣的朋友可點(diǎn)擊此處與他進(jìn)行對(duì)話。

對(duì)人機(jī)交互話題感興趣谈山？還可以加入我們的微信群夜話俄删。關(guān)注「深圳灣」公眾號(hào)（ID：shenzhenware），并在對(duì)話框輸入你的微信 ID奏路、你的個(gè)人簡介畴椰、以及你希望聊的話題，我們將邀請你一起夜話鸽粉。

編輯：林億

插圖：來自網(wǎng)絡(luò)