北京時(shí)間 10 月 12 日凌晨，一年一度的 Meta Connect 大會(huì)如期舉行晴圾。大會(huì)上展示了多款配件颂砸、應(yīng)用和服務(wù)以及 Meta 在元宇宙方向上的探索研究。

本文對(duì)大會(huì)上展示的 Reality Labs 最新虛擬現(xiàn)實(shí)前沿技術(shù)進(jìn)行了逐幀剖析死姚。一起來看一下吧人乓！

下一代交互：EMG 新算法識(shí)別細(xì)微動(dòng)作差異

虛擬現(xiàn)實(shí)場(chǎng)景旨在營(yíng)造一種沉浸的體驗(yàn)，傳統(tǒng)人機(jī)交互方式正在發(fā)生著變革知允，鍵盤撒蟀、觸屏等等已不再能滿足沉浸的需求。

Meta 將下一代交互押注于 EMG 肌電電的應(yīng)用温鸽。

在去年的 Connect 2021 大會(huì)上保屯，Meta 演示了一個(gè)穿戴設(shè)備，在虛擬現(xiàn)實(shí)中單手信息輸入的場(chǎng)景涤垫，設(shè)備通過對(duì)腕部動(dòng)作抓取數(shù)據(jù)姑尺，實(shí)現(xiàn)文字信息的輸入。

當(dāng)時(shí) Meta 曾透露蝠猬，下一步計(jì)劃深化動(dòng)作的復(fù)雜度切蟋，開發(fā) EMG 肌肉電腕帶相應(yīng)產(chǎn)品，未來或?qū)⑼瞥?EMG 肌肉電的可穿戴設(shè)備榆芦。

在今年的 Connect 大會(huì)上柄粹，Meta 展示了他們將人工智能和 EMG 結(jié)合后的最新成果。

在第一個(gè)視頻演示中匆绣，兩人使用基于腕部 EMG 來了一場(chǎng)跑酷游戲驻右。

盡管他們使用的手勢(shì)相同，但是由于個(gè)體之間的差異崎淳，他們實(shí)際上的手勢(shì)是有輕微不同的堪夭。

每當(dāng)其中一人做出手勢(shì)動(dòng)作時(shí)，算法就會(huì)適應(yīng)并對(duì)信號(hào)進(jìn)行解釋轉(zhuǎn)換，因此每個(gè)人的自然手勢(shì)都會(huì)被快速識(shí)別森爽，并且可靠性很高恨豁。

甚至隨著時(shí)間的推移，在機(jī)器學(xué)習(xí)的助力下爬迟，系統(tǒng)在理解方面會(huì)變得越來越好橘蜜。

Meta 認(rèn)為，以腕上的神經(jīng)肌肉信號(hào)作為輸入的方式是真正以人為中心的雕旨。

用戶無需學(xué)習(xí)有一定學(xué)習(xí)成本的控制方案扮匠，設(shè)備將在用戶使用的過程中，自主來學(xué)習(xí)和適應(yīng)用戶凡涩。

機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)的結(jié)合，Meta 甚至還開發(fā)了「共同適應(yīng)學(xué)習(xí)」或 co-adaptive learning 的一種算法疹蛉，將個(gè)體的差異作為影響適應(yīng)性的因素活箕。

并且，共同適應(yīng)學(xué)習(xí)的潛力不僅局限于完整的手勢(shì)可款，輕微的手勢(shì)差異也在其應(yīng)用范疇內(nèi)育韩。它可以實(shí)時(shí)學(xué)習(xí)如何對(duì)人體正在激活的肌電信號(hào)做出反應(yīng)，并僅通過最輕微的手部運(yùn)動(dòng)將信號(hào)傳遞闺鲸。

未來筋讨，EMG 可能徹底改變我們與數(shù)字世界的交互方式，讓我們不僅可以做更多的事情摸恍，而且是以我們想要的方式去實(shí)現(xiàn)悉罕。

在 Connect 大會(huì)上，扎克伯格展示了如何用運(yùn)動(dòng)神經(jīng)元信號(hào)來控制 AR/VR 設(shè)備立镶。

只需幾個(gè)微小的動(dòng)作壁袄，就可以完成消息查看、拍照等任務(wù)媚媒。

雄心勃勃的扎克伯格指出嗜逻，這些都還只是開始，真正的 AR 眼鏡和未來的界面將解鎖更多更有用的互動(dòng)缭召。

比如栈顷，右擊現(xiàn)實(shí)中的物體或者位置就可以查看其詳細(xì)信息、無需離開虛擬世界就可更好地控制設(shè)備嵌巷、或者從個(gè)性化的 AI 數(shù)字助手那里獲得幫助和支持萄凤。

當(dāng)這些交互方式結(jié)合在一起的時(shí)候，Meta 將提供一種更加自然晴竞、更加以人為本的計(jì)算方法蛙卤，為人機(jī)交互提供更多的可能性。

利用 AR 眼鏡繪制室內(nèi)場(chǎng)館的 3D 地圖

兩年前，Meta 在 Connect 大會(huì)上公布了 Project Aria颤难，專注于可穿戴 AR 設(shè)備的研究神年。

Meta 與卡內(nèi)基梅隆大學(xué)（CMU）認(rèn)知輔助實(shí)驗(yàn)室的試點(diǎn)合作，利用 AR 眼鏡繪制 GPS 信號(hào)通常覆蓋不到的室內(nèi)場(chǎng)館的 3D 地圖行嗤。

在本屆 Connect 大會(huì)上已日，Meta 匯報(bào)了這一項(xiàng)目的進(jìn)展情況。

佩戴 Project Aria 的工程眼鏡栅屏，CMU 的研究人員繪制了匹茲堡國(guó)際機(jī)場(chǎng)的 3D 地圖飘千。

過去，要構(gòu)建室內(nèi)導(dǎo)航需要足夠多的 iBeacon 才能獲得精準(zhǔn)的的位置信息栈雳。

現(xiàn)在护奈，利用 Project Aria 繪制的 3D 地圖訓(xùn)練人工智能模型，就可以在不必過分依賴藍(lán)牙信標(biāo)的情況下哥纫，依然能夠準(zhǔn)確定位霉旗。

在 Meta 的演示視頻中，視覺障礙者通過手機(jī)端的 NavCog 應(yīng)用——它提供殘障友好的交互方式蛀骇，在機(jī)場(chǎng)里確認(rèn)位置厌秒、獲得導(dǎo)航指引。

將現(xiàn)實(shí)世界的物體「帶入」虛擬世界

在虛擬世界中構(gòu)建和操作 3D 物體對(duì)于元宇宙的建設(shè)至關(guān)重要擅憔，但如果我們完全依賴于手工繪制鸵闪，那么這個(gè)過程將非常漫長(zhǎng)。

假如能夠以現(xiàn)實(shí)中的物體作為模板暑诸，將它「復(fù)制」到虛擬世界中蚌讼，基于副本進(jìn)行構(gòu)建，就會(huì)更快屠列、更容易啦逆。

Meta 正在研究?jī)煞N不同的技術(shù)來解決這個(gè)難題。

第一種方法笛洛，拍攝不同角度的多張 2D 圖片夏志，借助基于機(jī)器學(xué)習(xí)的神經(jīng)輻射場(chǎng)（NERF）來重建 3D 物體的外觀。

扎克伯格演示了將泰迪熊復(fù)刻到虛擬世界中的過程苛让。這種方法復(fù)刻的物體沟蔑，再現(xiàn)了物體的很多精細(xì)細(xì)節(jié)。

第二種方法狱杰，直接捕獲幾何圖形和外觀瘦材，借助「反向渲染」技術(shù)掃描對(duì)象，并將它的數(shù)字孿生對(duì)象放入到增強(qiáng)現(xiàn)實(shí)或虛擬現(xiàn)實(shí)的世界中仿畸。

在現(xiàn)場(chǎng)演示的視頻中食棕，扎克伯格復(fù)制的數(shù)字孿生物體朗和，甚至可以對(duì)虛擬世界中的光線產(chǎn)生動(dòng)態(tài)的反射效果；

甚至可以模擬出現(xiàn)實(shí)世界中真實(shí)物體落地簿晓、反彈的樣子眶拉。

Codec Avatar 新進(jìn)展：高還原度，實(shí)時(shí)驅(qū)動(dòng)憔儿，虛實(shí)難分

Codec Avatar 是 Meta 開發(fā)的一種 3D 頭像的深度生成模型忆植。

與其他高質(zhì)量的虛擬頭像不同，Codec Avatar 是自動(dòng)生成并實(shí)時(shí)驅(qū)動(dòng)的谒臼，你的真實(shí)形象和動(dòng)作均可以自動(dòng)并實(shí)時(shí)的在虛擬世界中同步朝刊，不會(huì)局限于預(yù)定義的動(dòng)作。

去年蜈缤，Meta 分享了 Codec Avatar 的早期進(jìn)展拾氓。扎克伯格的演示視頻曾一度被吐槽至自行刪除，但不可否認(rèn)其理念的先進(jìn)性——在虛擬世界中實(shí)時(shí)生成虛擬人底哥，并讓虛擬人受現(xiàn)實(shí)驅(qū)動(dòng)痪枫。

今年 Codec Avatar 迎來了一項(xiàng)新的進(jìn)展——現(xiàn)實(shí)世界中的你可以隨意為虛擬世界中你的形象換裝。

除此之外叠艳，Meta 還展示了 Codec Avatar 2.0 的一些最新進(jìn)展，包括如何讓頭像的面部表情如何更接近身體的形態(tài)易阳。從實(shí)際的演示效果來看附较，Codec Avatar 2.0 并沒有讓人失望。

除了表現(xiàn)上的優(yōu)化潦俺，Codec Avatar 2.0 還整合了人們交流和理解語(yǔ)氣時(shí)所依賴的一些面部動(dòng)作：揚(yáng)起眉毛拒课、瞇著眼睛、睜大眼睛和皺鼻子事示。

通過更好地捕捉這些微妙的表情早像，Codec Avatar 2.0 的實(shí)際表現(xiàn)更加逼真和自然。

你還可以控制 Codec Avatar 2.0 上的燈光來增加另一個(gè)緯度的真實(shí)感肖爵。

更高的還原度卢鹦、更多的功能，意味著生成過程不會(huì)很短劝堪。Meta 利用即時(shí)的 Instant Codec Avatar 來提升實(shí)時(shí)生成的效率冀自。

Instant Codec Avatar 比 Codec Avatar 更快也更容易制作。

僅需使用你的手機(jī)秒啦，在合適的光照環(huán)境中熬粗，保持標(biāo)準(zhǔn)的面部表情進(jìn)行 30 秒的掃描，然后再在 90 秒的時(shí)間內(nèi)做出各種表情完成掃描余境，之后會(huì)在大約幾小時(shí)的時(shí)間內(nèi)完成即時(shí)頭像的制作驻呐。

未來灌诅，Meta 還將進(jìn)一步優(yōu)化生成效率，讓整體處理時(shí)間進(jìn)一步縮短含末。

需要指出的是猜拾，與 Codec Avatar 2.0 相比，Instant Codec Avatar 在質(zhì)量和真實(shí)感上有所缺失答渔。

盡管如此关带，即時(shí)的實(shí)際表現(xiàn)效果并不差。這種無需專業(yè)設(shè)備即可完成的制作沼撕，降低了不少門檻宋雏。

目前這項(xiàng)工作仍處于研究階段，很難說日后是否會(huì)有成品發(fā)布务豺。

主筆：陳述 / 深圳灣

編輯：曉月 / 深圳灣