遠(yuǎn)程現(xiàn)實(shí)，下一個(gè)萬(wàn)億美金的方向
-
2021-06-08 06:08:54 -
光子晶體科技
文章轉(zhuǎn)載自Charlie Fink，負(fù)責(zé)《福布斯》VR、AR和新媒體
編者按：Telepresence中文直譯為“臨場(chǎng)感“、“遠(yuǎn)程呈現(xiàn)”，實(shí)際上考慮到這個(gè)方向巨大的應(yīng)用前景，它應(yīng)該有一個(gè)更恰當(dāng)?shù)闹形姆g。和虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)相對(duì)，我覺(jué)得應(yīng)該翻譯成“遠(yuǎn)程現(xiàn)實(shí)“更加合適。Telepresence的首次使用者是"人工智能之父"馬文-明斯基(Marvin LeeMinsky)，他是"虛擬現(xiàn)實(shí)"(virtual reality)的倡導(dǎo)者。早在20世紀(jì)60年代,明斯基就自己造了個(gè)名詞,叫telepresence,直譯應(yīng)為"遙遠(yuǎn)的存在"或"遠(yuǎn)距離介入",是把人遠(yuǎn)程虛擬傳輸?shù)搅硗庖粋€(gè)地方，和另外一個(gè)地方的現(xiàn)實(shí)交互。我們翻譯了這篇福布斯的綜述性文章。
我們決定找出微軟所說(shuō)的話是否正確：遠(yuǎn)程體積遠(yuǎn)程現(xiàn)實(shí)和協(xié)作能夠并且將比人們想象的要早完成，盡管存在明顯的技術(shù)障礙，但它將成為增強(qiáng)和虛擬現(xiàn)實(shí)的殺手級(jí)應(yīng)用。
回顧歷史，個(gè)人計(jì)算機(jī)花了大約15年的時(shí)間才達(dá)到拐點(diǎn)并成為每個(gè)人都必須擁有的消費(fèi)產(chǎn)品。起初，大多數(shù)人首先使用的殺手級(jí)應(yīng)用程序電子郵件似乎并沒(méi)有那么革命性。公司外幾乎沒(méi)有人在使用它。尚未出現(xiàn)網(wǎng)絡(luò)效應(yīng)，即當(dāng)更多的人使用服務(wù)時(shí)服務(wù)變得更有價(jià)值的現(xiàn)象。新技術(shù)總是在企業(yè)出現(xiàn)之前就滲透到企業(yè)中。人們開(kāi)始使用個(gè)人電子郵件地址獲得Internet在線服務(wù)后，便使PC成為了每個(gè)人都必須在家中使用的東西。電話是另一個(gè)很好的例子。得到的人越多，必須擁有的人就越多。
同樣，消息傳遞和社交媒體是智能手機(jī)的殺手級(jí)應(yīng)用。不論技術(shù)將我們帶到何方，我們與他人聯(lián)系的需求都會(huì)跟隨我們。當(dāng)新技術(shù)使我們已經(jīng)在做的事情變得更好，更便宜，更快時(shí)，它就會(huì)成功。自然而然地，遠(yuǎn)程現(xiàn)實(shí)同樣應(yīng)該成為AR和VR的殺手級(jí)應(yīng)用程序之一。微軟研究院2016年全息通訊實(shí)驗(yàn)的視頻表明，微軟必須在內(nèi)部進(jìn)行一段時(shí)間的研究，甚至可能在全息透鏡本身發(fā)布之前就已經(jīng)開(kāi)始。
遠(yuǎn)程現(xiàn)實(shí)（意味著以電子方式出現(xiàn)在其他地方）并不是一個(gè)新主意。結(jié)果，該術(shù)語(yǔ)描述了多種虛擬存在方式。它分為六種主要類型：
1）2D視頻會(huì)議系統(tǒng)。這些已經(jīng)變得非常復(fù)雜，并且包括眼動(dòng)跟蹤功能，以幫助仍在監(jiān)視器上看到的同事創(chuàng)建狀態(tài)。思科的Spark系統(tǒng)主導(dǎo)著價(jià)值十億美元的電話會(huì)議行業(yè)。
2）機(jī)器人遠(yuǎn)程現(xiàn)實(shí)。描述具有駕駛員視野的任何遠(yuǎn)程操作車輛，例如遠(yuǎn)程水下航行器（ROV）和無(wú)人飛行器（UAV）或RPA（遠(yuǎn)程駕駛飛機(jī)）。NASA一直夢(mèng)想著實(shí)現(xiàn)真正的實(shí)時(shí)機(jī)器人遠(yuǎn)程現(xiàn)實(shí)，事實(shí)上，這是他們?cè)?0年代進(jìn)行VR研究的最初目的之一。但是，由于信號(hào)從地球傳播到火星并返回的時(shí)間滯后，因此NASA科學(xué)家無(wú)法直接對(duì)像好奇號(hào)火星漫游者這樣的機(jī)器人探測(cè)器進(jìn)行遙控操作。但是，在火星軌道上運(yùn)行的航天器上的宇航員可能有能力。
3）遠(yuǎn)程專家。他們使用AR看到您所看到的內(nèi)容，盡管看不到您。他們甚至可以利用您與他們共享的實(shí)時(shí)Feed，與您視野中的真實(shí)對(duì)象進(jìn)行實(shí)時(shí)交互。遠(yuǎn)程專家將低技能的員工轉(zhuǎn)變?yōu)楦呒寄艿膯T工。
4）VR遠(yuǎn)程現(xiàn)實(shí)。這使我們可以共享一個(gè)虛擬世界，例如Oculus Rooms或AltSpace VR，其中我們以化身來(lái)表示。今天，大多數(shù)化身都像卡通一樣，但是他們很快將能夠使用手機(jī)上拍攝的3D體積捕獲來(lái)精確地捕捉皮膚化身。Sansar和High Fidelity引入的口型同步（更精確地是實(shí)時(shí)的口型動(dòng)畫(huà)）和眼神接觸已經(jīng)使您感覺(jué)非常非常的真實(shí)。
5）AR遠(yuǎn)程現(xiàn)實(shí)。這允許兩個(gè)或多個(gè)遠(yuǎn)程人員在同一個(gè)房間中進(jìn)行容積顯示，微軟將其稱為全息通訊，因?yàn)樗褂昧怂麄兊娜⑼哥R。令人信服地證明了這一點(diǎn)，現(xiàn)在公司正在尋求將該技術(shù)帶入商務(wù)會(huì)議。但是，并不是所有解決此問(wèn)題的技術(shù)和實(shí)踐問(wèn)題。多家公司正在研究可能破壞思科主導(dǎo)的電話會(huì)議業(yè)務(wù)的解決方案。思科本身最近向Spark添加了VR協(xié)作功能。
6）真正的全息（肉眼可見(jiàn)）的遠(yuǎn)程現(xiàn)實(shí)，如《星球大戰(zhàn)》的絕地議會(huì)所說(shuō)明，如下圖所示。今天，可以使用全息投影，反射鏡和不可見(jiàn)的投影表面來(lái)完成這種獨(dú)立的體積全息照相。在非常特定的情況下，此方法效果很好。參與者絕不會(huì)相互感知，但是對(duì)于模擬之外的人來(lái)說(shuō)，這是完全真實(shí)的。他們會(huì)在現(xiàn)實(shí)生活中的偏遠(yuǎn)地區(qū)看到兩個(gè)（或更多）人，在沒(méi)有耳機(jī)的情況下在共享的3D空間中進(jìn)行互動(dòng)。但是，玩家之間無(wú)法看到對(duì)方，他們會(huì)在監(jiān)視器上看向反射。在觀眾中，您永遠(yuǎn)不會(huì)知道。
像《星球大戰(zhàn)》一樣，史蒂文·斯皮爾伯格（Steven Speilberg）的電影《少數(shù)派報(bào)告》（Minority Report）也具有增強(qiáng)現(xiàn)實(shí)功能，在該場(chǎng)景中，數(shù)據(jù)漂浮在湯姆·克魯斯（Tom Cruise）的前面，而肉眼看不見(jiàn)投影表面，他可以用手操作。僅當(dāng)Cruise的角色具有接觸或某種可以直接將圖像發(fā)送到他的大腦的神經(jīng)輸入時(shí)，這才有可能。否則，只有在透明的投影面的情況下，投影全息圖才能用肉眼看到。
全息透鏡和其他AR HMD配備了內(nèi)置攝像頭。但是，為了創(chuàng)建遠(yuǎn)程現(xiàn)實(shí)應(yīng)用，需要一個(gè)可以面對(duì)您并拍攝您的視頻的內(nèi)置攝像頭。
我在他的工作室里拜訪了DVE Telepresence的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Steve McNelley。DVE一直在能源部和世界上一些最大的公司中工作，以提供他所謂的“唯一真正的遠(yuǎn)程現(xiàn)實(shí)”。他解釋說(shuō)，這需要三件事：“絕對(duì)的照片寫(xiě)實(shí)，與眼睛接觸的完美相機(jī)對(duì)齊以及無(wú)需眼鏡即可在太空中顯示的增強(qiáng)現(xiàn)實(shí)圖像（全息圖）。” DVE有一個(gè)基于講臺(tái)的系統(tǒng)，稱為“ 4Dp遠(yuǎn)程現(xiàn)實(shí)講臺(tái)”，可在便攜式解決方案中完成所有這些工作。講臺(tái)后面的揚(yáng)聲器被捕獲在偏遠(yuǎn)的位置（例如教室或個(gè)人辦公室），并實(shí)時(shí)投影到不透明的半透明表面上，并由聽(tīng)眾在房間中間看到。揚(yáng)聲器被投影到表面上，并且攝像機(jī)的位置保持與觀眾的目光接觸。
全息圖是哪一個(gè)？史蒂夫·麥克內(nèi)利
DVE已展示并申請(qǐng)了許多不同的技術(shù)并獲得了專利，這些技術(shù)可通過(guò)OLED，LED，直接投影和幻像變體來(lái)實(shí)現(xiàn)這種全息體驗(yàn)，這種幻像可實(shí)現(xiàn)自然的臨場(chǎng)感，稱為“胡椒鬼”，由舞臺(tái)藝術(shù)家John Henry Pepper在1862年首次演示。通過(guò)將物體反射到半透明的表面（如玻璃板）上而產(chǎn)生“鬼影”，因此圖像似乎漂浮在我們的面前。如今，DVE進(jìn)行了改進(jìn)，以創(chuàng)造出看起來(lái)像真正在房間里的明亮，立體的人，如上圖所示，我似乎與DVE的3D內(nèi)容創(chuàng)建者Zach McNelley在同一個(gè)房間里，全息圖。這兩個(gè)要求是完美的黑色背景和半透明的投影表面。
Pepper的Ghost最著名地部署在迪斯尼樂(lè)園的“鬼屋”中，創(chuàng)造出幻彩晚宴和搭便車的幻覺(jué)。實(shí)際上，聯(lián)想的《星球大戰(zhàn)絕地挑戰(zhàn)》 VR耳機(jī)使用類似的方法將圖像從鏡子反射到透明的投影表面上，從而創(chuàng)造出漂浮在我們面前的3D角色的幻覺(jué)。
如何制作鬼魂-胡椒鬼影劇院圖書(shū)館
微軟一直在為全息透鏡提倡遠(yuǎn)程現(xiàn)實(shí)和遠(yuǎn)程協(xié)作的另一種愿景，他們稱之為全息通訊。最初是在微軟 Research的此視頻中進(jìn)行演示的，該視頻允許遠(yuǎn)程位置的參與者（實(shí)際上是在大廳下）在彼此的物理現(xiàn)實(shí)中展示。每個(gè)房間放置了多個(gè)3D攝像機(jī)。這些輸入被饋送到本地計(jì)算機(jī)，該計(jì)算機(jī)將壓縮的3D圖像廣播到用戶的全息透鏡。該視頻發(fā)布于2016年11月，這意味著當(dāng)2016年3月發(fā)布全息透鏡時(shí)，MS工程師必須已經(jīng)在進(jìn)行全息通訊。
微軟 Research的Room2Room是一個(gè)真人大小的遠(yuǎn)程現(xiàn)實(shí)系統(tǒng)，它使用投影增強(qiáng)現(xiàn)實(shí)技術(shù)來(lái)實(shí)現(xiàn)兩個(gè)遠(yuǎn)程參與者之間的共同演示交互，而無(wú)需使用全息透鏡。該解決方案通過(guò)使用3D攝像機(jī)對(duì)本地用戶執(zhí)行3D捕獲，然后以與實(shí)物大小一樣的大小將副本復(fù)制到遠(yuǎn)程空間中，而不是使用全息透鏡，從而重新創(chuàng)建了面對(duì)面的對(duì)話體驗(yàn)。這會(huì)造成對(duì)遠(yuǎn)程人員在本地空間中的物理狀態(tài)的幻想，以及對(duì)口頭和非口頭暗示（例如凝視，指向）的共同理解，就像他們?cè)谀抢镆粯印?/div>
當(dāng)沒(méi)有中間投影表面時(shí)，就會(huì)發(fā)生這種情況，出于研究目的，工程師們避開(kāi)了靈活性和智能。
2017年初，微軟斥資數(shù)百萬(wàn)美元制作了一部視頻，描繪了全息遠(yuǎn)程現(xiàn)實(shí)的未來(lái)（或一個(gè)潛在的未來(lái)），名為“ Penny Walks in ak a.a. Envisioning the Future with the 全息透鏡”。
“一分錢(qián)”是一款出色的科幻視頻制作的遠(yuǎn)程呈現(xiàn)用例的電視劇，由零售設(shè)計(jì)師（Penny）及其亞洲客戶主演。不僅有遠(yuǎn)程呈現(xiàn)存在。客戶還擁有一個(gè)浮動(dòng)的，可見(jiàn)的，看似有感情的數(shù)字助理，這是Cortana的幻想后代之一。撇開(kāi)Cortana以及演示中模擬用例的微妙但雄心勃勃的規(guī)模，這并不是瘋狂，遙不可及或不可能的。但是請(qǐng)記住網(wǎng)絡(luò)效果。它需要規(guī)模才能達(dá)到神奇的拐點(diǎn)，在那里，房間會(huì)被3D相機(jī)實(shí)時(shí)掃描，等待Penny和我們其他人。
微軟的研究團(tuán)隊(duì)與幾所大學(xué)，尤其是波蘭的華沙理工大學(xué)一起，繼續(xù)探索全息通訊。MarekKowalski和Jacek Naruniec在那里開(kāi)發(fā)了Holopresence應(yīng)用程序LiveScan3D。
LiveScan3D通過(guò)同時(shí)使用多個(gè)Kinect v2深度傳感器進(jìn)行實(shí)時(shí)3D重建，以產(chǎn)生彩色點(diǎn)云，并壓縮3D視頻輸入。每個(gè)Kinect v2傳感器都連接到單獨(dú)的計(jì)算機(jī)。這些計(jì)算機(jī)中的每一個(gè)都連接到服務(wù)器，該服務(wù)器允許用戶執(zhí)行校準(zhǔn)，過(guò)濾，同步幀捕獲，并可視化實(shí)時(shí)顯示在遠(yuǎn)程位置的已采集點(diǎn)云。與學(xué)者的角色一致，Kowalski和Naruniec在https://github.com/MarekKowalski/LiveScan3D上共享了LiveScan3D作為源代碼，允許其他人繼續(xù)其工作。
私有公司在使用VR和AR的3D立體會(huì)議中也取得了令人矚目的進(jìn)展，特別是Valorem，其系統(tǒng)使歐洲，印度和北美的多個(gè)參與者可以實(shí)時(shí)地立體呈現(xiàn)在用戶的物理辦公室中。Mimesys和Meetingroom.io使用VR在共享的虛擬世界中創(chuàng)建立體感。
RenéSchulte領(lǐng)導(dǎo)Valorem的HoloBeam開(kāi)發(fā)工作，其總部位于德國(guó)德累斯頓。他描述了公司獨(dú)特的3D實(shí)時(shí)會(huì)議系統(tǒng)如何工作，以及它如何改變他在德國(guó)，西雅圖和印度的跨洲團(tuán)隊(duì)之間的協(xié)作。
“這是使用深度相機(jī)以高清實(shí)時(shí)捕獲的，以收集由顏色和深度信息組成的3D立體視頻點(diǎn)云數(shù)據(jù)。然后，點(diǎn)云數(shù)據(jù)通過(guò)自定義的WebRTC流在Internet上流式傳輸或“成束”。全息流由應(yīng)用程序解碼并實(shí)時(shí)3D渲染，提供了VR和混合現(xiàn)實(shí)設(shè)備（例如全息透鏡）上發(fā)件人的形象令人震驚的良好容積表示，而且其他設(shè)備也通過(guò)我們的跨平臺(tái)開(kāi)發(fā)方法啟用。它通過(guò)正常的互聯(lián)網(wǎng)連接運(yùn)行，并且需要3-5 Mbit / s的比特率，甚至由于我們的自適應(yīng)深度編碼和流傳輸，其工作速率甚至低于1 Mbit [CF注意：自適應(yīng)流是Netflix為適應(yīng)您的連接速度所做的工作。它是實(shí)時(shí)的，沒(méi)有延遲，甚至可以在各方（例如在公司網(wǎng)絡(luò)設(shè)置中）位于防火墻后面的情況下使用。無(wú)需特殊的連接或設(shè)置。通過(guò)路由機(jī)制建立連接以實(shí)現(xiàn)最佳傳輸速率的對(duì)等連接。”
全息光束利用正常帶寬的標(biāo)準(zhǔn)網(wǎng)際網(wǎng)路將容量會(huì)議帶入生活
HoloBeam系統(tǒng)無(wú)法提供我們?cè)贛S Holoportation視頻中看到的那種分辨率，但是現(xiàn)在我們被告知2016年的視頻只是本地概念驗(yàn)證，而不是在真實(shí)辦公室中設(shè)置的內(nèi)容。相比之下，今天的Valorem系統(tǒng)（12/17）使用現(xiàn)成的硬件通過(guò)簡(jiǎn)單的設(shè)置即可生成3D立體視頻。
該系統(tǒng)可以具有不同數(shù)量的“灰塵假象”（掉落），具體取決于自適應(yīng)流必須降低帶寬的數(shù)量。結(jié)果，遠(yuǎn)程參與者看起來(lái)像是星際迷航運(yùn)輸車事故的受害者：那里只有80％。但是，我與之交談的每個(gè)人，以及我研究此故事所經(jīng)歷的一切，都證明80％足以創(chuàng)造出深刻而引人注目的存在。
全息點(diǎn)云在未來(lái)將通過(guò)改進(jìn)獲得更大的分辨率，這不僅會(huì)隨著深度相機(jī)分辨率和帶寬的提高而提高，而且隨著HoloPortation產(chǎn)品的發(fā)展，算法會(huì)在解壓縮的視頻文件中填充缺失的像素，以減少?gòu)V播信號(hào)丟失或灰塵。
舒爾特看到了地平線上燦爛的事物。在未來(lái)的辦公室中，多個(gè)深度感應(yīng)攝像頭可以將其與世界各地的偏遠(yuǎn)地區(qū)真正融合在一起，或者我們甚至可以使用我們的手機(jī)，該手機(jī)開(kāi)始在消費(fèi)產(chǎn)品中集成深度映射傳感器和雙鏡頭。下一個(gè)敲門(mén)的人可能是中國(guó)人。Valorem預(yù)計(jì)將于2018年初與客戶進(jìn)行更廣泛的試驗(yàn)。
巴黎的Mimesys和都柏林的Meetingroom.io是采用不同方法的初創(chuàng)公司，它們使用VR作為共享協(xié)作會(huì)議空間的基礎(chǔ)，其中可以包括PC和Smartphone等多種設(shè)備上的用戶。這些系統(tǒng)的核心是將遠(yuǎn)程參與者的大量捕獲帶入虛擬房間，就像我們今天在社交VR中看到的那樣，例如AltSpace和Oculus Rooms。Mimesys允許用戶使用任何設(shè)備（包括HoloLens，平板電腦和智能手機(jī)）登錄其虛擬會(huì)議。
Mimesys Connect以共享的虛擬會(huì)議室為中心，該會(huì)議室允許參與者導(dǎo)入和共享3D對(duì)象，觀看視頻，以及執(zhí)行在實(shí)際商務(wù)會(huì)議中可以做的所有事情。但是，與消費(fèi)者的社交空間不同，參與者不是化身，而是數(shù)量龐大的參與者。這種區(qū)別非常重要。
使用iPad iOs 11 ARKit通過(guò)Mimesys Connect訪問(wèn)會(huì)議
這是一個(gè)視頻，準(zhǔn)確地反映了我在Vive上使用Mimesys Connect的體驗(yàn)。我和創(chuàng)始人兼首席執(zhí)行官Remi Rousseau看到了彼此的真實(shí)頭像（戴著我們的Vive HMD），并且能夠傳遞和操縱3D和2D對(duì)象。與他在一起，在場(chǎng)的感覺(jué)非同尋常。
Rousseau認(rèn)為以VR為中心的方法是最靈活和易于使用的。“ HoloLens Teleportation不允許用戶使用Mimesys Connect共享和協(xié)作方式。例如，我們無(wú)法在共享白板上進(jìn)行協(xié)作。”我詢問(wèn)了Russeau的進(jìn)入壁壘，以及他的小型初創(chuàng)企業(yè)（可能與十幾個(gè)試點(diǎn)客戶一起使用）如何抵御AltSpace和Oculus Rooms等低成本或免費(fèi)競(jìng)爭(zhēng)對(duì)手的這種VR方法。
他說(shuō)：“存在潛在的風(fēng)險(xiǎn)，尤其是在Facebook空間方面，這就是為什么我們今天將重點(diǎn)放在B2B而不是B2C上。話雖如此，溝通空間還是很大的。如今，WhatsApp，Messenger，視頻群聊，面對(duì)面時(shí)間等平臺(tái)共存，并且對(duì)于VR和AR通信來(lái)說(shuō)可能是相同的。不同的受眾會(huì)有不同的體驗(yàn)。”
Meetingroom.io的創(chuàng)始人兼首席執(zhí)行官喬尼·科斯格羅夫（Jonny Cosgrove）補(bǔ)充說(shuō)：“我們?nèi)蕴幱谄鸩诫A段，但可移植性在這里改變了游戲規(guī)則。高級(jí)管理人員和銷售總監(jiān)可以會(huì)見(jiàn)和管理銷售人員，公司可以與更多的客戶互動(dòng)。”
思科視頻技術(shù)集團(tuán)現(xiàn)任高級(jí)副總裁OJ Winge在他的職業(yè)生涯的大部分時(shí)間里都在以一種或多種形式使用網(wǎng)真。他說(shuō)：“思科的Spark系統(tǒng)已經(jīng)提供了新的豐富體驗(yàn)。目前，對(duì)于體積級(jí)的遠(yuǎn)程呈現(xiàn)，質(zhì)量還不夠好，我們認(rèn)為這與Spark有所不同?；パa(bǔ)，不同，但不能替代。對(duì)于正常的會(huì)議，該技術(shù)必須透明且自然。”他對(duì)Spark的地位充滿信心，并計(jì)劃發(fā)展業(yè)務(wù)。
遠(yuǎn)程現(xiàn)實(shí)將非常緩慢地發(fā)生，然后同時(shí)發(fā)生，這不僅極大地破壞了會(huì)議業(yè)務(wù)，而且極大地破壞了業(yè)務(wù)管理和協(xié)作本身，更不用說(shuō)數(shù)十億美元的商務(wù)旅行類別了。
我即將出版的有關(guān)AR和VR的書(shū)的所有關(guān)鍵前提都存在于這個(gè)故事中。我們始終高估當(dāng)前，低估未來(lái)。產(chǎn)品之所以成功，是因?yàn)樗鼈兪刮覀円呀?jīng)在做的更好。殺手級(jí)應(yīng)用是其他人。
關(guān)鍵標(biāo)簽：AR VR 遠(yuǎn)程現(xiàn)實(shí)
