虛擬現(xiàn)實：視覺盛宴背后的技術(shù)革命
編者按：
早在50年前，虛擬現(xiàn)實就已出現(xiàn)，如今它有變革人類視覺體驗之勢。在虛擬現(xiàn)實重構(gòu)的世界里，我們不僅有視、聽、觸、嗅等感覺，而且它們將變得愈發(fā)真實，與現(xiàn)實世界無異。與虛擬現(xiàn)實相對應(yīng)的，還有增強現(xiàn)實以及混合現(xiàn)實，它們在改變?nèi)祟愐曈X體驗的同時，也在真切地變革我們的生活。我們既可用它們來購物，也可進行模擬駕駛，甚至還可用它來治療疾病。盡管目前虛擬現(xiàn)實技術(shù)仍有許多缺陷，但它注定會在不遠的將來影響我們每一個人。本文來自上海交通大學軟件學院教授楊旭波日前在“新民科學咖啡館”活動的分享。
演講 | 楊旭波（上海交通大學軟件學院教授）
整理 | 葉水送
● ● ●
早在50多年前，美國電影攝影師莫頓·海利希（Morton Heilig）就發(fā)明了一臺叫Sensorama的機器，它就像現(xiàn)在的大型游戲機一樣，當我們把頭放進這臺機器里后，不僅會有3D的視覺，還能聞到氣味、聽到聲音。由于海利希以及機器自身的缺陷，例如沒有互動性，僅靠事先做好的畫面播放，因此Sensorama機器當時并沒有得到很好的反響。
?最早的虛擬現(xiàn)實體驗機Sensorama。來源：wikipedia
?虛擬現(xiàn)實的早期應(yīng)用。來源：artcenter.edu
頭戴顯示器的發(fā)展需回溯到上世紀60年代。1968年，擁有美國麻省理工學院博士學位的科學家伊凡·蘇澤蘭（Ivan Sutherland），在實驗室里做了一個名為達摩克利斯劍的頭戴顯示器，這個顯示器用的是CRT顯示技術(shù)，可追蹤頭部的動作，往哪邊看就會有感應(yīng)，可以實時計算眼睛看到的畫面。不過那時候計算機能力非常差，顯示的像素也非常低。蘇澤蘭當時還寫了一篇很有名的論文“終極顯示”，他設(shè)想未來的顯示器應(yīng)該能夠達到分不清真實與虛擬。當我們戴上這個以后，就會看到另一個世界，在這個虛擬的世界里，我們的感覺都是真的，有點像《黑客帝國》描述的那樣。但實際上，即使是現(xiàn)在，我們離他的設(shè)想還很遠。
至于頭戴式顯示器的思想，最早可追溯到1613年，伽利略時代就有一個頭盔望遠鏡的設(shè)計，通過這種方式可以看到遠處的東西就在眼前，也有很好的沉浸感。今天的虛擬現(xiàn)實技術(shù)頭盔Oculus跟這些早期頭戴顯示設(shè)備長得比較像，只是現(xiàn)在非常便宜了，以前這樣的設(shè)備非常昂貴，一般人接觸不到。2006年，東芝（Toshiba）公司出了這樣的一個設(shè)備，但設(shè)計上很失敗，戴上去像怪物一樣。2014年，一個名為Oculus的創(chuàng)新公司，讓虛擬現(xiàn)實重新火熱起來，這并非僅僅因為技術(shù)上的革命性突破，還因為其低廉的價格，讓普通民眾僅以300至350美元即可購買到開發(fā)版的頭戴顯示器。Facebook花費20億美元收購這家公司，也令人對其刮目相看。
三星公司也設(shè)計出廉價的頭戴顯示器Gear VR，當把三星手機放到這個盒子里面就可以用。谷歌的紙盒眼鏡Cardboard則更便宜，我們甚至可以利用谷歌開放的設(shè)計圖，買兩個透鏡，用紙板自己動手做。谷歌主要推安卓手機，當手機裝上應(yīng)用程序后，手機就會分成兩個屏幕，左右兩個眼睛可看到不一樣的畫面，產(chǎn)生立體的效果。當我們轉(zhuǎn)動的信息被手機的傳感器檢測到時，就可以看到互動的效果，但這個比Oculus的舒適度差一些，因為距離難以調(diào)節(jié)，加上計算能力手機要比PC機差很多，但它仍可獲得較好的沉浸感。
虛擬現(xiàn)實（Virtual Reality），簡稱VR，這兩個詞組合在一起看似矛盾，一個虛擬一個現(xiàn)實，但都在虛擬現(xiàn)實環(huán)境中體現(xiàn)，由計算機生成虛擬世界，人們通過虛擬現(xiàn)實系統(tǒng)進入到這個虛構(gòu)的世界里。在這個世界里，我們可通過視覺、聽覺以及觸覺進行感知，也有人在研究嗅覺和味覺。
虛擬現(xiàn)實有如下幾個特點：計算機生成、多通道感知、沉浸感以及想象力。當我們把虛擬現(xiàn)實頭戴顯示器放在眼前，即可進入到另一個世界。盡管一部電影也可能會帶來沉浸感，但是它沒有交互性。而在虛擬現(xiàn)實系統(tǒng)中，這種沉浸感有交互性，當我們頭動一下，即可看到不同的角度的場景。至于想象力方面，應(yīng)該說這個虛擬的世界是我們構(gòu)想出來的。它可以是現(xiàn)實世界的復制，比如開會，戴上頭盔之后，我們可能置身于舊金山一個會議室；也可以是想象出來的卡通世界，是你兒時從書本中看過的一個童話世界，現(xiàn)實中它根本不存在。
虛擬現(xiàn)實系統(tǒng)主要包括如下幾個方面：首先是內(nèi)容，它的核心是一個實時計算機圖形和仿真器，然后是用戶界面：一個輸入，一個輸出，這是非常簡單的關(guān)系，輸入主要是對應(yīng)用戶的頭、眼睛、手以及整個身體動作的追蹤，當把這些身體的信息代入到虛擬現(xiàn)實世界里，身體如何動，系統(tǒng)一旦感知到，就會給予一個相應(yīng)的反饋。
?以O(shè)culus為例，虛擬現(xiàn)實系統(tǒng)的各個組成部分。來源：theconversation.com
事實上，虛擬現(xiàn)實是多學科結(jié)合的領(lǐng)域。從學科角度來說，其核心是計算機圖形和仿真，此外還有計算機軟硬件、圖像與視覺、人工智能等技術(shù)，由于要用到視覺、觸覺、聽覺等多感知通道，還會涉及到光、聲、電、機械等。雖然Oculus已經(jīng)設(shè)計得還算不錯，但戴十幾分鐘，眼睛仍可能會有點難受，還會頭暈。目前，全球頂尖學者都在研究人機工程問題，如何設(shè)計得更加舒適，當我們戴上眼鏡后，有人會有大腦被三維虛擬環(huán)境控制的感覺，這可能會帶來心理上的沖擊，因此虛擬現(xiàn)實的應(yīng)用還會涉及到心理學、社會學等問題。
虛擬的內(nèi)容最初一般由建模師通過三維電腦軟件在屏幕上構(gòu)建出來，例如，從一個簡單的模型開始漸漸構(gòu)造出復雜的角色模型，在電腦上設(shè)計出來之后，再賦予它們動作，最后貼上皮膚的紋理，這樣就造出來一個虛擬的角色形象。還有一種虛擬內(nèi)容，它不靠人工，而是靠一種特殊的相機——全景相機。這個相機有很多鏡頭，可以把360度的畫面全部拍下來，數(shù)據(jù)也可以在虛擬現(xiàn)實中展現(xiàn)，這是將來一個重要的應(yīng)用方向。兩會期間也有一些記者用到了這樣的攝像頭，配上虛擬現(xiàn)實的頭盔，我們可以從各個角度觀看，也可以把數(shù)據(jù)存下來放給其他的人看。
當然頭盔并不是虛擬現(xiàn)實的唯一形式，還有很多其他形式，例如CAVE是通過投影儀構(gòu)建的，可模擬四面墻或六面墻，每個墻都用立體投影儀投出來，帶上立體眼鏡就很有沉浸感，但造價非常高。1999年，我在浙江大學參與安裝過這樣的一套系統(tǒng)，當時設(shè)備耗費約250萬人民幣。還有環(huán)幕投影，造價相對低一點，在博物館、展覽館可看到，它應(yīng)該算半沉浸式，因為整個視野沒有完全被覆蓋，當人轉(zhuǎn)過去以后，感覺又回到現(xiàn)實世界。
?虛擬現(xiàn)實技術(shù)可應(yīng)用于游戲以及體育等方面
接下來是輸入設(shè)備方面。輸入設(shè)備需要捕捉人的信號，怎么把人的動作信號帶到虛擬環(huán)境里去？最常用的設(shè)備是運動捕獲設(shè)備，例如這里的演員做一些動作，通過很多攝像頭拍下來，再把這個動作放到虛擬的角色上去。輸入設(shè)備又分兩種：一種是光學運動捕獲設(shè)備，相機加上紅外線，人身上有很多發(fā)光的點，靠計算機計算能力實時算出動作，但它有一個缺點就是容易被遮擋；另一個是慣性傳感設(shè)備，用戶身上裝了很多，手動一下就有一個慣性數(shù)據(jù)，可以算出角度。還有臉部動作捕獲，電影里會經(jīng)常使用，以前是在臉上加很多點，但現(xiàn)在技術(shù)發(fā)展了很多，不用在臉上鋪點，而是直接用計算機視覺的算法來算，目前已經(jīng)可做到實時。
?通過數(shù)據(jù)采集，電腦可快速合成虛擬圖像，在虛擬的環(huán)境里，我們可以參與不同情境。
除了臉部模擬以外，還有一種數(shù)據(jù)手套，當戴上這個特殊的手套后，手活動時每個關(guān)節(jié)角度，可被手套感知到，如模擬手握杯子，通過一個力反饋設(shè)備給手部一個反饋力量，雖然沒有杯子，但通過設(shè)備施加的外力，我們可以感覺到拿了一個杯子樣的東西。目前這一領(lǐng)域仍有很多技術(shù)難點沒有突破。
?當我們帶上“數(shù)據(jù)手套“后，通過手套給予的刺激，我們即可感受到手里緊握的物體，它可能是一個杯子或者是球等
總結(jié)一下，虛擬現(xiàn)實的本質(zhì)是一種新的計算平臺、一種新的通訊平臺和交互界面。從計算機發(fā)展來看，最早是大型機，一個計算機占據(jù)整個房子。彼時人是渺小的，人需要適應(yīng)計算機，后來個人電腦出現(xiàn)的時候，人類將電腦變得越來越小，等到手機出現(xiàn)的時候，我們可以隨時進行計算。虛擬現(xiàn)實應(yīng)該是下一個新的計算平臺，不再是你感覺跟計算機的世界隔著個屏幕，而是以后你感覺計算機構(gòu)造的世界跟現(xiàn)實世界相互融合，盡管目前還是通過屏幕的方式展現(xiàn)，以后就可能分不清在哪個世界里，這是一個發(fā)展趨勢，計算機將逐漸適應(yīng)人的習慣。
有關(guān)虛擬現(xiàn)實和增強現(xiàn)實（Augmented Reality，AR）之間的關(guān)系，很多人可能并不能準確地區(qū)分它們，另外還有一個叫混合現(xiàn)實?；旌犀F(xiàn)實是一個從真實世界到虛擬世界的過渡, 包含了虛擬現(xiàn)實和增強現(xiàn)實。增強現(xiàn)實已有很多代表性的產(chǎn)業(yè)發(fā)展，如谷歌眼鏡，但它不太成功。微軟也剛推出了增強現(xiàn)實眼鏡產(chǎn)品Hololens，賣得比較貴，大概3000美金，它們有一個共同的特點，就是半透明的，因為我們?nèi)孕枰吹秸鎸嵉默F(xiàn)實情景，而以O(shè)culus為代表的虛擬現(xiàn)實眼鏡前面則是不透光的，別人看不到你的眼睛，你也看不到周圍的東西，這是它們之間主要區(qū)別所在，但未來增強現(xiàn)實應(yīng)用面更廣。
?一個有趣的增強現(xiàn)實情境，通過聽、視覺讓人身臨其境
例如，當我們對著鏡子穿衣服時，可通過增強現(xiàn)實讓自己換上一件別的衣服或裙子，或合適的款式，這就是所謂的虛擬試衣。它還可應(yīng)用于遠程會議，當戴上增強現(xiàn)實的眼鏡之后，我們可看到虛構(gòu)的桌子以及從遠處傳過來的參會者影像，盡管它們置身于不同的空間，但此刻如同在同一個環(huán)境下討論問題。最近，微軟推出一個視頻，通過增強現(xiàn)實眼鏡，即使你的孩子不在身邊，在增強現(xiàn)實的情景里，他（她）可被置身于同一個房間，讓你感覺到小孩就在跟前。不過這方面現(xiàn)在做不到這么好，有一些概念性的成分，還有很多缺陷。增強現(xiàn)實還可用于汽車導航，如果我們看導航信息，需低頭看汽車面板，這樣可能會分心。利用增強現(xiàn)實技術(shù)，導航的信息直接顯示在擋風玻璃上，這樣就可以看到路面信息。
虛擬現(xiàn)實除了可用于影視游戲等娛樂應(yīng)用之外，在其他非娛樂的應(yīng)用領(lǐng)域也前景廣闊。虛擬現(xiàn)實同樣也可用于虛擬試衣，這是阿里巴巴的“Buy+”計劃，今年3月剛推出概念，戴上虛擬現(xiàn)實的眼鏡之后，人們可通過虛擬模特身上的衣服來進行選擇和購買。很多汽車公司也開始利用虛擬現(xiàn)實眼鏡進行模擬駕駛，讓用戶體驗開車時的感受，但不能真的開到路上。此外，還可做虛擬旅游，戴上眼鏡后，可體驗以前從未去過的地方，身臨其境。此外，還可以虛擬看房或設(shè)計房子，我們可事先讓設(shè)計師設(shè)計一個虛擬圖景，通過體驗，我們還可以糾正需要改造的地方。
日常生活體驗可對我們的大腦有影響，同樣虛擬的體驗也能影響大腦，因此虛擬現(xiàn)實還可用于心理治療，很多有抑郁癥的人，通過虛擬現(xiàn)實技術(shù)輔助治療可以得到一些改善。對于社交恐懼癥患者來說，他們平時不敢對很多人說話，在虛擬的世界，你知道這是假的，心理會放松防線，更容易跟其他人交流，從而逐漸提高社交能力。再比如，有很多人害怕蜘蛛，通過虛擬現(xiàn)實模擬，蜘蛛“近”在眼前，盡管你很難抗拒潛意識中的害怕，但是可以通過這種方式逐漸“脫敏”。恐高癥同樣可通過虛擬現(xiàn)實得到緩解。
心理學家還用虛擬現(xiàn)實來進行其他治療，例如燒傷患者非常痛苦，尤其是給他換藥的時候，如果有醫(yī)生把虛擬現(xiàn)實技術(shù)用到他們身上，讓他戴上一個頭盔，看到一個冰涼的世界，大腦相應(yīng)做出反應(yīng)，疼痛感會減弱。在美國911恐怖襲擊之后，很多人心理創(chuàng)傷很大，通過虛擬現(xiàn)實技術(shù)，把患者帶回到當時的環(huán)境，這也是一個類似于“脫敏”的治療，從而使患者心理上得到疏解，目前證明可以起到比較明顯的效果。此外還有對自閉癥患者的治療，他們不愿跟人交流，難以親近，通過虛擬現(xiàn)實技術(shù)，讓他們在虛擬的世界里玩游戲，并逐漸接受自己在其中的角色，然后鍛煉跟人交往的技巧。研究發(fā)現(xiàn)治療前后患者大腦的活躍度有明顯改善，這說明虛擬現(xiàn)實起到了良好的作用。
在醫(yī)療方面，虛擬現(xiàn)實還可用來訓練醫(yī)生。當前醫(yī)生培訓代價比較高，既缺少設(shè)備，同時人又非常多，我們可以通過虛擬現(xiàn)實設(shè)備，幫助醫(yī)生練習手術(shù)。例如，在虛擬的世界里，連接力反饋的設(shè)備可模仿一個手術(shù)刀，當手術(shù)刀碰到虛擬器官之后，會有一個力反饋，也會模擬器官的形變，通過這種方式醫(yī)生可以得到手術(shù)技能的鍛煉。
對于學習和教育來說，虛擬現(xiàn)實也是非常有幫助的。通常來說，小孩對形象直觀的東西容易接受，通過虛擬現(xiàn)實技術(shù)，把一些比較抽象的東西，以直觀方式表現(xiàn)出來，這樣可提高他們的記憶能力和學習動機，通過這種方式他們既愿意學習，又覺得很好玩，此外也可以增強小孩子間的合作。
總的來說，虛擬現(xiàn)實已經(jīng)誕生50多年，由于以前成本太高，它最近才剛剛走近大眾。虛擬現(xiàn)實、增強現(xiàn)實它們之間相關(guān)，又各有特點，但核心都是以實時計算機圖形為主，應(yīng)用也在不斷拓廣。通過與互聯(lián)網(wǎng)、機器人、人工智能以及大數(shù)據(jù)進一步結(jié)合，虛擬現(xiàn)實的未來應(yīng)用會更廣泛。
