劉 禹 本報記者 王 春

　　前不久，在嘉興召開的2017國際VR/AR技術(shù)與產(chǎn)業(yè)大會上，疊境數(shù)字科技（上海）有限公司創(chuàng)始人、上?？萍即髮W(xué)虞晶怡教授利用虛擬現(xiàn)實(shí)領(lǐng)域的一項(xiàng)全新技術(shù)——光場技術(shù)，將同會的外籍嘉賓栩栩如生地展現(xiàn)在手機(jī)上，引起了全場熱議。

　　光場技術(shù)模擬人眼，是介于建模和計(jì)算機(jī)渲染之間的技術(shù)。在光場技術(shù)構(gòu)建的場景里，用戶可以走動，從不同的角度和距離觀察事物。最重要的是，光場技術(shù)還能再現(xiàn)物體的光澤和材質(zhì)。因其真實(shí)性遠(yuǎn)超國內(nèi)主流技術(shù)，虞晶怡認(rèn)為這是目前還原物體真實(shí)性唯一的方法。

　　虞晶怡篤定地說：“光場技術(shù)將成為VR/AR行業(yè)的投資焦點(diǎn)。”

　　國內(nèi)VR行業(yè)在“吃老本”

　　“嚴(yán)格來說，國內(nèi)VR領(lǐng)域的企業(yè)缺乏核心技術(shù)。”談及技術(shù)，虞晶怡毫不留情地說。

　　目前，VR內(nèi)容制作主要有兩種主流方法：一是利用全景相機(jī)拍攝360度視頻，即360度環(huán)拍技術(shù)；二是利用更加高端的軟件建模技術(shù)，利用計(jì)算機(jī)工具打造更具沉浸感的VR游戲或視頻。但在虞晶怡看來，這些都不是VR內(nèi)容制作最理想的方法。

　　大約20年前，出現(xiàn)了一種影響深遠(yuǎn)的虛擬現(xiàn)實(shí)技術(shù)，叫做QuickTime VR。這項(xiàng)技術(shù)很簡單：拿手機(jī)拍一圈，把照片拼成一個360度的圖片，現(xiàn)在手機(jī)上就能實(shí)現(xiàn)這個功能。“現(xiàn)在市面上很多做虛擬現(xiàn)實(shí)的公司就是用的這樣的技術(shù)！1996年的技術(shù)！”

　　“360度環(huán)拍技術(shù)最大的問題就是無法實(shí)現(xiàn)動態(tài)視覺。”虞晶怡解釋說，人眼重疊的區(qū)域特別大，在重疊區(qū)域里，由于左眼和右眼看到的東西一樣，就會形成動態(tài)的視野，這就是人眼的3D識別。然而，360度環(huán)拍技術(shù)無法實(shí)現(xiàn)這一功能。

　　早在1995年，蘋果就發(fā)布了一款主要拍攝360度圖片的QuickTime VR相機(jī)。虞晶怡也于1999年創(chuàng)業(yè)試圖將QuickTime VR相機(jī)的技術(shù)運(yùn)用到旅游上，并用360度環(huán)拍技術(shù)拍攝了拉斯維加斯賭場等地的全景照片，但最后卻發(fā)現(xiàn)做出來的全景照片并不怎么吸引人。虞晶怡認(rèn)為這個問題到今天依然存在。

　　同樣，軟件建模技術(shù)雖然更加高端，但不夠真實(shí)的缺點(diǎn)依然存在?，F(xiàn)在很多虛擬現(xiàn)實(shí)應(yīng)用場景，如VR看房，都是采用三維建模實(shí)現(xiàn)的——需要先建模、貼“皮膚”以及大量的人工，而且不可能做到非常精細(xì)，導(dǎo)致最后的效果相當(dāng)粗糙。

　　模擬人眼，所見即所得

　　什么是光場技術(shù)？虞晶怡舉了個例子：“人眼就是兩個天然的光場捕捉器。”人眼觀看3D世界覺得真實(shí)，是因?yàn)殡p目視覺看到的是立體而非平面圖像，在三維空間圍繞觀看可實(shí)現(xiàn)360度的視覺構(gòu)建，而且人眼具有對焦功能。

　　人眼之所以能夠?qū)崿F(xiàn)這些復(fù)雜的功能，是因?yàn)槿搜鄄杉饩€空間。而光場技術(shù)就是把人眼看到的光線空間采集下來，再將光線進(jìn)行重組，可以讓虛擬現(xiàn)實(shí)模擬出人眼基于距離對物體聚焦、移動的效果，捕捉光線信息，重現(xiàn)三維世界。

　　疊境科技用廣角攝像頭模擬人眼，只不過不是兩個攝像頭，而是由至少上百個攝像頭組成的相機(jī)矩陣。典型的中型場景光場拍攝方案，是由140個相機(jī)（包括80個靜態(tài)相機(jī)和60個動態(tài)相機(jī)）組成的對內(nèi)環(huán)拍攝影系統(tǒng)，可以從任意角度對物體進(jìn)行拍攝。

　　拿一堆相機(jī)拍攝的時候，一個最大的問題就是遮擋。因?yàn)檎趽?，哪?40個相機(jī)對一個人物進(jìn)行環(huán)拍，也不足以呈現(xiàn)人物的全部。“同樣，人的眼睛不光有幾何，還能看到材質(zhì)。這些材質(zhì)信息是超越幾何的。”人之所以能夠判斷材質(zhì)，原理還是光場。當(dāng)轉(zhuǎn)動腦袋和雙眼的時候，物體上面的光發(fā)生了變化，光的信息蘊(yùn)含了材質(zhì)的信息。

　　如何解決這些問題？疊境科技的方案是為“眼睛”配備一個“大腦”。借助計(jì)算機(jī)視覺和深度學(xué)習(xí)，把每一幀的時空信息集合在一起，就可以產(chǎn)生非常好的3D重現(xiàn)效果。同樣借助深度學(xué)習(xí)，模仿人類判斷材質(zhì)的學(xué)習(xí)方式，大量采樣，經(jīng)算法處理呈現(xiàn)出材質(zhì)特征。

　　另一方面，疊境科技多攝像頭的數(shù)據(jù)采集方式也帶來了海量的數(shù)據(jù)。如何才能以最快的速度處理完這些海量數(shù)據(jù)，便成了相機(jī)矩陣光場技術(shù)最大的技術(shù)門檻。據(jù)虞晶怡透露，疊境科技研發(fā)的光場數(shù)據(jù)壓縮技術(shù)，已經(jīng)可以將1.5G的數(shù)據(jù)壓縮到30M左右。

　　僅一年時間，疊境科技就建立了一整套以光場采集、捕捉、顯示為核心的VR/AR解決方案，可制作物體和動態(tài)人物的360度3D光場采集、建模和渲染以及光場VR/AR內(nèi)容生成，向內(nèi)環(huán)視和向外環(huán)視360度3D視頻直播。將全球最頂尖的光場技術(shù)引入到虛擬現(xiàn)實(shí)領(lǐng)域，很大程度上解決了虛擬現(xiàn)實(shí)體驗(yàn)差的問題，給虛擬現(xiàn)實(shí)行業(yè)帶來了巨大的變革。

　　國內(nèi)應(yīng)用步步展開

　　應(yīng)用方面，疊境科技的光場技術(shù)首先可以用于三維建模。相比傳統(tǒng)的建模方案，疊境科技采集了真實(shí)物體的光線信息，所建立的三維模型更加真實(shí)。目前，該技術(shù)已經(jīng)在上海博物館、淘寶“buy+”計(jì)劃等案例中得以應(yīng)用。

　　據(jù)虞晶怡介紹，針對不同的應(yīng)用場景，光場技術(shù)將有不同的應(yīng)用方式。一種是小型光場：針對具體物件，可以更加完整全面地展現(xiàn)實(shí)物，給用戶更直觀的體驗(yàn)，在電商領(lǐng)域?qū)⒂芯薮髴?yīng)用與突破。在去年淘寶“雙十一”發(fā)布會上，疊境科技展示了用光場重建的唐三彩。面對材質(zhì)復(fù)雜的模型，光場技術(shù)不但實(shí)現(xiàn)了捕捉不同視角觀看物件產(chǎn)生的光影效果，真實(shí)再現(xiàn)了唐三彩的質(zhì)感，還用壓縮與渲染的方法完美植入到淘寶賣家平臺。亞馬遜看到這一應(yīng)用后，也開始積極發(fā)展這項(xiàng)技術(shù)。虞晶怡透露，幾個月后，用戶將可在手機(jī)端看到自己的光場渲染器。

　　在人物拍攝為主的中型光場中，光場技術(shù)可以快速復(fù)現(xiàn)動態(tài)人物，一臺電腦幾分鐘就可以完成全過程，實(shí)現(xiàn)近乎實(shí)時的人物復(fù)現(xiàn)，未來將會在娛樂、電影特效、體育訓(xùn)練等方面大展手腳。

　　大型光場拍攝針對環(huán)境，可直接應(yīng)用于房地產(chǎn)行業(yè)虛擬看房等場景。利用光場技術(shù)進(jìn)行拍攝，可以更加真實(shí)地復(fù)現(xiàn)場景，并且允許用戶走動，從不同的視角和距離進(jìn)行觀察，不久這項(xiàng)功能也會在手機(jī)上出現(xiàn)。