微軟Hololens的定位是一款MR 設(shè)備(Mixed reality)。MR與AR的不同我認(rèn)為是MR能夠?qū)⒄鎸?shí)環(huán)境的場(chǎng)景信息與虛擬對(duì)象進(jìn)行完美的融合,它是基于SLAM(SimultaneousLocalization and Mapping)實(shí)時(shí)定位和場(chǎng)景建模的技術(shù),使得設(shè)備能夠識(shí)別周圍環(huán)境,并且準(zhǔn)確知道用戶在場(chǎng)景中的位置,增強(qiáng)了用戶使用的真實(shí)感。
Hololens本身設(shè)備是一臺(tái)頭戴式的計(jì)算機(jī),其配備一個(gè)半透明/分辨率極高的See-Through屏幕,整個(gè)設(shè)備集成了所有的零件,具體的詳細(xì)配置見下圖:
在軟件方面,微軟一直在VR,MR的計(jì)算機(jī)圖像識(shí)別,Kinect 形態(tài)預(yù)測(cè),手勢(shì)追蹤和識(shí)別,圖像渲染效果,更強(qiáng)大的計(jì)算能力等方面都在深入研究,這些核心算法或技術(shù)是提高設(shè)備的用戶體驗(yàn)的關(guān)鍵。 在內(nèi)容開發(fā)方面,微軟希望構(gòu)建一個(gè)生態(tài)系統(tǒng),提供一個(gè)像Holographic這樣的軟件平臺(tái),通過把不同的算法和服務(wù)變成普通用戶都能用的API,想開發(fā)MR應(yīng)用的人就能用這些工具和服務(wù)來開發(fā)應(yīng)用,最后可以做到HoloLens上去,也可以用到其他虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)設(shè)備上去。
在混合現(xiàn)實(shí)領(lǐng)域,還需要解決的問題:
1:光影技術(shù)在圖形學(xué)里叫“繪制技術(shù)”,實(shí)時(shí)的、光影真實(shí)的三維場(chǎng)景繪制技術(shù)一直是研究的熱點(diǎn)。微軟研究院第一次嘗試用機(jī)器學(xué)習(xí)的方法處理這一問題,第一次把一些原來非常難做到的復(fù)雜光影效果做成實(shí)時(shí)。我們相信,隨著這些技術(shù)的發(fā)展,會(huì)有更多的酷炫的光影效果,可以在VR和MR中呈獻(xiàn)給大家。
2:怎么更方便地產(chǎn)生更真實(shí)的三維場(chǎng)景和交互內(nèi)容。傳統(tǒng)上我們需要藝術(shù)家去造型,但另一個(gè)方法是從真實(shí)世界中直接拍攝捕捉。比如,我想做一個(gè)咖啡館,以前藝術(shù)家要用三維造型軟件手工去做,包括所有細(xì)節(jié),這是一種方法。還有一種方法,是拿一個(gè)深度相機(jī)或普通相機(jī),把一個(gè)咖啡館里所有的桌子和墻的幾何形狀、材質(zhì)完全捕捉下來,把它放在三維場(chǎng)景里,真實(shí)感一下就提高了,所有桌面的材質(zhì)都會(huì)很真實(shí)。有了這個(gè)技術(shù),藝術(shù)家就不是無中生有了,他可以在這個(gè)場(chǎng)景的基礎(chǔ)上把材質(zhì)改改,比如讓桌子生點(diǎn)銹,把它變得更有質(zhì)感。因此內(nèi)容捕捉技術(shù)是非常重要的技術(shù)路徑。微軟研究院在這個(gè)方向做了非常多的研究工作,我們的目標(biāo)也是希望