FACEBOOK神經(jīng)渲染實現(xiàn)AR穿戴新里程，微美全息AI視覺場景高仿真拼接

　 阿里云優(yōu)惠券 先領(lǐng)券再下單

Facebook Reality Labs(FRL)致力于構(gòu)建一個現(xiàn)實世界和虛擬世界能夠自由混合，同時提升我們?nèi)粘Ｉ铙w驗，增加效率和加強彼此之間聯(lián)結(jié)的未來。續(xù)航是邁向所述愿景的挑戰(zhàn)之一。為了能夠?qū)崿F(xiàn)能夠長時間(包括一整天)舒適穿戴的虛擬現(xiàn)實頭顯和增強現(xiàn)實眼鏡，我們必須優(yōu)化設(shè)備的功耗。作為朝構(gòu)建下一階段AR/VR系統(tǒng)的一步，這家實驗室正努力開發(fā)不影響圖像質(zhì)量的情況下顯著降低功耗的圖形系統(tǒng)。

DeepFovea是FRL為應(yīng)對這一挑戰(zhàn)而開發(fā)的數(shù)種基于神經(jīng)網(wǎng)絡(luò)的方法之一。DeepFovea這個渲染系統(tǒng)利用了最近發(fā)明的生成對抗網(wǎng)絡(luò)(Generative Adversarial Network;GAN)人工智能概念來模擬人類在日常生活中的外圍視覺，利用這種感知匹配架構(gòu)來提供前所未有的圖形效率。在測試中，DeepFovea可以將渲染所需的計算資源量減少多達(dá)10-14倍，而人眼依然無法注意到任何圖像差異。DeepFovea的神經(jīng)渲染遠(yuǎn)遠(yuǎn)超出了目前Oculus產(chǎn)品中的傳統(tǒng)注視點渲染系統(tǒng)，能夠生成感知上與全分辨率圖像別無二致的圖像，而需要渲染的像素不到10%?，F(xiàn)有的注視點渲染方法需要渲染全分辨率圖像一半的像素，所以DeepFovea在渲染需求的數(shù)量級進(jìn)步代表了感知渲染的一個全新里程碑。

FRL最初在2019年11月的SIGGRAPH Asia展示了DeepFovea，而今天，團(tuán)隊公開了關(guān)于DeepFovea存儲庫的完整演示，從而幫助圖形研究社區(qū)深化對先進(jìn)感知渲染的探索。

FRL的最終目標(biāo)是將實時注視點渲染帶給能夠全天候穿戴的輕便高能效AR/VR設(shè)備。DeepFovea演示了其能夠渲染比傳統(tǒng)渲染器少10%的像素，同時沒有出現(xiàn)感知質(zhì)量損失。這為感知渲染的效率設(shè)定一個全新的標(biāo)準(zhǔn)，并標(biāo)志著朝著前述目標(biāo)邁出了重要的一步。這種方法不取決于硬件，亦即DeepFovea能夠兼容各種AR/VR研究系統(tǒng)。

盡管DeepFovea為AR和VR中的高效繪圖提供了一種重要的方法，但這只是超低功耗感知探索的開始。除了研究論文之外，F(xiàn)RL同時發(fā)布了DeepFovea演示內(nèi)容。團(tuán)隊表示，希望這能給志在為感知與神經(jīng)渲染技術(shù)的進(jìn)步做出貢獻(xiàn)的圖形與視覺科學(xué)研究人員提供一個有用的框架。

而在國內(nèi)，微美全息(WIMI.US)擁有國內(nèi)領(lǐng)先的AR全息應(yīng)用平臺。據(jù)Frost & Sullivan稱，從2017年的總收入來看，微美全息云已是中國領(lǐng)先的全息AR應(yīng)用平臺。此外，根據(jù)Frost & Sullivan的數(shù)據(jù)，2018年，微美在國內(nèi)所有全息AR解決方案提供商中建立了全面、多元化的全息AR內(nèi)容庫，在收入、客戶數(shù)量、全息AR內(nèi)容以及全息AR專利和軟件著作權(quán)數(shù)量方面，微美全息云在中國全息AR行業(yè)排名第一。2018年全年，微美全息云擁有大約4654個AR全息內(nèi)容、106軟件版權(quán)和219個技術(shù)專利。微美全息云致力于使用全息技術(shù)來滿足客戶和最終用戶的娛樂和業(yè)務(wù)需求。根據(jù)Frost&Sullivan的說法，微美全息云目前運營的全息AR應(yīng)用平臺涵蓋了中國最廣泛的全息AR產(chǎn)品類型。微美全息云的綜合平臺應(yīng)用是微美全息云區(qū)別于競爭對手的一個關(guān)鍵因素。

全息黑科技那么出彩，微美全息(WIMI.US)專注于計算機(jī)視覺全息云服務(wù)。據(jù)介紹，微美全息覆蓋從全息計算機(jī)視覺AI合成、全息視覺呈現(xiàn)、全息互動軟件開發(fā)、全息AR線上及線下廣告投放、全息ARSDK支付、5G全息通訊軟件開發(fā)、全息人臉識別開發(fā)、全息AI換臉開發(fā)等全息AR技術(shù)的多個環(huán)節(jié)，是一家全息云綜合技術(shù)方案提供商。其商業(yè)應(yīng)用場景主要聚集在家用娛樂、光場影院、演藝系統(tǒng)、商業(yè)發(fā)布系統(tǒng)及廣告展示系統(tǒng)等五大專業(yè)領(lǐng)域。

全息投影技術(shù)的應(yīng)用已經(jīng)廣泛普及，在技術(shù)上也越來越的成熟，融合了多媒體、互聯(lián)網(wǎng)等多項技術(shù)，從而可以增加遠(yuǎn)程控制和遠(yuǎn)程的傳輸與連接，它的清晰度和展架自由組合等都是一種不小的創(chuàng)新。當(dāng)前，裸眼全息投影技術(shù)的運用十分廣泛，涉及各個領(lǐng)域。在軍事領(lǐng)域，全息投影技術(shù)可模擬戰(zhàn)場環(huán)境，從而提供分析決策與行動的支持，真實且便攜;在教育領(lǐng)域，可以突破時間和空間的限制，用動態(tài)的、具有時間性和故事性的虛擬影像來展現(xiàn)歷史，真正達(dá)到學(xué)生參與體驗，實現(xiàn)寓教于樂;在影視領(lǐng)域，全息影像技術(shù)能使人有更強的真實感，在超大屏幕的影院中，無需帶上特制的眼鏡，借助超大立體畫面配合環(huán)繞立體聲音效就能使觀眾有身臨其境的感覺;在舞臺效果上，能使觀眾直接看到舞臺上立體的虛擬人物和景物，從而營造出亦幻亦真的視覺氛圍，具有超級強烈的視覺沖擊力。

微美全息(WIMI.US)領(lǐng)先的全息AR內(nèi)容制作功能圍繞圖像采集、對象識別、自動圖像處理和計算機(jī)視覺技術(shù)而構(gòu)建。微美的軟件工程團(tuán)隊和可視化設(shè)計團(tuán)隊緊密合作，不斷推進(jìn)這些可視化相關(guān)技術(shù)，并利用它們設(shè)計和生產(chǎn)創(chuàng)新的全息AR內(nèi)容。通過提供精確姿態(tài)估計的實時計算機(jī)視覺算法，能夠在幾秒鐘內(nèi)執(zhí)行場景識別和跟蹤。這種尖端算法還允許微美以像素為基礎(chǔ)執(zhí)行照片級真實高分辨率渲染的可視化。Frost&Sullivan表示，雖然大多數(shù)同行公司可能會識別并捕獲特定空間單位內(nèi)的40到50塊圖像數(shù)據(jù)，微美可以收集的數(shù)據(jù)塊數(shù)量達(dá)到500到550;微美的圖像處理速度比行業(yè)平均水平提高了80%，從而提高了運營效率。在場景重建過程中，微美的自動圖像處理工具可以對最初拍攝的圖像進(jìn)行噪聲清除和特征增強，從而能夠創(chuàng)建具有業(yè)界領(lǐng)先模擬度的同類最佳全息AR設(shè)計。

全息技術(shù)也稱虛擬成像技術(shù)，是利用干涉和衍射原理記錄并再現(xiàn)物體真實的三維影像的記錄和再現(xiàn)的技術(shù)。是一種用相干光干涉得到物體全部信息的的三維成像技術(shù)。微美全息(WIMI.US)是增強現(xiàn)實的一種內(nèi)容提供方式，就是讓你看到現(xiàn)實中不存在的物體和現(xiàn)實世界融合在一起的立體影像并與其交互，通過投射裝置，將手機(jī)或電腦上的影像投影到其他介質(zhì)上。微美全息(WIMI.US)中最具商業(yè)價值的就是全息技術(shù)。全息技術(shù)所記錄的不是影像，而是光場。應(yīng)用場景廣，行業(yè)成長性高。

與國內(nèi)同行相比，微美已經(jīng)建立了一個全面的全息AR內(nèi)容庫，全息AR內(nèi)容的格式涵蓋從3D模型到全息短視頻。截至2018年12月31日，共擁有4,654個即用型AR全息內(nèi)容，可用于微美的全息AR產(chǎn)品和解決方案，涵蓋范圍廣泛的類別，包括動物，卡通人物，車輛和食品。其中，2,961個用于教育場景，851個用于旅游，739個用于藝術(shù)和娛樂，103個用于科普。此外，微美的內(nèi)容庫還通過從第三方獲得許可的受版權(quán)保護(hù)的內(nèi)容進(jìn)行了豐富。微美與各種內(nèi)容所有者合作，包括品牌方、電影制片人和人才代理商，以將高質(zhì)量IP轉(zhuǎn)化為AR形式。

由于5G通信網(wǎng)絡(luò)帶寬的變化，高端全息應(yīng)用逐漸應(yīng)用于于社交媒體、通信、導(dǎo)航、家庭應(yīng)用和其他應(yīng)用場景。微美全息(WIMI.US)的計劃是通過5G通信網(wǎng)絡(luò)，在兩個核心技術(shù)：即全息人工智能面部識別技術(shù)和全息人工智能面部修改技術(shù)的基礎(chǔ)上，提供全息云平臺服務(wù)。

隨著科技的發(fā)展以及5G的大力部署，全息通訊產(chǎn)業(yè)爆發(fā)在即，“AR+AI”全息成為全息技術(shù)的突破點。以往科幻電影中出現(xiàn)的全息視頻通話或?qū)⒃?G時代實現(xiàn)全面落地。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！