Facebook用神經渲染實現AR/VR全天候穿戴新里程碑!

查看引用/信息源請點擊:映維網

感知渲染的一個全新里程碑

映維網 2020年05月16日Facebook Reality Labs(FRL)致力于構建一個現實世界和虛擬世界能夠自由混合,同時提升我們日常生活體驗,增加效率和加強彼此之間聯結的未來。續航是邁向所述愿景的挑戰之一。為了能夠實現能夠長時間(包括一整天)舒適穿戴的虛擬現實頭顯和增強現實眼鏡,我們必須優化設備的功耗。作為朝構建下一階段AR/VR系統的一步,這家實驗室正努力開發不影響圖像質量的情況下顯著降低功耗的圖形系統。

DeepFovea是FRL為應對這一挑戰而開發的數種基于神經網絡的方法之一。DeepFovea這個渲染系統利用了最近發明的生成對抗網絡(Generative Adversarial Network;GAN)人工智能概念來模擬人類在日常生活中的外圍視覺,利用這種感知匹配架構來提供前所未有的圖形效率。在測試中,DeepFovea可以將渲染所需的計算資源量減少多達10-14倍,而人眼依然無法注意到任何圖像差異。DeepFovea的神經渲染遠遠超出了目前Oculus產品中的傳統注視點渲染系統,能夠生成感知上與全分辨率圖像別無二致的圖像,而需要渲染的像素不到10%。現有的注視點渲染方法需要渲染全分辨率圖像一半的像素,所以DeepFovea在渲染需求的數量級進步代表了感知渲染的一個全新里程碑。

延伸閱讀:Facebook研發AI注視點渲染DeepFovea,為一體機VR大大提升渲染效能

FRL最初在2019年11月的SIGGRAPH Asia展示了DeepFovea,而今天,團隊公開了關于DeepFovea存儲庫的完整演示,從而幫助圖形研究社區深化對先進感知渲染的探索。

1. DeepFovea:模仿外圍視覺,由人工智能驅動

DeepFovea的關鍵是人眼生理學。當眼睛直視一個對象時,來自所述對象的光子將落在視網膜的中央凹位置,亦即英文中的Fovea。中央凹是視網膜唯一具有高分辨率的區域,而它只占整個視網膜的一小部分。在超過150度的人眼視場中,最高分辨率區域只有3度寬,并且分辨率在距離中心凹的10度范圍內將下降一個數量級。我們人類認為自己擁有廣闊視場的高分辨率視覺,但這只是因為我們的大腦維系了關于周圍環境的模型,填補了缺失的細節,同時將中心凹快速移向到任何目標對象,其速度之快超出了感知的閾值,以至于我們沒有意識到自己在那么一瞬間是看不清所述對象。事實上,我們只有一個面積細小的高分辨率感知區域,而我們對周圍的一切只有非常模糊的感知。

這不是說外圍視覺并不重要。它對于平衡、運動檢測和環境感知十分重要,并提示大腦接下來注視點要移動的位置。但它分辨細節的能力非常有限。

DeepFovea使用最少的必要數據量來生成與視網膜分辨率匹配的圖像。給定一個稀疏渲染的圖像,包含與每個注視點的視網膜分辨率相匹配的可變分辨率,而DeepFovea將能夠推斷丟失的數據。關鍵的是,考慮到視網膜分辨率和圖像處理特性,這種方法所產生的結果在視覺上與全分辨率圖像別無二致。這并不意味著結果是完全相同。如下圖例子所示,它們遠不及當你用中心凹瞄準對象時的感知分辨率,但對于外圍視覺的低分辨率處理,你無法感知到任何差異。

DeepFovea主要是利用GAN來推斷缺失的外圍信息。FRL通過為數百萬個真實視頻提供人為降級的外圍質量來訓練DeepFovea的神經網絡。人為降級的視頻模擬了外圍圖像的降級,而基于GAN的設計有助于神經網絡根據所有訓練視頻的統計信息來填充丟失的細節。

結果是,渲染器可以渲染較少數量級的像素,一個60×40度視場的外圍的像素密度甚至可以減少多達99%。這大大節省了功耗。得由于DeepFovea和眼動追蹤,用戶將能夠以完全相同的質量感知完全相同的場景。

DeepFovea同時能夠確保人眼無法察覺外圍視場的閃爍、鋸齒和其他視頻偽影。

上面視頻是一個示例。移動的光標代表著頭顯用戶的注視點在場景移動,而DeepFovea將相應地重建中心凹的視覺效果。請注意輸入像素的數量是如何隨注視點遠離中心凹視覺區域而降低,系統是如何匹配視網膜分辨率,以及DeepFovea是如何以一種像素渲染量不同于全分辨率渲染,但感知上與理想圖像別無二致的方式來重構圖像。

2. 未來一片光明,且十分高能效

FRL的最終目標是將實時注視點渲染帶給能夠全天候穿戴的輕便高能效AR/VR設備。DeepFovea演示了其能夠渲染比傳統渲染器少10%的像素,同時沒有出現感知質量損失。這為感知渲染的效率設定一個全新的標準,并標志著朝著前述目標邁出了重要的一步。這種方法不取決于硬件,亦即DeepFovea能夠兼容各種AR/VR研究系統。

相關論文DeepFovea: Neural Reconstruction for Foveated Rendering and Video Compression using Learned Statistics of Natural Videos

盡管DeepFovea為AR和VR中的高效繪圖提供了一種重要的方法,但這只是超低功耗感知探索的開始。除了研究論文之外,FRL同時發布了DeepFovea演示內容。團隊表示,希望這能給志在為感知與神經渲染技術的進步做出貢獻的圖形與視覺科學研究人員提供一個有用的框架。

原文鏈接http://www.hydestar.com/news/74614.html
轉載須知:轉載摘編需注明來源映維網并保留本文鏈接
英文閱讀:點擊前往映維網合作伙伴 RoadtoVR 閱讀專業英文報道
入行必讀:深度分析:VR的過去、現在、未來
入行必讀:深度分析:AR的過去、現在、未來與現實

更多閱讀推薦......

資訊 rb88