Oculus分享:為挑戰性環境優化6DoF控制器追蹤

查看引用/信息源請點擊:映維網

尤其是針對具有挑戰性的追蹤環境

映維網 2019年12月24日)映維網曾在九月和十一月分享了關于Oculus Constellation追蹤系統的相關細節,其中負責AR/VR設備輸入追蹤的Facebook工程經理安德魯·梅利姆(Andrew Melim)撰文介紹了他們是如何用基于Constellation追蹤的控制器來提高交互保真度,以及在最近版本更新中所采用的最新LED匹配方案。日前,安德魯·梅利姆再次撰文的介紹了他們為進一步優化和強化Oculus Insight控制器追蹤系統而付出的努力。下面是映維網的具體整理:

延伸閱讀深入探索Oculus Insight如何提高追蹤保真度,確保內向外追蹤系統性能

延伸閱讀Oculus揭秘Touch控制器追蹤技術:LED 匹配

Facebook進一步介紹關于最近用以優化控制器追蹤性能的版本更新,尤其是針對具有挑戰性的追蹤環境,如包含圣誕樹或假日裝飾燈具的空間。由于Facebook的追蹤系統是基于檢測和幾何匹配小簇紅外光,所以假日季期間將呈現重大的挑戰,因為它要在包含數百個光點blob的背景下正確追蹤控制器,而系統可能會將其誤認為是控制器。

1. 追蹤挑戰

當控制器位于圣誕樹前時,Insight追蹤系統所感知的畫面將如下所示。右側的黃點是系統檢測到的所有潛在控制器LED。如你所見,無論是來自圣誕樹,裝飾吊燈,還是其他可能存在的燈串,外部光源都會給系統定位控制器的LED帶來挑戰。

圖中的其他光源對追蹤算法提出了一定的挑戰:

  1. 更多的光點blob會導致分割和匹配的計算時間增加。

  2. 若無關于控制器在上一幀中的位置信息,如果控制器介于裝飾燈具的離群值范圍內,則系統幾乎不可能計算姿勢。

  3. 就算存在先前的信息,即便是單個錯誤的LED都會造成錯誤地匹配,從而導致追蹤失敗。

  4. 由于Quest的嚴格計算預算,計算時間的任何增加都可能造成camera的掉幀。

面對上述挑戰,在假日裝飾燈附近的環境中進行控制器追蹤非常困難,并且除非用戶關閉燈具或將其移至其他房間,否則可能會導致錯誤。但Facebook希望人們什么時候都能夠在家里享Quest和Rift S的樂趣,所以Facebook專注于優化追蹤系統。

2. 解決方案

Facebook構建了兩種主要方法來解決這個問題的不同方面:

首先,開發了一種可以檢測環境中的固定3D燈源,并使用其3D位置來幫助拒絕這種光點blob的全新算法。映射外部點的過程類似于Insight追蹤背后的系統。

要為這種固定的離群點創建精確的映射,需要系統計算它們的基本幾何形狀并對其在3D空間中的位置進行三角測量。系統將在游玩過程建立其追蹤的標記列表。這種標記不僅存儲離群點的位置,同時存儲稱為協方差的不確定性值。這種不確定性可以幫助提高系統當標記為固定時的判斷精度。一旦在同一位置多次看到相同的標記,系統就會予以確認并在追蹤過程忽略相關的光點blob。

在下面的并排圖像中,你可以看到新算法(左側)識別出粉紅色標記和綠色標記。其中,粉紅色為圣誕樹燈具的光點blob,而綠色則為控制器LED的光點blob。

一旦繪制了固定標記,系統就會將它們投影到camera視圖,從而獲取其在每一幀中的像素位置。在所述位置檢測到的光點blob(通過特定閾值內的誤差度量來測量)不會用于匹配。進行刪減后,系統將獲得一個非常有可能是控制器blob的非固定blob索引列表。但是,僅追蹤固定的標記不足以確保可靠的追蹤。在最具挑戰性的環境中,我們希望系統在處理之前先剔除明顯不正確的光源。

所以,Facebook通過內部測試分析為何會發生追蹤不匹配。Facebook發現通常的情況是,由于姿態匹配,不匹配的控制器blob尺寸會錯誤,如假定姿態接近時blob太小。綜上所述,圖像中的顯式blob尺寸基本可根據以下因素進行預測:

  1. LED與攝像頭的距離

  2. 入射到LED的入射角

  3. 圖像blob到圖像中心的距離

  4. 圖像Blob橢圓在圖像空間中的方向

考慮到這種關系,Facebook嘗試了不同的方法來將上述輸入信號建模為輸出。Facebook發現由于塑料的折射效應,幾何建模相當不準確,而機器學習方法(尤其是小型神經網絡)能帶來最高的精確度。

Facebook利用Caffe2訓練了一個極小且針對性極強的CNN卷積神經網絡,從而驗證明顯太大或太小而無法成為控制器blob的blob。Facebook對特定的內部采集數據集進行了訓練,并發現這與映射標記結合時能夠明顯減少離群值數量的有效方法。

3. 結果

通過這種優化,追蹤系統的性能在充滿挑戰的環境中(如假日季期間常見的環境)有了顯著改善。最大的改進是顯著減少了數據丟失的數量,并幾乎消除了在密集外部照明情況下不正確的LED匹配。我們發現這能夠改善用戶體驗,同時希望Quest和Rift S用戶能夠全年無縫地享受VR的樂趣。

原文鏈接http://www.hydestar.com/news/70209.html
轉載須知:轉載摘編需注明來源映維網并保留本文鏈接
英文閱讀:點擊前往映維網合作伙伴 RoadtoVR 閱讀專業英文報道
入行必讀:深度分析:VR的過去、現在、未來
入行必讀:深度分析:AR的過去、現在、未來與現實

更多閱讀推薦......

資訊 rb88