手持AR設備的感知渲染技術
目錄
- 介紹
- 現有的設備視角渲染
- 使用者感知渲染技術
- 使用者感知渲染的效果評估
- 結論
- 參考資料
介紹
在手持AR設備上,使用者感知渲染是一種將設備視角渲染和使用者視角渲染相結合的新技術。目前,手持AR設備的AR體驗是通過設備視角渲染來實現的。設備視角渲染使用後置攝像頭捕捉周圍的世界,然後在攝像頭視頻中呈現虛擬內容。然而,從觀察者的角度來看,屏幕上的內容與現實世界中的內容大小不一致,並且會出現偏移。這種不一致會導致虛擬內容的大小和場景深度估計變得困難。為了解決這個問題,研究人員提出了使用者視角渲染,它計算出基於頭部追蹤的動態相機截錐,從而實現虛擬內容的正確放置和大小。然而,使用者視角渲染的視場角較小,無法容納完整的場景內容。
現有的設備視角渲染
設備視角渲染使用後置攝像頭捕捉周圍的世界,並在攝像頭視頻中呈現虛擬內容。這使得可以在屏幕上顯示更多的內容。然而,從使用者的角度來看,屏幕上的內容與現實世界中的內容大小和位置存在差異。這種不一致會妨礙對虛擬內容大小和場景深度的準確估計。
設備視角渲染的問題
設備視角渲染的問題主要在於屏幕上的虛擬內容與現實世界中的內容大小和位置不一致。這種不一致會干擾對虛擬內容大小和場景深度的準確估計。例如,在屏幕上,一個櫃子可能被渲染在其實際位置的右側,這樣就會造成內容大小和場景深度的錯誤估計。
使用者視角渲染的優點
使用者視角渲染旨在實現虛擬設備的透明化。通過計算基於頭部追蹤的動態相機截錐,可以將屏幕上的虛擬內容與現實世界準確對齊。這使得用戶可以清楚地識別虛擬物體的位置和大小。然而,使用者視角渲染的視場角較小,無法容納完整的場景內容。
使用者感知渲染技術
使用者感知渲染是一種結合了使用者視角渲染和設備視角渲染優點的新技術。它使用了一個自適應的截錐來捕捉使用者的視角,並將其與虛擬內容相結合。為了實現更大的視場角,該技術還虛擬地擴展了設備的尺寸和截錐範圍。
使用者感知渲染的概述
使用者感知渲染通過計算基於頭部追蹤的動態相機截錐,提供了與使用者視角渲染相似的透明效果。不同的是,使用者感知渲染通過對設備尺寸進行虛擬擴展,實現了更大的視場角。這意味著屏幕上的內容與使用者所見的現實世界內容對齊,並提供了頭部輸入的運動視差效果。
渲染技術的改進
使用者感知渲染通過虛擬擴展設備尺寸來改進視場角。研究人員測試了兩個可能的縮放因子,分別是1.5倍和3倍。使用1.5倍放大倍數,可以在使用者視角渲染和設備視角渲染之間獲得中間視場角。而使用3倍設備放大倍數,可以獲得和設備視角渲染類似的視場角效果。
使用者感知渲染的效果評估
為了評估使用者感知渲染的效果,研究人員進行了一項使用者研究。研究中選擇了兩個任務,這兩個任務分別對不同的渲染技術有利。
深度感知測試
深度感知測試的任務需要參與者識別由三個立方體組成的星座的深度順序。為了增加任務的難度,研究人員移除了陰影和反射。當比較平均正確回答的數量時,使用者視角渲染的準確度為97%,而使用者感知渲染和使用者感知渲染技術的準確度分別為98%和96%。相比之下,使用設備視角渲染的參與者只有90%的正確率,明顯低於其他三種情況。
場景探索測試
場景探索測試的任務是在桌子上方的空中出現的目標上進行搜索和選擇。為了防止目標直接出現在用戶的附近,用戶需要點擊桌子旁邊的一個紅色球才能使目標出現。預期的結果是,使用者視角渲染比其他任何情況都要慢,因為小的視場角使得尋找目標更加困難。使用1.5倍放大倍數的使用者感知渲染和設備視角渲染的速度相似。在比較中我們省略了使用3倍放大倍數的使用者感知渲染,因為所有參與者在短暫的試用過程中都找到了一種方法,即將平板電腦靠近面部以一次看到整個畫面。
總體而言,使用者感知渲染以1.5倍的設備放大倍數為特徵,結合了良好的深度感知和場景探索速度。這一渲染技術提供了約35°的可使用視場角,並將屏幕中心與現實世界對齊,並提供頭部輸入的運動視差效果。
結論
使用者感知渲染是一種結合了使用者視角渲染和設備視角渲染優點的新技術。通過使用自適應的截錐和虛擬擴展設備尺寸,這種渲染技術提供了與使用者視角渲染相似的透明效果,同時具有更大的視場角。測試結果表明,使用者感知渲染在深度感知和場景探索方面的表現優於設備視角渲染。這一渲染技術為AR體驗的改進提供了一個有潛力的方向。
參考資料
- Sebastian Hueber, Johannes Wilhelm, René Schäfer, Simon Voelker, & Jan Borchers. (2020). User-Aware Rendering: Merging the Strengths of Device- and User-Perspective Rendering in Handheld AR. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1-14.