映維網 2019年11月29日）當前的AR系統僅追蹤稀疏的幾何特征，不計算所有像素的深度。所以，大多數AR效果都是純粹的疊加層，無法實現真實的對象遮擋效果。針對這種情況，Facebook提出了一種新穎算法，其可以將稀疏深度實時傳播至每個像素。生成的深度圖在時間空間方面十分平滑，但在深度邊緣顯示出明顯的不連續性。這使得AR效果可以與真實場景完全交互并被其遮擋。

該研究由Facebook計算機攝影學團隊研究科學家約翰內斯·科普夫（Johannes Kopf） 和華盛頓大學亞歷山大·霍林斯基（Aleksander Holynski）聯合完成，相關論文《Fast Depth Densification for Occlusion-aware Augmented Reality（用于遮擋感知型增強現實的快速深度密化）》已經公開發表。

相關論文：Fast Depth Densification for Occlusion-aware Augmented Reality

Facebook的算法使用視頻和稀疏SLAM重建作為輸入。首先，它會從光流場的梯度變化估計軟深度邊緣。由于在遮擋附近的光流不可靠，所以研究人員使用了一種全新的可靠性測量仿佛來計算正向和反向流場，并融合所得到的深度邊緣。然后，算法會細化深度邊緣，并將其與圖像邊緣對齊，從而定位深度邊緣。最后，他們優化了傳播深度，但鼓勵在恢復的深度邊緣位置出現不連續性。團隊提供了一系列的真實示例結果，并演示了幾種可識別遮擋的AR視頻效果。為了定量評估算法，Facebook表征了使深度圖適用于AR應用程序的屬性，并提出了新穎的評估指標來說明效果。這家公司指出，與一組競爭性基準算法相比，他們的算法具有優勢。

約翰內斯·科普夫（Johannes Kopf）說：“我們用SLAM來非常精確地追蹤數個點的深度，但我們同時采用一種實時光流方法來預測余下像素的運動。但由于這是一種實時方法，其質量不足以直接進行深度預測，不過我們可以用它來確定場景中的主要深度邊緣位置。然后，我們回到這些非常精確的SLAM點，并將它們的深度傳播至所有余下的像素，但在這些恢復的深度邊緣位置停止傳播。這可以確保所有的對象邊緣都非常清晰，這非常快速，并且產生了非常適合AR的深度映射。因為除了這些都超級清晰的不連續處之外，一切都非常平滑。它們非常適合用來將虛擬對象插入至看似確實置身其間的場景，這是因為它們可以位于真實對象的前面或后面。我非常期待看到這項技術，以及其他人正在研發的技術，將如何幫助模糊真實和虛擬的界限，并令AR更為逼真 更加引人入勝。”

原文鏈接：https://yivian.com/news/69367.html

RCore 是谷歌于去年 2 月份正式推出的 增強現實（AR）軟件開發工具包，給開發者提供了一個開發 AR APP 的平臺。

不到一個月前，谷歌正式推出 ARCore 1.7 版本，為其添加了前置攝像頭 AR 自拍能力以及動畫效果支持；而日前，谷歌又為其引入了機器學習技術，使其實時自拍 AR 的逼真效果更進一步，該技術相關的文章發布在谷歌 AI 的官方博客上，雷鋒網（公眾號：雷鋒網）AI 科技評論編譯如下：

增強現實（AR）通過將數字內容與信息疊加到物質世界的真實場景中，來讓人類實現超越現實的感官體驗。例如，谷歌地圖的 AR 功能，能夠在現實場景中疊加方向信息來為你指路。借助于 Pixel 相機中的 Playground 模式，你可以使用 AR 從不同的視角看世界。并且通過借助于最新發布的「YouTube Stories」以及 ARCore 全新的面部增強（Augmented Faces）API，你可以在自拍上添加動畫面具、眼鏡、帽子、皮膚等特效。

實現這種 AR 功能的關鍵挑戰之一，就是以合適的方式將虛擬內容錨定到現實世界：這一過程需要一套能夠追蹤到每一次微笑、皺眉或假笑的高動態表面幾何結構的獨特的感知技術。

ARCore 的 3D 網格以及它能實現的一些特效

為此，我們引入了機器學習（ML）技術來推斷近似的 3D 表面幾何結構，并且僅需要用到一個單攝像頭輸入而無需使用專用的深度傳感器。這種方法利用面向移動 CPU 界面推斷或其可用的全新移動 GPU 功能的 TensorFlow Lite，實現了逼真的實時 AR 效果。與「 YouTube Stories」 全新的創作者特效所利用的技術一樣，這項技術已通過最新的 ARCore SDK 和 ML Kit Face Contour Detection API 向廣泛的開發者社區開放。

用于自拍 AR 的機器學習工作流

我們的機器學習工作流由兩個協同工作的實時深度神經網絡模型組成：一個是探測器，它在整張圖像上運行并計算出面部位置；另一個是通用的 3D 網格模型，它在探測器計算出來的面部位置上運行，并通過回歸預測近似的表面幾何結構。精確地裁剪面部能夠極大地減少對一般的數據增強的要求，例如由旋轉、平移和比例變換組成的仿射變換（affine transformations）等，同時讓網絡將大部分性能投入于預測坐標來提高其準確性——這對于錨定合適的虛擬內容至關重要。

裁剪完所關注的位置后，該網格網絡一次僅應用于一個單幀，并利用加窗平滑（windowed smoothing）來減少面部處于靜態時的噪音，同時避免在大幅移動期間出現的延遲。

活動中的 3D 網格

針對 3D 網格，我們采用了遷移學習，并訓練了一個具有多個目標的網絡：該網絡能夠同時地基于合成、渲染的數據預測 3D 網格坐標以及基于類似于 MLKit 所提供的帶有注釋的、現實世界的數據預測 2D 語義輪廓。最終的網絡為我們提供了基于合成數據乃至現實世界數據的合理的 3D 網格預測。所有模型都在源自于地理學多樣化的數據集的數據上進行訓練，并接著在平衡、多樣化的測試集上進行定性和定量性能的測試。

3D 網格網絡接收經裁剪的視頻幀作為輸入。由于它不依賴于額外的深度輸入，因而也可以應用于預先錄制的視頻。該模型不僅輸出 3D 點的位置，還輸出在輸入中存在并合理對齊的面部概率。一種常見的替代方法就是為每個地標預測出 2D 熱圖，但這種方法并不適用于深度預測，并且對于如此多的數據點來說，使用這種方法耗費的計算成本非常高。

通過迭代自展和精煉預測，我們進一步提高了模型的準確性和魯棒性，同時也將數據集發展成為愈加具有挑戰性的實例，如鬼臉，拍攝角度傾斜以及面部遮擋等。此外，數據集增強技術也擴展了可用的 ground truth 數據，并開發出了對攝像頭瑕疵等人工產品問題或極端光照條件具有彈力的模型。

數據集擴展和改善路徑

專為硬件定制的界面

我們使用 TensorFlow Lite 進行設備內置的神經網絡推理。新推出的 GPU 后端加速能夠有效提升性能，并顯著降低功耗。此外，我們還設計了具有不同性能和效率特性的一系列模型架構，來覆蓋到更加廣泛的消費級硬件。較簡單網絡之間的最重要的區別就在于殘差塊（Residual Block）設計和可接受的輸入分辨率（最簡單模型中的輸入分辨率為 128×128 像素，而最復雜模型中的輸入分辨率為 256×256）。同時，我們還改變了層數以及子采樣率（輸入分辨率隨網絡深度的減少而減少的速度）。

每一幀的推斷時間： CPU vs. GPU

這一系列的優化的結果就是：使用更簡單的模型帶來了實質性的加速，同時也將 AR 特效質量的降低幅度最小化。

最復雜模型（左）和最簡單模型（右）的比較：在簡單模型上，時序一致性以及對嘴唇、眼睛的追蹤稍微降低。

這些成果最終則能夠通過以下方式，讓用戶在 YouTube、ARCore 以及其他客戶端體驗到更加逼真的自拍 AR 效果：

• 通過環境映射模擬光反射，來實現眼鏡的逼真渲染；
• 通過將虛擬的目標陰影投射到面部網格上，來實現了自然光照效果；
• 對面部遮擋進行建模，來隱藏面部后面的虛擬目標部分，如下所示的虛擬眼鏡案例。

另外，我們還通過以下方式實現了逼真的妝容效果：

• 對應用到嘴唇上的鏡面反射進行建模；
• 利用亮度感知材料來實現面部著色。

案例對比： 5 個目標在不同光線下的真實化妝效果以及 AR 化妝效果

我們很高興將這項新技術分享給創作者、用戶以及開發者。

感興趣的讀者可以通過下載最新的 ARCore SDK 來將這項技術用起來。

未來，我們還計劃將這項技術廣泛應用到更多的谷歌產品線中。

via：https://ai.googleblog.com/2019/03/real-time-ar-self-expression-with.html

原文鏈接：https://www.leiphone.com/news/201903/fDpFYPzc23a3SUs8.html

本文來源于人人都是產品經理合作媒體 @雷鋒網，翻譯@雷鋒網AI 科技評論

題圖來自Unsplash，基于CC0協議。

個性化推薦的信息流中，面向新用戶時是否需要做一個前置的興趣內容選擇進行引導呢？我們在天天問討論了這個問題，一起來看看吧~

問題 一

新用戶需要選擇興趣分類嗎？@問多多

在個性化推薦的信息流中，面向新用戶時是否需要做一個前置的興趣內容選擇進行引導呢？

精選回復@鯨魚我是陳靖宇

還真沒見過新用戶前置興趣分類成功的案例。

分類是為了更好的分發，從這個角度來說前置的分類肯定很粗，一旦粗內容命中的受益就不明顯，同時還給了用戶門檻。不如長期的“閱讀訓練”來的更準確，但給興趣點推的還是大內容，算法也幫不到忙。

還有一點，無論我們提供的選擇多精準，無論用戶選的多認真，用戶的實際行為才是最重要的，推薦的好不好，取決于用戶對內容的理解能力。

精選回復@蛋松超人

在思考任何問題的解法時，我通常會先思考why，再是how。知道了為什么而做，才可能有實現目標的機會。

如題，題主沒能給出具體想實現的原因。那我來做個假設，并且進行推導演繹。

題中可以拆解出關鍵詞：新用戶、選擇、興趣分類。

新用戶選擇興趣分類是為什么？

為了更精準匹配用戶和ta感興趣的內容

匹配更精準的內容是為了什么？

為了提高新用戶的轉化/留存

提升新用戶轉化/留存是為了什么？

為了kpi？為了公司融資？為了xxx（此處不做過多闡述）

明確了目標之后，再回來審視讓新用戶選擇興趣分類是否能達到這個目的，如果不能，是否有別的替代方案？如果能，它的內在邏輯是什么？

接著往下分析。

從新用戶角度思考（使用環境、動機強弱、刺激/觸發物）：我通過xx渠道，了解到了xxApp，通過應用商店下載，經過若干時間等待，我終于打開了app。

以上簡要的概括了一個新用戶到進入app的過程行為，這中間的過程，可能是連續的也可能是割裂的，但不變的是需要時間。所以在進入app時增加興趣分類選擇，一定要考慮到你的目標新用戶大概會在哪些環境下進入app。這中間產生的時間和操作成本很可能就讓用戶把你拒絕了（當然這又涉及到動機強弱，不做延展）從這點上考慮、能否達到預期目標。以上是從使用環境考慮的過程。

從平臺角度思考（選擇的主動和被動、興趣愛好匹配）：作為內容分發平臺，必然會有內容，用戶的屬性標簽。題中說到新用戶，那么問題可以轉化成：當缺少用戶屬性標簽的時候，如何分發內容？

這里提供兩個思路：

1. 通過已有的用戶信息進行推薦，比如投放時區分渠道來源，看是否存在可挖掘的用戶信息。
2. 提供一個相對普適的內容推薦頁，加上新人福利引導，一般來說能起到比較好的留存效果。保證提供的內容是打中一個點的，且福利是比較有吸引力的，可以有效阻止用戶跳出。

最后，我沒有需要或者不需要的具體答案，最終還是要結合你的產品、內容、渠道、用戶等多個維度進行分析用什么方法來解決你的問題or實現你的目標

精選回復@真像大白

不需要吧，還是要從解決的問題是什么去考慮。

1. 對于平臺來說。我們希望新用戶通過選擇興趣點，去形成他的第一頁信息流，穩定用戶。
2. 對于新用戶來說。可能給我解決的問題就是能根據我所選的愛好給我推我喜歡的東西。

問題：

1. 用戶選擇的是否是真實的興趣點？
2. 選了興趣之后于個性化推薦有多少益處？

針對第1個問題。在注冊過程中，一系列的授權驗證步驟已經相對繁瑣了，此時用戶只想快點進入到產品內，去看去體驗，這個時候還要讓我想我要看什么內容，我甚至不知道我選完之后是否還可以更改，就不能麻利一點快點進么，我看起來很閑么？

針對第2個問題。題目中提到個性化推薦，一個良好的信息推薦邏輯一定是各個模塊相輔相成的，閱讀偏好(點擊和閱讀)、行為偏好(評論轉發收藏)、用戶屬性(地區登錄頻次)等等，而選中的興趣只是臨時的、隨時會變的甚至是未經思考的，所選的東西在個性化推薦邏輯內，占比極低。所以從長遠的推薦來看，也并無用處。

個人認為理想的解決方案：

1. 在正式進入產品前，盡可能的減少用戶的操作。注冊時選擇興趣點，于平臺來說屬于典型的“懶政”；
2. 新用戶進入產品后，將近期熱點內容和各個分類的優質內容去形成新用戶的初始信息流；
3. 先用熱點內容吸引住用戶眼球，再通過用戶的后續行為建立起用戶的各項標簽，才能將推薦做到更好。

精選回復@西湖

做過興趣分類，我的建議是：不建議做。

在非剛需內容情景下，前置的選項會給用戶帶來操作成本困擾+擔心隨便選會不會有什么不好的后果但又真的不想下功夫選，這一步可能攔截50%的用戶（來自我的數據），但是不提供前置選項又擔心推薦不精準，用戶流失率高

所以我的建議：還不如做后置選項。

初始化數據選擇熱門內容即可，在主feed流插入選項，告訴用戶你選擇了后可以多推薦這方面內容。

精選回復@就這么一天

要不要選擇得看產品本身：

1. 如果產品內容數量足夠多，且每個細分分類都有足夠數量的內容，那么可以讓用戶選擇興趣分類，推送用戶感興趣的分類內容；
2. 如果產品是啟動階段，內容數量不夠，質量也不高，那么建議不要讓用戶選擇興趣分類。因為內容數量不多，質量也不好，用戶選擇看到的分類又少有差，那就很難留住用戶。

另外，就算是讓用戶選擇了分類，那么給用戶推送的內容就限定在這些分類嗎？

人的興趣都有多面性的，用戶選擇分類不代表 ta真的對這個分類感興趣，也不代表ta對別的分類就不感情去。用戶之所以做這個選擇是因為產品“逼”ta做選擇。

如果只給用戶推送選擇的分類內容，那么有可能造成兩個問題：

1. 這些分類不一定有足夠數量的質量高的內容，從而導致流失；
2. 用戶永遠只能看自己選擇的分類內容，造成信息流通不暢，出現信息孤島。

綜上，要不要選擇興趣分類還是要根據產品本身的性質決定。就我個人觀點，我不贊成讓用戶去選，而是根據用戶的行為去分析用戶喜好也就是用戶畫像，從而做針對性的推送。

精選回復@sai

很多人并不知道自己的真實興趣，看到美女，誒呀好漂亮我關注一下，看到美食哎呀真好我先收藏哪天做做，實際只是獲取即時快感，這種快感人類在各種事物上都有。

所以我認為非常嚴肅的產品，類似需要檢索的，需要選擇分類。

對于一般的產品，先根據熱度推送大眾主流審美去測試用戶，等用戶自然選擇到足夠多的參考，后臺標記標簽就可以了。

更多精彩回復：https://wen.woshipm.com/question/detail/h0h7ar.html

問題 二

為什么每個小說的APP新用戶都要選擇性別？@白衣卿相

精選回復@黃大大

對于企業，方便數據的收集和戰略調整。性別的區分，可以做到更精細化的運營，通過細化用戶畫像，讓內容匹配適合的用戶，增加用戶的好感度提高留存率。

比如：一個美妝APP，前期預判設計一般偏女性化。如果資料數據顯示男性用戶在不斷攀升，甚至達到男女比例一比一的狀態。是否需要考慮再設計方向上考慮男性需求，比如內容上設置男性護膚專題，視覺設計風格上可以更往中性風走，或者在日常push推送上做到更針對化。

對于用戶，智能快速得到用戶想要的東西，切實的實現產品的價值。

精選回復@Rex

接觸過做小說的朋友。

對于小說男女的口味是天差地別，尤其是網文小說。所以一定要做分流，但是用什么方法是個問題，其中成本最低的就是性別分流了。（至于選tag是最不可取的，時刻記住用戶是懶的）

更多精彩回復：https://wen.woshipm.com//question/detail/74rdid.html

你的想法是？歡迎來天天問和小伙伴們繼續交流噢~

相關閱讀

【天天問每周精選】第92期：作為運營/產品經理，你最討厭什么樣的用戶？

【天天問每周精選】第91期：抖音適不適合增加一個彈幕功能？

【天天問每周精選】第90期：微信讀書為什么要設計替身書架？

【天天問每周精選】第89期：周杰倫新歌上線，為什么單曲收費，高清MV卻免費看？

【天天問每周精選】第88期：點外賣為什么必須要「選擇性別」？不敢選性別女……

【天天問每周精選】第87期：功能更新了卻沒用戶用，是不是做得沒意義？

精選問題每周有，歡迎食用~配合回復味道更佳(∩_∩)

本欄目由天天問小編 @Tracy 編輯，歡迎大家踴躍提問，一起交流。

題圖來自Unsplash，基于CC0協議