在如視的各種信息采集設(shè)備中, 全景相機(jī) / 不帶lidar的手機(jī) / 云臺等的深度是利用深度學(xué)習(xí)算法, 從彩色圖直接推測出來的。這種以單張彩色圖為輸入, 預(yù)測對應(yīng)點的深度的算法, 稱之為單目深度預(yù)測算法。

深度學(xué)習(xí)算法從輸入信息中收集各種不完整但是全面的信息, 以類似統(tǒng)計的方法, 通過融合這些信息來估計深度。在室內(nèi)場景的全景彩色圖中, 消失點, 主方向, 拍攝高度, 樓層高度, 家具物品的識別和信息庫等等, 都構(gòu)成這樣的信息片段, 從而使得單目深度預(yù)測算法成為可能。

單目深度算法, 根據(jù)是否使用標(biāo)定數(shù)據(jù)(即有測量深度的圖像), 可以分為監(jiān)督算法, 無監(jiān)督算法和自監(jiān)督算法。如視擁有海量室內(nèi)場景的圖像及對應(yīng)的三維信息(包括黎曼 / 伽羅華相機(jī)拍攝的深度圖), 基于這些數(shù)據(jù)我們采用監(jiān)督算法進(jìn)行單目深度預(yù)測。

如上圖所示, 左圖為全景圖, 右圖為測量得到的深度圖。

如上圖的數(shù)據(jù), 如視擁有的數(shù)量大于108。使用如此大規(guī)模的真實訓(xùn)練數(shù)據(jù)，采用合適的方法可以讓我們的深度預(yù)測模型挖掘海量真實房屋的深度數(shù)據(jù)特征，得到魯棒的，高精度的單目深度預(yù)測結(jié)果。

基于訓(xùn)練所得模型，進(jìn)行單目深度推斷的流程如下圖所示：