一文读懂自动驾驶传感器信息融合

图：个人兴趣可以搜搜 “In Defense of Classical Image Processing: Fast Depth Completion on the CPU“，其结果和CNN方式的比较也附带。

当前法律条文，自然周围环境就是MRF，CRF，TV（Total variation），dictionary learning 和 Sparse Coding之类。一个大为避免乏味的公式拷贝，就如此一来给出发表文章选择题吧。

下一个是“Image Guided Depth Upsampling using Anisotropic Total Generalized Variation“：使用TV，感测器虽然是ToF，激光AN也适用。接着一个是“Semantically Guided Depth Upsampling”：替换成语义重叠，十分相似depth ordering。

如果把浓密厚度平面图看做一个所需填补的问题，那么就属于另外一个焦点：image-guided depth inpainting/completion，这都有的新技术理论上都是当前法律条文，比如“Depth Image Inpainting: Improving Low Rank Matrix Completion with Low Gradient Regularization“：

有一类方式，将激光AN点云镜面到镜面三角形的点作为prior或者"seed"，去微调镜面的厚度大约全过程，这就好比一个由激光AN点云镜面到镜面上的浓密点包含的网格（grid），去他的学生/束缚左眼镜面冗余。

一个大这个方式将Disparity Space Image (DSI)的都卜勒范围缩小：

如平面图方式结合激光AN点云的镜面和立体冗余包含新的prior：

一个大讲解厚度研习的方式。

厚度研习方式

从2017年开始，这个都有的系统设计厚度研习的发表文章开始多上来了，一是自动驾驶对感测器揉合的受到重视提供了motivation，二是厚度研习在厚度平面图大约/重叠/光流大约等信息新技术的推广系统设计让学术研究医务人员开始布局着手多感测器揉合的厚度研习解法律条文。

外间看到的这都有公开刊发的第一篇发表文章应该是2017年9年底MIT副教授Fangchang Ma作为第一作写的，“Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image“。算是第一篇公开刊发的发表文章是在2017年8年底，来自德国Andreas Geiger该机构的发表文章在International Conference on 3D Vision (3DV)刊发，“Sparsity Invariant CNN”。

他们开拓性的文书工作使Kitti Vision Benchmark Suite启动时了2018年的Depth Completion and Prediction Competition，不过MIT拿到了当年Depth Completion的佳绩。几天前（2019年2年底）再先取一步一公开刊发的最新发表文章，是来自University of Pennsylvania的该机构，“DFuseNet: Fusion of RGB and Sparse Depth for Image Guided Dense Depth Completion”。

到时真是Sparsity Invariant CNN。输出是厚度平面图和并不相同的Mask平面图，后者就是指激光AN镜面到镜面三角形有值的标记平面图，为此构造设计了一个叫作sparse CNN的框架，度量了sparse convolution的layer：

结果不想证明这种框架比传统习俗CNN框架好：

再先取一步回头是不是MIT的方式。一开始还是“暴力行为”方式：其中针对KITTi和NYU Depth（健身房）构造设计了有所不同框架

结果看上去不错的：

多于一年之前，监督研习RGB到厚度平面图的CNN方式和利用相邻帧群众运动的普遍性束缚self-learning方式也刊发了，凭此方式MIT拿到了KITTI比赛的佳绩：

一个同时大约surface normals 和 occlusion boundaries的方式如下，不行上来和单目厚度大约很十分相似的路数，“Deep Depth Completion of a RGB-D Image“：

这是AR公司MagicLeap刊发的发表文章，“Estimating Depth from RGB and Sparse Sensing“：框架叫作Deep Depth Densification （D3），

它通过RGB镜面，厚度平面图和Mask平面图输出生成了两个形态平面图：二者重组为一个feature map

是不是结果：

再先取一步看另一个文书工作 “Propagating Confidences through CNNs for Sparse Data Regression“：提出批评normalized convolution （NConv）layer的加以改先取思路，基础训练的时候NConv layer通过大约的confidence score最大化地揉合 multi scale 的 feature map

ICRA的发表文章“High-precision Depth Estimation with the 3D LiDAR and Stereo Fusion“只是在重组RGB image和depth map前到时通过几个convolution layer提取feature map：

看结果：其中第三行是立体视觉方法律条文SGM的结果，第四行才是该方式的。

法律条文国INRIA的文书工作，“Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation“：不使用Mask输出（发表文章归纳其中的可能是因为layer-by-layer的传导造成受控），而语义重叠作为基础训练的另一个目的。

译者推断出CNN方式在一时期层将RGB和厚度平面图如此一来重组输出效率不如傍晚一些重组（这个和目的层的揉合比还是early fusion），这也是它的第二个推断出，这一点和上个发表文章论点一致。

看结果：

Note：在这两篇发表文章刊发一年前，外间从未在专利新技术申请中把RGB镜面和厚度平面图重组的两种CNN框架方式都研讨了，并且还补充了一种CNN再次使用CRF重组的框架方式，该思路也是来自于传统习俗机器研习的方式。当然单目或者左眼镜面输出都从未研讨。

有一篇发表文章，“Learn Morphological Operators for Depth Completion“，除此以外利用镜面重叠的思路来帮助depth completion，只是它度量了一种Contra-harmonic Mean Filter layer相符合形态学算子（structured element），放在一个U-Net框架：

ETH+Princeton+Microsoft的发表文章 “DeepLiDAR: Deep Surface Normal Guided Depth Prediction from LiDAR and Color Image“：还是所需输出Mask平面图（嗯嗯，有有所不同想法律条文吗），也替换成了surface normal平面图增弱depth prediction，还有confidence mask，都有重新加入了attention有助于（目的驱动）。

是不是结果：

发表文章“Dense Depth Posterior (DDP) from Single Image and Sparse Range“提出批评了两步研习法律条文，一是Conditional Prior Network (CPN) ，二是Depth Completion Network (DCN) ：

最后一个发表文章，是再先取一步一出来的“DFuseNet: Fusion of RGB and Sparse Depth for Image Guided Dense Depth Completion“：基于Spatial Pyramid Pooling (SPP) blocks 分别做depth和image的encoder，基础训练的时候stereo不是必须的，mono也行（参照单目的厚度大约使用的基础训练方式）。

这里是SPP的构造：

一个大结果（2-3行）第2行是单目镜面基础训练的，第3行是左眼立体镜面基础训练的：

简单判别此表这都有厚度研习的文书工作：大家都是从暴力行为基础训练的框架开始，慢慢重新加入几何图形束缚，联合基础训练的思路普遍接受。或许拖延RGB和depth重组的马上是一致，分别基础训练feature map比较好，要不让Mask平面图输出还有待研讨。

。

重庆看妇科哪家医院专业
北京什么白癜风医院比较好
常州哪家医院治疗早泄阳痿最好
甘肃白癜风医院排名
甘肃白癜风去哪看