机器视觉-3D感测技术
来自：Abs-Progress
2021-02-18 06:02:06
今天来说说3D视觉感测(3D Perception/Sensing)技术，广泛应用在工厂、机器人领域，以及目前大概是离咱最近的黑科技-"无人车"或"自动驾驶汽车"，实际上就是人工智能与机器人之复合体。一说到自驾车、或无人车，许多人想到的是: "怎么可能"、"还早拉"、"机器怎么可能开得比人好"、"不安全吧"、"你们搞，我不奉陪"云云。透过本帖，咱来看看置身无人车核心技术之一的3D感测。
光学雷达(Lidar)
想像你身处在一个黑暗的密闭房间中，你对于周围环境一无所知，如有几面墙、你与这些墙的相对位置关系等等。幸运的是，你拥有一根孙悟空的如意金箍棒，可以任意伸长缩短且会回报其长度。既然如此，咱可以试着用这跟金箍棒来探索探索，首先，将棒子往左手边伸长直到碰到坚实物体为止，如意棒回报5公尺，再将棒子往右边伸展，到底时棒子回报8公尺，同样的方法往前与后伸展，得出10与3公尺，这时你对于自身身处的位置有了初步的了解。如果你拥有极好的记忆力，除了以上四个方位之为，甚至可以针对身体周遭上千百个方位、俯角与仰角，来做距离估算，致此，你会发现你基本上已了解了整个房间的全貌。进一步来看，在这个用如意棒指向各处的过程当中，若房间有各式物体，其形状也能够大致被估计出来，这些由棒子的指向与长度的资讯就叫做"点云(Point Cloud) "。
那么现实中没有如意棒(香巴拉有没有我就不知了)，咱科研人员用雷射激光搭配一个接收器，合为一个感测器，来进行方位与距离量测。如下图所示，感测器(Scanner)，目标(Target)，距离(d:distance)，经过时间(Et:Elapsed time)，光速(c)，对感测器来说，光经历了出发(虚线)与返回(实线)箭头，总共走了两倍距离，故利用距离公式，我们可以求出距离(d)。一个光达即是一个不断旋转的雷射激光，约以每秒发射数万到数十万条雷射脉冲，并返回到其接收器，较大的此类系统甚至可以有多个发射器，每秒可以得到超过一百万的资料点。
点云分析(Point Cloud Processing)
在取得光达回传的点云讯息之后，咱需得对这些讯息做分析，如前篇帖子所述，电脑看不懂图片，需得给电脑一些规范，使其能够进行"辨识"。点云资讯事实上即是以光达位置为原点，每一个位在点云中的点之X、Y、Z三维座标，如上所说，每秒会有十万、百万个点的X 、Y、Z值须要处理，咱称之为原始数据(Raw data)，也就是电脑看不懂的东西。是故咱将资料处理分成低中高三个阶段:
1. 低层次处理方法:
低层次基本就是各式滤波(Filter)，以及找寻关键点(Keypoints)。
滤波有非常多种，不太可能一一赘述，基本就是让处理掉多余的杂讯，以点云的观点来说，就是不必要、或是不存在的点，我们得将其去除、或是修正，咱看下图比较好进行联想。
至于关键点，则可以透过一些算法来做取得，如:Harris3D、NARF等等。
2.中层次处理方法:
此处我们需要对滤波过的点云进行特征描述，与分割分类(Segmentation)。这有点类似咱在影像处理那帖里所说的寻找哈尔特征个过程，只是又再稍微复杂些。
特征描述，其实很好想像，就是咱中学时学的各种几何性质，法线、曲率等等。
分割与分类就再次遇到豆友们的最爱，机器学习啦，分割算法有名的像是Ransac线面提取、K-Means、3D Hough Transform，大多为几何线面提取。接着综合以上低层处理法与分割之结果，再使用基于深度学习的分类如PointNet、OctNet来将一坨一坨点云群进行分类，此类深度学习算法自然需要相当程度的训练，才能达到有效的分割分类。
3. 高层次处理方法:
在有了低与中层次处理了之后，高层次主要就是针对电脑如何来运用这些点云，也就是在实务上该如何改进。以自驾车来说，低中层次的处理只针对静态的点云资料，然而车子是在移动的，也就是说每秒所得的点云资料都基本不相同，故需要配准(Registration)，咱可以利用中层次提到的特征来进行比对，比对之后得出两个不同时间点所拍摄到的点云之变换矩阵(Transformation Matrix)，继而将环境进行重建，这也就是为何自驾车能够辨别自身位置以及识别周遭环境的原因，在好的学习算法与训练之下，除了判别人与车之外，甚至能够利用其速度，来对其行为进行预测、预判。
此类运用还包括三维重建，可用于医疗、辅具设计、人体扫描、表情识别等等。
总地来说，本帖大致提供一些3D感测与建模的一些学习方向，并不能说完善，尚有许多未说明算法在这当中，而机器学习的崛起，也加速了点云分析的技术，这也是为啥会说自驾车离咱们越来越近了。事实上，3D感测除了光达之外还有所谓的立体相机(Stereo Camera)搭配立体深度感测器(ToF sensor)，是相当便宜的选项，虽然没有如光达来得稳定，故无法为自驾车所用，但对于室内的应用却是相当足够的，有机会也可以来讲讲，还是其实豆油们比较想看更多自驾车技术分析.....
-
-
-
-
-
-
-
-
-
Abs-Progress 楼主 2021-02-19 00:32:44
太牛了！一个应用要学一大群知识。还望大大慢慢一点点儿的细说。每个题目都超有趣｡ 这雷射打 太牛了！一个应用要学一大群知识。还望大大慢慢一点点儿的细说。每个题目都超有趣｡ 这雷射打出恐有害眼睛，个人觉得3D 影像辨视不可或缺｡ 目前辨示视原理是否就是利用视角度差，像双眼看物对焦那样的？ ... Debussy132本帖是纯雷射扫描，模拟双眼的事实上就是我在最后一段讲的立体相机的原理，看来真得发帖说说了
-
-
-
-
-
Abs-Progress 楼主 2021-02-19 00:50:39
特斯拉总裁马斯克在去年底推出FSD全自动驾驶软件供测试，并宣布将在2021年底成为为标准配备，因 特斯拉总裁马斯克在去年底推出FSD全自动驾驶软件供测试，并宣布将在2021年底成为为标准配备，因为该软件的底层全部重写，其智能及稳定性已无庸置疑。请问LZ其新旧版是何差别? “底层全部重写”听起来好像很厉害! 咱猜测依逻辑全自驾似乎分为1. 四周物体辨识、2. 物体行进路线及速度预测、3. 车行路线及范围订定然后是重头戱4. 本车下一步行进路线及前进速度决策，第1.项应该只能采深度学习、第2.及3.应该是算法，4.则是算法或许加些深度学习，请问LZ这推论是否正确? 咱坚信自驾软件絶对是极高度技术，曾搭过辅助自驾，已经能判断路边速限标示，一般道路自驾也还满够水平的(连自动超车都可分狂野、绅士型..)，猜测最大问题应该是物体辨识未达100%及仿真的突发状况资料量还不足，不过以总体数据而言人脑在这两方面似乎也不比AI高明才会每天车祸多如繁星。 ... Artis马斯克说底层重写是因为，他们的软体优化已经到达一个局部顶点，白话一点讲就是瓶颈。主要原因是其在训练机器学习模型时使用的是二维照片(2D Image)，他们发现这是阻碍他们进步的根本原因，故改用三维影片(3D Video)来做训练，因为其资料型态的根本上之不同，所以需要重写。
你说的自驾车架构挺对的，之后咱可以来细说，这几帖都是在铺陈哈哈
-
-
-
-
-
-
-
-
-
-
-
Abs-Progress 楼主 2021-02-19 08:52:49
Well 这得看你怎么运用5G技术了，好处是假设覆盖率足够，那么自驾车可以透过云端共享资讯，可以更有效避免事故，或什至可以将某些运算功能移到(off-board)某个中央超级电脑来运算，算完回传比自己(on-board)运算还来得快，诸如此类。
-
-
-
-
-
Abs-Progress 楼主 2021-02-19 09:23:43
撷取给乖乖大的回应 "Well 这得看你怎么运用5G技术了，好处是假设覆盖率足够，那么自驾车可以透过云端共享资讯，可以更有效避免事故，或什至可以将某些运算功能移到(off-board)某个中央超级电脑来运算，算完回传比自己(on-board)运算还来得快，诸如此类。"
-
-
-
-
-
-
-
-
-
-
-
-
-
Abs-Progress 楼主 2021-02-19 09:58:08
不好说，所谓的Net就是一个神经网路深度学习系统，PointNet是由史丹佛大学开发出来的，车厂可以改进其神经网，或是基于其他种系统并研制出自己的学习系统也是很有可能的
-
-
-
-
-
-
-
-
-
-
-
-
-
-
Abs-Progress 楼主 2021-02-19 10:18:30
在深度学习的训练过程，此类状况自然会被考虑进去，几个想法，通常演算法会让车距在一个稳定且可控制的距离范围内，再者，面对此类情况，车子的做法估计跟人不会差太多，唯一的差别我感觉是果断的程度，电脑通常不会具有人类的犹豫。当然一个资深驾驶员，也同样是不会犹豫的
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
Abs-Progress 楼主 2021-02-23 23:04:58
Full of dry goods, a lot of benefits！ 满满的干货 受益多多！ Full of dry goods, a lot of benefits！ 满满的干货 受益多多！ John Chou多谢回复😉
-
-
Abs-Progress 楼主 2021-02-23 23:46:05
Don't get me wrong, I am fully confident on your confidence. Machine is designed to elimi Don't get me wrong, I am fully confident on your confidence. Machine is designed to eliminate human error, however it is build in error that I concern. You must agree no machine is flawless, even it is a bank one. Thanks for your sharing. ... 一起搞飞机That's a reasonable concern. I did have similar mindset like you before I got trained on some of the safety standards about large mechatronic machine design recently by TUV. One of them is called IEC 61508 and I really appreciate and got surprised by the thoroughness and the scope of what these standards extend to. These kinds of certification should really help us understand and be more rest assured.
-
-
Abs-Progress 楼主 2021-02-24 00:10:02
阁下这个想法非常有意思，如果能够用便宜的立体感测器，估计不一定要用到Lidar。如此一来风水师不需要亲自到场也能够评估，这想法挺好
-
-
Abs-Progress 楼主 2021-02-24 00:20:53
汽车问世不久， 科学家们就开始研究自动驾驶汽车了。 1925年，发明家Francis Houdin展示了一辆无 汽车问世不久， 科学家们就开始研究自动驾驶汽车了。 1925年，发明家Francis Houdin展示了一辆无线电控制的汽车，他的车在没有人控制方向盘的情况下在曼哈顿的街道上行驶。 #这应该是人类历史上第一辆上路的“自动驾驶“车辆# 随着算法、芯片、激光雷达、高精地图等技术的成熟。 越来越多的企业开始涉足自动驾驶领域，从2009年开始，谷歌开始秘密开发无人驾驶汽车项目，该项目现在被称为Waymo，这一项目让自动驾驶概念在大众群体中开始熟知，随后的几年，自动驾驶领域迎来参与热潮，从全球级的造车公司： 如通用汽车；到网约车平台，如uber、lyft；再到自动驾驶领域上下游各个产业链，大厂、创业公司纷纷参与。 这种大幅度的关注和投入，使得自动驾驶在短短的几十年里，从概念阶段到目前已有服务体验，其实已经取得了相当大的进度。 自动驾驶这个概念，从产业链角度来看大致可分为三层： 环境感知层：提供激光雷达、视觉/毫米波、高精地图等； 自动驾驶大脑：提供自动驾驶芯片、自动驾驶算法、L4/L5场景等； 车辆层：实现集成和上线运营。 ... 芸芦阁下这不把咱的帖给预先发了🤣
-
-
-
-
-
-
-
-
-
-
-
-
-
Abs-Progress 楼主 2021-02-24 00:37:08
在自动驾驶之前，也许有些可做的: 车距传感，与前车距离，后车距离，左右线距,车距,物距。这可用 在自动驾驶之前，也许有些可做的: 车距传感，与前车距离，后车距离，左右线距,车距,物距。这可用来提醒驾驶保持距离加强安全。也可用来检举喜欢贴车太近的后车，靠行人太近的卡车。若能做到的话，应该会降低不少车祸。 ... Debussy132我喜欢检举靠太近这个Idea🤣
-
Abs-Progress 楼主 2021-02-24 00:43:25
有关本车下一步行进路线及前进速度决策难度应该很高，而且因为路况太多又无足够数据库不易采深度 有关本车下一步行进路线及前进速度决策难度应该很高，而且因为路况太多又无足够数据库不易采深度学习，想请教LZ，是否以程序假设各种路况或许较易办到还是不会考虑这么多? 例如： 右前上方飞来一根1米长直径2厘米(2cm)铁条，则应变方法需做很多判断，车的处置分为1.直线前进 2.右闪 3.左闪，而3种处置方式都再含1.加速 2.减速，但左闪及右闪都需再考虑是否会撞击左或右方车道行进车，造成需计算1.铁条预测路线及冲击力 2.直行或左闪或右闪后加速与减速躱过铁条所需的速度，处理方式多、判断多又计算复杂，全自驾会将程序写得这么周全吗? ... Artis您的问题挺好，之后也许可以来说说动作规划。至于深度学习的训练资料来源，事实上目前估计最多的是Waymo再来大约就是Tesla，这些资料都是从每一台正在外头跑的车而来，所以资料量其实是很庞大的，特斯拉再将这些资料利用模拟环境训练进去其深度学习模型，即可以练就其演算法的精确程度与反应速度。至于要车要怎么做选择，这就与选择模型与动作规划有关了，这估计另外再开帖讲😅
-
Abs-Progress 楼主 2021-02-24 00:54:42
That's true. I am not quite familiar with FAA and its certification process. Nevertheless, I do encourage you to look up TUV and IEC 61508 in terms of their functional safety requirements and recommendations. They also provide a benchmark for determining your systems failure rate for which you can design around and avoid. I personally think as long as designers follow these in the right way, then we can mitigate the risks such that we are catching catchable error and avoid un-trackable errors.
-
Abs-Progress 楼主 2021-02-25 22:34:36
IEC 61508 covers all the safety regarding its field. Never would the spec. be revised nor IEC 61508 covers all the safety regarding its field. Never would the spec. be revised nor superseded because of its soundness in safety. Yes, it might be safe now as long as all current safety specs meet. ... 一起搞飞机Yeah, as long as we keep improving specs to adapt new technologies, the risk should always be low.
-
-
Abs-Progress 楼主 2021-02-25 22:39:17
我感觉咱减速是因为不敢往左或往右闪，因为基本没时间看有无后方来车，但假设是自驾车的话，其感测为360度，也就是说电脑本身是知道有无后方来车，如此一来其闪避时也较为灵活，但不知实际情况哪种方式较好
-
-
你的回复
回复请先 登录 , 或 注册
相关内容推荐
最新讨论 ( 更多 )
- 中医治坐骨神经痛(TCM treatment of sciatica) (天鹅座86号行星)
- 神秘的苏菲旋转 (知道不惑)
- 71神秘的预言影片The Guy ..4个小时后证明 双色球开奖啦 (多风情)
- 【71的NFT拍卖结果】嘻嘻 捐款收据都齐了，补上联合国儿童基... (AI 2071)
- 电影【教父 The Godfather I II III】, 您们看了几次？ (机场旺旺战斗机)