当前位置:首页 > 业务领域 > 生态维护 >

PerceptIn张哲:SLAM刚刚开始的未来之风起狮城|ICRA2017|am娱乐官网

编辑:am娱乐平台 来源:am娱乐平台 创发布时间:2020-11-04阅读65488次
  

am娱乐平台|(微信官方账号:)出版社:本文是感知器首席创始人兼CEO张哲参加今年5月29日至6月3日在新加坡举行的ICRA会议的回忆,主要分享作者对各种SLAM及其研究应用的看法和思考。张哲,纽约国立大学机器人学博士,清华大学自动化系学士。

am娱乐平台

研发方向:地图修复、方位跟踪、机器人自主避障导航系统、设备终端和云的算法优化。2009年至2014年在微软公司工作,2014年至2016年初在魔力飞跃公司工作。右边第一位是感知公司的首席执行官张哲,他正在向参与者展示面向开发者的可视化模块。

2017年ICRA(国际机器人及自动化会议)刚刚于6月初在新加坡结束。作为机器人学方面的顶级国际学术会议之一,ICRA自1984年以来已进入第34个年头。目前有举办意愿的,要提前三年申请。

即使申请人被IEEE拒绝做主持人,也必须早两年学习现任主持人的经验教训。在新加坡会议现场,有澳大利亚布里斯班2018和加拿大蒙特利尔2019的特别宣传亭。这个ICRA是机器人学界和工业界的一次盛会。

不仅各大洲的学校和研究机构的教授、学生和研究人员来演讲或自学最近的成就,而且参与工业机器人和“绿色机器人”的公司也来展览和自学。机器人的研究方向和种类繁多,但计算机视觉、SLAM(实时定位与测绘)、地图绘制、空中机器人(各种无人机)、距离感和RGB-D感的轨迹已经占到了全部轨迹的一半左右。

根据我在这次会议上的所见所闻,以及我在机器人学领域十几年的亲身经历(特别是在感知网软硬件集成智能感知方案全面推进的最后一年),我想和大家分享一下各种SLAM以及与研究应用相关的观点和想法。本文纯属个人观点,供大家参考。关于SLAM技术基础知识的详细讲解,可以参考我近一年前的博文。

密集SLAM密集SLAM是指前端使用从图像中提取的密集特征点,而不是深度相机的密集点云,或者试图在不提取特征点的情况下计算深度的必要方法(后面有专门的争论)。密集的SLAM在理论和构造上已经比较成熟,利用六轴陀螺仪imu(惯性测量单元)进行视觉惯性导航融合的凸耦合方法已经成为标准。几何方面,密集SLAM从前端到后端已经非常精细了,论文中经常出现太多微调算法的细节。

这里推荐几个典型的例子:特征点从哪里来的问题可以分为KLT (Kanade-Lucas-Tomasi)流水线和畸形(Fast Retina Key Point)流水线:前一种原理是基于恒定亮度、时间倒数和完全一致的空间来跟踪并给出像素。该方法几何信息算法好,跟踪时间长,但不能飞。后者飞行较少但跟踪时间较短,这是由于相邻帧中FREAK的DoG(高斯差)极值的重复性较差。

如何使用特征点的问题分为SLAM特征点和MSCKF特征点:SLAM特征点重新加入状态向量并进行修正,MSCKF特征点在测量公式中被忽略并丢弃,分解位姿之间的约束。这样做的目的是为了保持准确性,并注意处理时间会太长。

有很多特性,比如如何使用imu选择特性,如何在后端优化中整合imu带来的约束,滑动窗口有多长,哪个部分用NEON/GPU搭建,哪个参数最重要要校准,不合理的时候如何更合理的处理真实分数等。 然而,即使密集的SLAM算法越来越成熟,它对硬件的依赖性也相当大。深层次的原因是算法很粗糙,硬件的拒绝也很细致具体。

比如大家都比较喜欢大角度镜头,但是大角度镜头的边界失真最严重。怎么用,用什么型号;比如相机和imu最差的实时是确认的硬件实时。

不仅要保证序列和微秒级的精度,而且要在每帧图像的时刻有imu的真实分数才是最准确的;比如你要近距离看,要得到准确的尺度,就要把基线加宽,那么到底有多大呢?明尼苏达大学的著名硬件是VINS(视觉惯性导航系统),是一个基线为26厘米的双筒望远镜。165度大角度镜头,可谓是跟踪神器;例如,ICRA宾夕法尼亚大学为SLAM发布的完成跑步点的数据集,数据由一组硬件收集,这些硬件由两个第二代探戈平板电脑、三个GoPro摄像头和一个VI Sensor(做这件事的公司早就被GoPro收购了),然后是AprilTags的标记,融合的姿态信息作为真实值。感知器的第一代双目惯性导航模块吸引了大家在会议的展区进行讲述和销售,说明SLAM和基于计算机视觉的各种研究人员对好的硬件市场有很大的需求。目前密集SLAM的修复比较成熟,从最初的KinectFusion(TSDF数据结构ICP)到后来的InfiniTAM(使用哈希表索引密集体素)、ElasticFusion(使用surfel点响应模型,然后使用非刚性图结构)。

动态融合(引入体扭曲场,使深度数据在体扭曲场转换后能够带入TSDF数据结构,修复了带有非刚性物体的动态场景)已经达到相对成熟的阶段。构建良好的行业是微软的全息透镜,它在TSMC的24核数字信号处理器上完成了网格简化。在这个ICRA,密集SLAM修复的部分,很明显说明了人们还是讨厌基本的几何图元,比如平面,比如法向量,这里不描述。很基础但最重要的是强调地图的数据结构还是挺有创意的,比如这个“Skimap :一个高效的机器人导航的地图框架”。

这个东西的本质是“SkipLists之树”(我不告诉翻译是跳表根还是树根跳表)。三维空间中有一层XYZ。前两层的每个节点都只是一个指向下一层的指针,最后一层是数据明确的体素,而每一层都有一个跳表的隐藏层,保证了所有的查询都由O(logn)放入和取出。这种数据结构对于机器人来说非常简单,特别是对于慢速深度检索和不同高度的障碍物检测。

基于事件相机的SLAM,事件相机的原理是事件相机的每个像素异步接管独立国家的传输变化。对于每个像素来说,“事件”的本质是变暗或变暗,只有“事件”再次发生时才能进行输入。

am娱乐官网

所以“帧亲和”的概念自然不存在,理论上功耗和比特率都不是很低。另一方面,事件相机非常容易受到亮度变化的影响,其动态范围为120分贝,在要求缓慢旋转等剧烈运动方面甚至优于imu。

这种新传感器引起了许多从事方向跟踪的研究人员的注意,特别是在欧洲几个著名的实验室。 但是,从行业的实际角度来看,这款相机有以下三个可怕的地方。

问题不解决,就不会大量推广。1)嗨,现在的价格是几千块。现场有人说批量生产可以花一美元,似乎没有说服力。

CMOS用了这么多年。现在一个全球快门CMOS不可能只花一美元。虽然作者去了制作活动相机的公司展台详细谈了价格,但答案是未来两三年量产有可能降到200-300美元;2)大,因为每个像素的电路非常复杂,每个像素的物理尺寸在20微米左右。与很多CMOS相比,6m x 6m是相当大的,所以需要造成事件相机的物理尺寸相当大,但像素只有很低(比如128 x 128);3)少,“少”就是信息维度的信息太多,事件摄像机的事件一般都在构图边界,所以现场有人称之为“边缘检测器”。

但在整个计算机视觉,尤其是深度自学整合后,正在转回上层的大趋势下,仅有一台事件相机是远远不够的,这也是事件相机的厂商也在整合imu与传统相机的原因,但在这种情况下成本很高。说明基于必要方法SLAM语句的直接方法的原理,即在轮廓环境亮度一致性假设的前提下,通过深度逆的传递提取每个像素(DTAM)或半稠密LSD SLAM的深度,并大幅度优化创建稠密图,期望构建更稳定的方位跟踪。

am娱乐官网

与研究了20多年的基于特征点的方法相比,必要的方法相对较新,只有五六年的历史。这里有几篇论文涉及到ICRA的必要方法,主要是通过融合额外的传感器或方法来改进原有的必要方法。“解析预积分直接视觉-惯性导航”:主要讲的是imu运动学模型在倒计时时间意义上的封闭解。

“使用二进制描述符的弱光直接视觉里程计”:仍然基于恒定亮度的假设,并切换到基于二进制特征的恒定描述的假设。《直接单形态用点和线》:集成了基于特征点的两种方法和带边的必要方法。“直接视觉slam中的光照变化鲁棒性”:ccensus的效果最差。那么必要的法律能否被广泛推广呢?从业内“短视势利”的角度来看,必要方法的双方都只靠:实在令人失望。

1)必要的方法并没有证明它在方位跟踪方面比基于滤波(MSCKF,SR-ISWF)或基于优化(OKVIS,VINS-Mono)的传统前端特征点有优势。如果恶劣的环境是由于光线变化造成的,那么基于环境亮度不变的必要方法的假设就没有正式成立。如果恶劣的环境是由于超轻微的高速运动,那么必要的方法只能通过imu融合寻求避免投掷;2)必要方法的必要优势是地图密集,但密集是针对基于特征点的密集。如果地图是用来跟踪的,基于特征点的方法已经被证明是非常好的。

如果是3D修复,可以用深度相机。如果是被动双目,被动双目恢复到密集深度本身也在发生很大的变化。因此,笔者指出,必要的法律不够细化,但细化后的法律过于强大,或者说过于强大而没有落地价值。

ICRA会议SLAM的另一大方向是语义SLAM和深度自学,试图从各个方面辅助SLAM的几何部分。这个题目很有意思,很大,仅限于简短的描述。 学术SLAM在大方向上相对成熟的阶段,肯定预示着一个超过产品化程度的SLAM方案会在行业内大量的产品中构建,那么SLAM在行业内未来的走向会是怎样的呢?作者有以下几点:1) SLAM太重要了,不会引起大厂商想去享受,但是有能力做高质量成套的就那么几个。

这些也可以做到业内最差的,比如微软HoloLens,谷歌Tango,苹果ARKit,注意即使实力强大,这些公司也会和自己的硬件紧密配合,也不一定能拿出万能的解决方案;2)不会有很多出货量大但在算法或者不一定在算法和软件上比算法端没有优势的公司,比如各大扫地机厂商。这些厂商只需要在创业公司推出一个成熟度和资本最低的解决方案。和储备最丰富,人才储备最好,最容易合作的解决方案厂商合作就好;3)国内外SLAM初创公司实现单点技术的空间不大。这种现象不仅经常出现在SLAM上,也经常出现在任何技术产品化的道路上。

但是在SLAM和“绿色感官”中,需要SLAM和智能感官的产品和方向太多,感官严重依赖硬件。整体市场,尤其是每个细分市场,都没有超过饱和阶段。ICRA 2017,狮城,SLAM的未来已经开始。

允许禁止发表的原创文章。以下是发布通知。

本文来源:am娱乐官网-www.muhsindemirtas.com

0620-716528616

联系我们

Copyright © 2010-2014 香港市am娱乐平台科技股份有限公司 版权所有  港ICP备32910492号-6