slam研究方向

关系：研究方向隶属于研究专业。他是专业下的一个分支。报名的时候先报专业再选方向，很多学校甚至是你考上以后再让你选方向的。研究生的专业是指作为一个学生所学习的专业。这些专业由教育部统一规定，部分院校有自主设置的权利。 而研究方向则是指工作研究的一个科研学术方向。这个方向并没有严格控制。

谷歌的cartographer就是通过submap做的闭环。但实现复杂，可以借鉴的地方实在不多

机器人现在比较有前途的方向不外乎：工业机器人、无人飞行器（uav）、无人驾驶汽车（ugv）、医疗机器人。工业机器人现在需求量越来越大，是个不错的行业，但目前主要做研究的都是公司了，大学里几乎不做了（但大学会用工业机器人做点别的研究，比如抓握研究，就是面对不规则物体时，如何判定形体，如何用机械手准确、稳定地抓握）。uav主要是政府在投钱，军队用。ugv是政府和一些有前瞻性的公司，就目前的技术情况，恐怕十年内无法大规模商业化。医疗机器人是针对目前一些手术上的问题在做，目前有一定进展（达芬奇系统），商业前景很好，但是短期内恐怕推广不开。其他方向，比如家政机器人，有willowgarage在探路，但是前景很不乐观。日本做类人步行机器人做的很欢，但是应用前景极其狭窄（目前来看仅可用于人难以深入的灾难环境操作原本为人设计的设施）。bostondynamics的四足步行机器人做得不错，但是应用范围过于狭窄，只有军队可能有兴趣采购。sarcos雷神的外骨骼做得不错，有一定商业化前景，但是自重太大，对能源要求很高，成本也很高，。做机器人，主要有三个层面。最底层做机械设计，主要是电机、传感器、人工肌肉、结构设计等等。中层做控制设计，主要是传感器滤波和控制算法。上层做感知，主要是根据传感器数据进行更高阶的信息融合，作更复杂的分析，比如说机器视觉、slam之类。人工智能在机器人领域目前没看出来有什么大用处。甚至连机器学习都用的非常少。三个层面都不错。不过目前发展最快的是后两个层面。中层现在在工业界发展比较快。上层主要还是在学术界，目前还没有多少可供商业化的东西。下层现在很缓慢，主要是没有找到非常好的材料。

前景很好，中国正在产业升级，工业机器人和人工智能方面都会是强烈的热点，而且正好是在3~5年以后的时间。难度，肯定高，要求你有创新的思维能力，高数中的微积分、数列等等必须得非常好，软件编程(基础的应用最广泛的语言：C/C++)必须得很好，微电子(数字电路、低频高频模拟电路、最主要的是嵌入式的编程能力)得学得很好，还要有一定的机械设计能力(空间思维能力很重要)。这样的话，你就是人才，你就是中国未来5年以后急需的人工智能领域的人才。一门深入地钻研下去，你就是这个领域的专家甚至大师。但是！！！如果你没有这些喜好和特长或者没能学好这些学科的话，现在做别的选择还来得及。详情官方服务官方网站

机器人现在比较有前途的方向不外乎：工业机器人、无人飞行器（UAV）、无人驾驶汽车（UGV）、医疗机器人。工业机器人现在需求量越来越大，是个不错的行业，但目前主要做研究的都是公司了，大学里几乎不做了（但大学会用工业机器人做点别的研究，比如抓握研究，就是面对不规则物体时，如何判定形体，如何用机械手准确、稳定地抓握）。UAV主要是政府在投钱，军队用。UGV是政府和一些有前瞻性的公司，就目前的技术情况，恐怕十年内无法大规模商业化。医疗机器人是针对目前一些手术上的问题在做，目前有一定进展（达芬奇系统），商业前景很好，但是短期内恐怕推广不开。其他方向，比如家政机器人，有WillowGarage在探路，但是前景很不乐观。日本做类人步行机器人做的很欢，但是应用前景极其狭窄（目前来看仅可用于人难以深入的灾难环境操作原本为人设计的设施）。BostonDynamics的四足步行机器人做得不错，但是应用范围过于狭窄，只有军队可能有兴趣采购。Sarcos雷神的外骨骼做得不错，有一定商业化前景，但是自重太大，对能源要求很高，成本也很高，。做机器人，主要有三个层面。最底层做机械设计，主要是电机、传感器、人工肌肉、结构设计等等。中层做控制设计，主要是传感器滤波和控制算法。上层做感知，主要是根据传感器数据进行更高阶的信息融合，作更复杂的分析，比如说机器视觉、SLAM之类。人工智能在机器人领域目前没看出来有什么大用处。甚至连机器学习都用的非常少。三个层面都不错。不过目前发展最快的是后两个层面。中层现在在工业界发展比较快。上层主要还是在学术界，目前还没有多少可供商业化的东西。下层现在很缓慢，主要是没有找到非常好的材料。

视觉SLAM是一个视觉问题的小分支，但是涉及的知识点繁杂错乱，对于想入门学习SLAM的人来说，一头扎进教科书，从『1+1』这样的知识点开始学将会非常痛苦。窃以为比较针对性的SLAM书籍应该是从系统上层讲清楚SLAM的职责和经典结构，然后对于经典SLAM系统分解，就其中重要的组件和涉及到的知识点进行讲解，并辅以代码实例供初学者把玩……不出一个月……顶多两个月，你就可以对SLAM的经典问题有个由上到下的理解，不说立马能进入研发状态，但跟别人吹吹牛是没有问题的了…

首先，我们要了解，机器人领域的视觉（Machine Vision）跟计算机领域（Computer Vision）的视觉有一些不同：机器视觉的目的是给机器人提供操作物体的信息。所以，机器视觉的研究大概有这几块： 物体识别（Object Recognition）：在图像中检测到物体类型等，这跟 CV 的研究有很大一部分交叉； 位姿估计（Pose Estimation）：计算出物体在摄像机坐标系下的位置和姿态，对于机器人而言，需要抓取东西，不仅要知道这是什么，也需要知道它具体在哪里； 相机标定（Camera Calibration）：因为上面做的只是计算了物体在相机坐标系下的坐标，我们还需要确定相机跟机器人的相对位置和姿态，这样才可以将物体位姿转换到机器人位姿。当然，我这里主要是在物体抓取领域的机器视觉；SLAM 等其他领域的就先不讲了。   由于视觉是机器人感知的一块很重要内容，所以研究也非常多了，我就我了解的一些，按照由简入繁的顺序介绍吧：  0. 相机标定  这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿，但是，机器人操作物体需要知道物体在机器人坐标系下的位姿。所以，我们先需要对相机的位姿进行标定。  内参标定就不说了，参照张正友的论文，或者各种标定工具箱；  外参标定的话，根据相机安装位置，有两种方式：Eye to Hand：相机与机器人极坐标系固连，不随机械臂运动而运动Eye in Hand：相机固连在机械臂上，随机械臂运动而运动 两种方式的求解思路都类似，首先是眼在手外（Eye to Hand）  只需在机械臂末端固定一个棋盘格，在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。  这样，我们就可以得到一个坐标系环而对于眼在手上（Eye in Hand）的情况，也类似，在地上随便放一个棋盘格（与机器人基座固连），然后让机械臂带着相机走几个位姿，然后也可以形成一个 的坐标环平面物体检测  这是目前工业流水线上最常见的场景。目前来看，这一领域对视觉的要求是：快速、精确、稳定。所以，一般是采用最简单的边缘提取+边缘匹配/形状匹配的方法；而且，为了提高稳定性、一般会通过主要打光源、采用反差大的背景等手段，减少系统变量。目前，很多智能相机（如 cognex）都直接内嵌了这些功能；而且，物体一般都是放置在一个平面上，相机只需计算物体的 三自由度位姿即可。  另外，这种应用场景一般都是用于处理一种特定工件，相当于只有位姿估计，而没有物体识别。   当然，工业上追求稳定性无可厚非，但是随着生产自动化的要求越来越高，以及服务类机器人的兴起。对更复杂物体的完整位姿 估计也就成了机器视觉的研究热点。   2. 有纹理的物体  机器人视觉领域是最早开始研究有纹理的物体的，如饮料瓶、零食盒等表面带有丰富纹理的都属于这一类。  当然，这些物体也还是可以用类似边缘提取+模板匹配的方法。但是，实际机器人操作过程中，环境会更加复杂：光照条件不确定（光照）、物体距离相机距离不确定（尺度）、相机看物体的角度不确定（旋转、仿射）、甚至是被其他物体遮挡（遮挡）。幸好有一位叫做 Lowe 的大神，提出了一个叫做 SIFT （Scale-invariant feature transform）的超强局部特征点：  Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110.  具体原理可以看上面这篇被引用 4万+ 的论文或各种博客，简单地说，这个方法提取的特征点只跟物体表面的某部分纹理有关，与光照变化、尺度变化、仿射变换、整个物体无关。  因此，利用 SIFT 特征点，可以直接在相机图像中寻找到与数据库中相同的特征点，这样，就可以确定相机中的物体是什么东西（物体识别）。对于不会变形的物体，特征点在物体坐标系下的位置是固定的。所以，我们在获取若干点对之后，就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。  如果我们用深度相机（如Kinect）或者双目视觉方法，确定出每个特征点的 3D 位置。那么，直接求解这个 PnP 问题，就可以计算出物体在当前相机坐标系下的位姿。↑ 这里就放一个实验室之前毕业师兄的成果  当然，实际操作过程中还是有很多细节工作才可以让它真正可用的，如：先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体（有时候 SIFT 也会变化）、利用贝叶斯方法加速匹配等。  而且，除了 SIFT 之外，后来又出了一大堆类似的特征点，如 SURF、ORB 等。   3. 无纹理的物体 好了，有问题的物体容易解决，那么生活中或者工业里还有很多物体是没有纹理的：我们最容易想到的就是：是否有一种特征点，可以描述物体形状，同时具有跟 SIFT 相似的不变性？  不幸的是，据我了解，目前没有这种特征点。  所以，之前一大类方法还是采用基于模板匹配的办法，但是，对匹配的特征进行了专门选择（不只是边缘等简单特征）。  这里，我介绍一个我们实验室之前使用和重现过的算法 LineMod：  Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.   简单而言，这篇论文同时利用了彩色图像的图像梯度和深度图像的表面法向作为特征，与数据库中的模板进行匹配。  由于数据库中的模板是从一个物体的多个视角拍摄后生成的，所以这样匹配得到的物体位姿只能算是初步估计，并不精确。  但是，只要有了这个初步估计的物体位姿，我们就可以直接采用 ICP 算法（Iterative closest point）匹配物体模型与 3D 点云，从而得到物体在相机坐标系下的精确位姿。当然，这个算法在具体实施过程中还是有很多细节的：如何建立模板、颜色梯度的表示等。另外，这种方法无法应对物体被遮挡的情况。（当然，通过降低匹配阈值，可以应对部分遮挡，但是会造成误识别）。  针对部分遮挡的情况，我们实验室的张博士去年对 LineMod 进行了改进，但由于论文尚未发表，所以就先不过多涉及了。   4. 深度学习  由于深度学习在计算机视觉领域得到了非常好的效果，我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。  首先，对于物体识别，这个就可以照搬 DL 的研究成果了，各种 CNN 拿过来用就好了。有没有将深度学习融入机器人领域的尝试？有哪些难点？ - 知乎 这个回答中，我提到 2016 年的『亚马逊抓取大赛』中，很多队伍都采用了 DL 作为物体识别算法。   然而， 在这个比赛中，虽然很多人采用 DL 进行物体识别，但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。 如  @周博磊  所说，一般是采用 semantic segmentation network 在彩色图像上进行物体分割，之后，将分割出的部分点云与物体 3D 模型进行 ICP 匹配。  当然，直接用神经网络做位姿估计的工作也是有的，如这篇：  Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.  它的方法大概是这样：对于一个物体，取很多小块 RGB-D 数据（只关心一个patch，用局部特征可以应对遮挡）；每小块有一个坐标（相对于物体坐标系）；然后，首先用一个自编码器对数据进行降维；之后，用将降维后的特征用于训练Hough Forest。    5. 与任务/运动规划结合  这部分也是比较有意思的研究内容，由于机器视觉的目的是给机器人操作物体提供信息，所以，并不限于相机中的物体识别与定位，往往需要跟机器人的其他模块相结合。我们让机器人从冰箱中拿一瓶『雪碧』，但是这个 『雪碧』 被『美年达』挡住了。  我们人类的做法是这样的：先把 『美年达』 移开，再去取 『雪碧』 。  所以，对于机器人来说，它需要先通过视觉确定雪碧在『美年达』后面，同时，还需要确定『美年达』这个东西是可以移开的，而不是冰箱门之类固定不可拿开的物体。   当然，将视觉跟机器人结合后，会引出其他很多好玩的新东西。由于不是我自己的研究方向，所以也就不再班门弄斧了。机器人家上有关于这个很详细的图文讲解，你可以看下，希望对你有用

the chubbster 歌手：chubb rock 专辑：the one "come on y'all, let's go to work!" -> flavor flav[chubb rock]6 foot 3, 260 and change?? ?? a little comedic and strangeBecause we can have many friends, at least people that they call thatThey use your brain but they're insane because i ignore thatNo ego, cause i will be no, platinum big-headed rapperThat don't realize there's two directions on the ladderYou wanna go 'head, walk straight, walk goodDon't blame your sales on retails, thinkin that the store shouldThink of reordering about five-hundred thousandJust be glad of the success you had and you're arousinSomebody's brain out there, your year's gonna comeYou didn't live by the pipe or the gun to be like meWaitin for my turn to burnAnd get a million-five, and a tax returnThat be reapin up, and no keeping up with the jonsesLong live p.e. and ban guns'n'rosesNew kids on the block, stick to popNo more making black songs, wack songs please stop!If show business is a woman, i don't trust herBut she's gonna get knocked by the chubbster"come on y'all, let's go to work!" -> flavor flav[chubb rock]The chubbster, a man that came out about 1986With the help of dr. ice in the mixChubb RockAnd even then, kickin lyrics that was quite potentHowie by my side, with his pesticide for the rodentsI'd flow - get on the mic and say, "yo one two"Test and mc's start fessinJettin cause my weapon among the children was my gung-ho attitudeTo use my tongue and lash and lick them upThen pick them up then just fix them up then mix them up withA knowledgeable man that went to college and astonishedRacist teachers with all the modern preachersCrack beepers, yes knowledgeable preachersBut that didn't effect, the chubbsterI'm from brooklyn, so i have a little hustlerIn my blood, when i kick the scam, they all will flock to itGet my music and bop to itGassed my head but i was goin for my doctorateOr my ph.d in p-a-i-d, seeI got into the business to get paid not sprayedWith bs which is an acronym for a much larger wordAnd if preferred, i'll say itBut then again; radio won't play itCause they're cracking down on hip-hopBut it will not slow down or stopEvery year it creates a sellout tourAnd this year has room for the chubbster".. go to work!" -> flavor flav".. go to work!" -> flavor flav".. go to work!" -> flavor flav"come on y'all, let's go to work!" -> flavor flav[chubb rock]Conceited i'm not, but convinced i amSlam a jam that'll scare even the son of samTears to your eyes, because you deny he's a kingSuch as myself, cause myself is on his shelfAs for myself, i went for self cause myself needs financialHealth and wealth like ki's for g'sCause cocaine ki's is for those who have morphine needsVeins all ripped up, capillaries all stitched upA grand a day, hey you slipped upThe chubbster doesn't believe in the drug sceneAble to make me feel hip? i'd rather wear gabberdine'sMy quarter fill will be my thrillMy clyde's will collide with my grill, as for drugs that's nilNot or no, cause yo! mtv will never see me smokin rocksAnd ban me from the box with disneyCause drugs can't assist me or assist youBlood on your tissue that's ill so chillAnd when you come back you better come back even harderPraise to the man upstairs, yes the fatherPositive tip, now dance on the floorAnd have room for the chubbster"come on y'all, let's go to work!" -> flavor flav[chubb rock]In ninety-one you will find me justChillin countin shillings livin it up is a mustA benz is not needed to portray my wealthA jaguar is not a symbol for a starBut nelson mandela, is a fellow i consider to be true blueLong live the anc, walter sisuluThe rest of the people involved, the problem isn't solved yetBut you can bet..That united we stand, divided it's overWithout us, this planet will begin to novaAnd get cold, dark and scary like plutoAnd then who do you call? you know, the chubbster~~~~~~~~上面英语,下面中文~~~~~~~~~~~ 在chubbster 歌手：丘博摇滚专辑：一个 “来，你们，让我们去工作！ ” - “风味托利 [丘博岩] 6英尺3 ， 260和变化 ？ ？ ？ ？有点滑稽和古怪 因为我们可以有很多朋友，至少在人，他们呼吁， 他们使用你的大脑，但他们疯狂的，因为我无视这一 没有自我，因为我不会，铂大户主说唱 不认识有两个方向的阶梯上 你想要去的'头，步行，步行好 不怪你销售的零售价， thinkin ，该商店应 想重新安排约5十点零零万 刚才很高兴你的成功了，而您arousin 人的大脑在那里，你今年要去来 你没有生活的管或枪要像我一样 Waitin我谈谈烧伤 并获得100万个，以及纳税申报 这是reapin ，并没有跟上jonses 万岁体育并禁止guns'n'roses 舞台上新的对手，坚持弹出 没有的决策黑人歌曲，怪人歌曲请停止！ 如果演艺界是一个女人，我不相信她 但是她要去得到撞倒的chubbster “来，你们，让我们去工作！ ” - “风味托利 [丘博岩] 该chubbster ，一名男子出来约1986年 的帮助下，医生。冰中的混合 丘博摇滚 即使这样， kickin歌词是相当有力的 豪伊的我身边，与他的农药的啮齿动物 我想流-得到的话筒说： “你一两个” 试验和三菱商事的开始fessin Jettin我国核武器事业的儿童是我的长庚浩态度 用我的舌头和睫毛和舔起来 然后接他们时，那么刚刚修复起来然后混合起来的 有知识的人说，上了大学和惊讶 种族主义的教师有各种现代化的传教士 裂纹beepers ，是知识渊博的传教士 但这并不影响， chubbster 我从布鲁克林，所以我有一个小骗子 在我的血液，当我踢的骗局，他们都将聚集到它 让我的音乐和国际收支平衡表给它 喝醉了我的头，但我为我的博士布莱恩 或我的博士在P - 1 - 1 - D号，见 我进入企业获得回报不喷 符合BS这是一个缩写一个更大的字 如果喜欢，我会说， 但后来再次;电台不会玩 导致他们打击嘻哈 但不会放慢或停止 每年都将创建一个出卖游览 而今年却室chubbster “ ..去工作！ ” - “风味托利 “ ..去工作！ ” - “风味托利 “ ..去工作！ ” - “风味托利 “来，你们，让我们去工作！ ” - “风味托利 [丘博岩] 自负，我没有，但我相信 大满贯果酱甚至认为会吓跑的儿子山姆 你黯然泪下，因为你否认他是一个国王 像我这样的，原因是他自己大陆架 至于我自己，我去安排自己的自我需要财政 健康和财富像棋的为G的 原因可卡因起的是为那些有吗啡需要谁 静脉所有袭击行动，毛细血管所有缝合了 阿大，每天喂你跌了 该chubbster不相信毒品现场 能够使我感到髋？我宁愿穿gabberdine的 我国季度填补将是我的激动 我国克莱德的意志碰撞我的烧烤，至于药物的无 没有或根本没有，造成よ！ MTV将再也看不到我五路岩 并禁止从我的方块与迪斯尼 导致药物不能帮助我，或协助您 血液在您的组织是生病所以寒冷 当你回来更好地为您回来更难 赞美的人在楼上，是父亲 积极的提示，现在的地板上跳舞 和室chubbster “来，你们，让我们去工作！ ” - “风味托利 [丘博岩] 在91你会发现我刚才 Chillin countin先令美好生活它是一个必须 阿奔驰没有必要把我的财富 阿捷豹不是象征明星 但纳尔逊曼德拉是一位我认为是真正的蓝 万岁非洲人国民大会，沃尔特西苏鲁 其余的人参与，这个问题不解决尚未 但是你可以打赌.. 我们的立场，即联合国，除以它的 没有我们，这个星球将开始新的 并获得寒冷，黑暗和可怕像冥王星 然后谁你打电话？你知道， chubbster

学术经历： 2011年1月-2014年12月，新加坡国立大学，博士；2008年9月-2010年12月，新加坡国立大学，硕士；2004年9月-2008年6月，四川大学，学士。工作经历：2015年3月至今，电子科技大学副教授；2014年10月至今，电子科技大学图像处理研究所；2013年5月-8月，美国西雅图，Adobe创新技术实验室；2012年2月-5月，微软亚洲研究院计算机视觉组。个人简介： 主要研究兴趣包括：图像/视频处理，计算机视觉。主攻方向：视频防抖，三维重建，SLAM，无人机视觉，医学图像处理。研究成果在一区,二区等著名期刊和国际顶级会议上发表，包括: ACM Transactions on Graphics (ToG), proceedings of SIGGRAPH,SIGGRAPH Asia;IEEE Conference Computer Vision and Pattern Recognition (CVPR);European Conference on Computer Vision (ECCV)IEEE Transactions on Image Processing (TIP); IEEE Transactions on Circuits and Systems for Video(CSVT)Eurographics 等。