融合激光雷达与图像等多模态感知智能机器人轨迹决策方法研究

摘要

复杂场景里，单一传感器感知不稳定，轨迹规划缺少安全约束，而且存在多元协同方面的问题。为了应对这些问题，本文提出了结合激光雷达和图像的智能机器人轨迹决策方法，形成了多模态感知体系，该体系需要包含机器人平台，并做好外参标定并实现时间同步，从统一的 BEV视角出发来设计LiDAR–Image特征获取及注意力融合网络，进而进生成既关注几何又重视语义的环境代价图。进而基于该代价图构建RL/MPC轨迹决策模型，并引入机会约束与动态边界以确保安全裕度。仿真和实机实验室包含了室内走廊，办公区域以及人群聚集的地方。结果显示，多模态方案在mAP，距离RMSE，最小障碍距离以及任务达成率这些指标上都比DWA和单模态RL更好，而且它还能在嵌入式平台上持续运行，这表明所提方法有效具备工程应用的价值。