麦吉尔大学的研究人员说，他们已经开发出了一种技术，可以训练遥控越野车从空中和第一人称图像中驶向地形。他们的混合方法使用车载传感器解决了地形不平整和障碍的问题，使其能够推广到植被，岩石和沙地小径的环境中。

这项工作是初步的，但对于主要依靠摄影机镜头来训练其导航AI的自动驾驶汽车公司来说，这可能是有希望的。英国的Wayve以及Tesla，Mobileye和Comma.ai都在这个阵营中。

研究人员的工作将无模型和基于模型的AI训练方法的要素结合到一个图表中，以利用两者的优势，同时弥补它们的不足。（与无模型方法相反，基于模型的方法让软件代理尝试理解世界并创建代表该模型的模型，有时会由于级联错误而导致性能下降。）他们的模型学会了导航无碰撞轨迹同时以自我监督的方式偏爱平滑的地形，从而自动标记训练数据。

研究人员的越野车基于带有机械制动器的电动，两电机远程控制越野车，该越野车无线连接至运行开源机器人操作系统（ROS）的Intel i7 NUC计算机。越野车既配备了短距离激光雷达传感器，又配备了带有惯性测量单元的前置摄像头，以及将所有传感器信息中继到NUC计算机的微控制器。

在将越野车部署到全地形路线上之前，团队使用DJI Mavic Pro从80米高的高度捕获了路线的图像，然后提取了12米x 9米的图像补丁，以便可以定位和居中。使用四个通过越野车测量的视觉界标，以每像素0.01米的分辨率拍摄图像，并在0.1米内对齐。

在训练过程中，团队模型使用惯性测量单元估算地形粗糙度，而激光雷达传感器则测量障碍物之间的距离。给定来自车载摄像机和本地鸟瞰图的融合输入图像，最近的视觉历史记录，地形类别标签（例如，“粗糙”，“平滑”，“障碍”）以及一系列转向命令，它可以预测在可以确定政策或策略的固定范围。

在真实世界的现场试验中，研究人员在对5.25公里（约3.2英里）以上的15,000个数据样本进行了训练后，以每小时6公里（约每小时3.7英里）的速度进行越野车驾驶。他们报告说，使用前向地面摄像头时，导航模型的预测精度达到60％至78％，并且当合并了航空影像时，对于角度变化为45度或更高的轨迹，其精度提高了约10％。的确，与仅使用第一人称图像的模型相比，该政策在90％的时间都在平坦的地形上行驶，并将崎rough地形的比例降低了6.1倍以上。