简化机器人研究中神经辐射场使用的软件包

神经辐射场 (NeRF) 是先进的机器学习技术，可以从二维 (3D) 图像生成对象或环境的三维 (2D) 表示。由于这些技术可以真实而详细地模拟复杂的现实世界环境，它们可以极大地支持机器人研究。

然而，大多数用于训练 NeRF 的现有数据集和平台都设计为离线使用，因为它们需要完成姿势优化步骤，这会显着延迟照片真实表示的创建。到目前为止，这阻止了大多数机器人专家使用这些技术在物理机器人上实时测试他们的算法。

斯坦福大学的一个研究小组最近推出了NerfBridge，这是一种用于训练NeRF算法的新开源软件包，最终可以使它们能够用于在线机器人实验，该软件包在arXiv上预先发表的一篇论文中介绍，旨在有效地桥接ROS(机器人操作系统)，一个着名的机器人应用程序软件库和Nerfstudio， 一个开源库，旨在实时训练 NeRF。

“最近，我的实验室斯坦福大学多机器人系统实验室的成员对探索神经辐射场(NeRFs)在机器人中的应用感到兴奋，但我们发现现在没有一种简单的方法将这些方法与实际机器人一起使用，因此不可能对它们进行任何真正的实验，”该论文的第一作者Javier Yu， “科技Xplore说。“由于这些工具不存在，我们决定自己构建它们，并且出于工程推动，看看NeRFs如何在机器人上工作，我们得到了一个很好的工具，我们认为它将对机器人社区的许多人有用。

NeRF是基于人工神经网络的复杂技术，最初由计算机图形学研究界引入。他们基本上通过训练神经网络来重建照片或3D图像中捕获的场景的2D几何形状和颜色，从而创建详细的世界地图。

“从图像映射的问题是我们机器人社区长期以来一直在研究的问题，NeRF为如何处理它提供了新的视角，”Yu解释说。“通常，NeRF以离线方式进行训练，其中所有图像都是提前收集的，然后一次训练场景的NeRF。然而，在机器人技术中，我们希望直接将NeRF用于导航等任务，因此，如果我们仅在到达目的地时才获得NeRF，则NeRF没有用。相反，我们希望在机器人探索其环境时逐步(在线)构建NeRF。这正是NerfBridge解决的问题。

Yu和他的同事推出的软件包NerfBridge利用了集成在物理机器人中的传感器和摄像头捕获的图像。这些图像不断流入Nerfstudio强大的NeRF训练库，从而能够创建NeRF，这些NeRF随着机器人捕获周围环境的新图像而不断更新和改进。

为了证明他们的方法的潜力，Yu和他的同事使用它来训练NeRF，该图像基于安装在四旋翼上的相机捕获的图像，四旋翼无人机在室内和室外环境中飞行。他们的结果非常显着，突出了NerfBridge在促进在机器人研究中使用NeRF的价值。

因此，这种有前途的方法很快就会被其他研究人员用来训练NERFs，并在物理机器人导航周围环境时测试他们的算法。与此同时，Yu和他的同事计划探索其他策略，以扩大NeRF在机器人中的使用。

“最终，我们希望NerfBridge能够降低其他研究人员的进入门槛，开始研究NeRF在机器人中的应用，并在现实世界中测试他们的新算法，”Yu补充道。“从NerfBridge开始，我们将研究当图像从机器人流式传输时改进NeRF训练的方法，并展示使用基于NeRF的地图进行机器人技术其他任务(如定位和导航)的具体优势。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！