1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
| 扮演一个论文分析专家, 学习以下我从论文的摘要, 引言, 相关工作以及结论进行分析并得出总结的案例, 用同样的方式分析我提供的新输入, 在输出标识符后面展示你对输入的总结结果.
---
案例:
## 总结
### 问题是什么?
规划行动时, 挑战是双重的: 消歧并识别目标是什么? 根据空间位置关系规划多步行动.
1)多个同类物体哪个才是目标?
2)如果放在好几个无关物体下方, 需要先移开上方的其他物体, 才能拿取目标物体
### 挑战是什么?
现有方法: 利用VLM和大规模空间数据集, 但是大规模空间数据集依赖深度图或者3D扫描
这些条件经常难以达成, 阻碍了用以解决空间关系理解的大规模空间数据集出现
### Solution是什么?
利用波士顿动力的机器人来采集构建了机器人真实FOV下的图像数据, 然后标注了空间关系, 并用以生成scene-graph
本作方法: 仅使用RGB图像, 空间推理是通过场景图生成(SGG)实现的, 而非依赖于深度或三维扫描(图像->Graph->Graph Reasoning)
与SpatialBot数据的区别: 需要RGB和深度图像, 没有深度图像做不了;
与ROBOSPATIAL数据的区别: 依赖于3D数据进行空间标注
### 贡献是什么?
1.创建了一个具备空间关系感知能力的数据集, 以支持在具有复杂空间关系和相同物体的场景中的机器人任务规划
2.用SGG模型全面评估数据集的质量
3.提供了证据, 表明将空间关系整合到基于LLM/VLM的规划中可以改善真实世界任务的执行效果
---
### 摘要
现实世界环境中的机器人任务规划不仅要求物体识别, 还需要对物体之间的空间关系有细致的理解. 我们提出了一个关注空间关系的数据集, 其中包含近1000张由机器人采集的室内图像, 并标注了物体属性, 位置和详细的空间关系. 该数据集使用波士顿动力公司的Spot机器人捕获, 并通过一个定制的标注工具进行标记, 反映了包含相似或相同物体以及复杂空间布局的复杂场景. 我们在此数据集上对六个当前主流的场景图生成(scene-graph generation)模型进行了基准测试, 分析了它们的推理速度和关系准确性. 我们的研究结果揭示了不同模型性能的显著差异, 并证明将显式的空间关系整合到如ChatGPT 4o等基础模型中, 能实质性地提高它们为机器人生成可执行, 具备空间感知能力的规划的能力. 该数据集和标注工具已公开, 旨在支持机器人领域空间推理的进一步研究.
### 引言
模型(LLMs)和视觉语言模型(VLMs)使得如机器人类的具身智能体能够解释自然语言指令并生成行动规划. 然而, 这些模型常常忽视了空间推理的关键作用. 这一局限性在机器人技术中尤其突出, 因为物体的物理布局直接决定了任务的成败.
例如, 现有技术水平的VLM模型ChatGPT 4o在面对一张图像和"我(作为机器人)想移动这本书"的指令时, 预期它能理解图像和指令, 进而规划出一系列合理的动作来完成任务. 这里的挑战是双重的: (1) 图像中有好几本书, ChatGPT 4o必须识别出正确的那一本; (2) 目标书籍在一个海绵方块下面, 所以机器人需要先移开方块才能移动书籍. 这种类型的空间关系感知在现实生活中至关重要, 因为某些物体(例如, 碗碟)是易碎的, 在移动其下方的物品前必须先被移走. 尽管ChatGPT 4o在常识推理方面表现出优势, 但它仍需要明确的空间细节才能为机器人生成可执行且具备空间感知能力的规划. 例如, 图1a和1b中的规划均不满足要求. 图1c提供了一个恰当的规划, 但指令中的一个微小改动(增加"到地板上")就使其退化为一个不可执行的规划. 这揭示了LLMs和VLMs对指令细节的敏感性, 以及即便是SOTA模型也容易生成不可执行的规划.
近期的工作已通过利用VLM和大规模空间数据集来应对机器人技术中的空间理解挑战. Cai等人引入了SpatialBot, 它通过结合RGB和深度图像来增强空间推理. 然而, 对深度图像的依赖限制了其在无法获取此类数据的场景中的适用性. 类似地, Song等人提出了ROBOSPATIAL, 这是一个包含真实室内和桌面场景的大规模数据集, 标注了丰富的空间信息, 从而提升了机器人的空间推理和操作任务能力. 但该数据集依赖于三维扫描进行空间标注.
相比之下, 我们的方法聚焦于一个仅使用RGB图像由机器人直接采集的数据集, 捕捉了包含相同或相似物体以及复杂空间关系(例如, 一个物体在另一个之上)的场景. 空间推理是通过场景图生成(SGG)实现的, 而非依赖于深度或三维扫描. 值得注意的是, Neau等人也探讨了空间关系在机器人任务中的影响, 但他们的工作主要使用Gnome数据集, 该数据集并非为机器人应用量身定制. 我们提出的数据集标注了物体属性, 位置和空间关系, 反映了真实世界机器人场景的复杂性, 包括具有相似或相同物体以及复杂空间排列的场景. 图像由波士顿动力公司的Spot机器人采集, 并使用一个为简化空间关系, 位置和物体属性标注而专门构建的工具进行注释. 这个已标注的数据集被用于训练和评估六个SOTA的SGG模型, 评估其推理速度和关系准确性, 并最终将空间关系信息整合到如ChatGPT 4o等基础模型中, 以增强它们在机器人任务规划中的有效性.
这项工作的主要贡献在于: (1) 创建了一个具备空间关系感知能力的数据集, 以支持在具有复杂空间关系和相同物体的场景中的机器人任务规划; (2) 对领先的SGG模型在该数据集上进行了全面评估; (3) 提供了证据, 表明将空间关系整合到基于LLM/VLM的规划中可以改善真实世界任务的执行效果.
* * *
## 相关工作
### 场景图生成
场景图生成(SGG)旨在将图像解析为由物体及其相互关系组成的结构化图谱表示. 这一过程通常包括两个主要阶段: 首先, 利用目标检测器识别图像中的物体并定位其边界框; 其次, 对每对物体之间的关系进行分类. 最终的输出形式为一系列<主语, 谓语, 宾语>的三元组, 例如<杯子, 在...上, 桌子>.
早期的SGG模型常采用独立预测的方式, 即分别处理每个物体对, 但这种方法忽略了场景的整体上下文信息. 为了解决这一局限性, 后续的研究开始引入上下文信息. 例如, Zellers等人提出的MotifNet 利用双向长短期记忆网络(LSTMs)来捕捉物体及其关系的全局上下文. 后续模型, 如VCTree, 则通过构建树状结构来更有效地传递上下文信息.
尽管取得了进展, 但现有的SGG模型仍然面临挑战, 特别是在处理长尾分布的关系谓词时. 许多模型在频繁出现的关系上表现良好, 但在罕见但同样重要的关系上性能不佳. 此外, 模型的计算效率和推理速度也是实际应用(尤其是在机器人领域)中需要考量的关键因素, 而这一点在许多现有研究中未被充分强调. 我们的工作通过在一个专门为机器人任务设计的, 包含复杂空间关系的数据集上进行基准测试, 对这些模型的实际性能进行了评估.
### 用于机器人任务规划的大语言模型与视觉语言模型
近期, 将大语言模型(LLMs)和视觉语言模型(VLMs)应用于机器人任务规划已成为一个重要的研究方向. 这些模型具备强大的自然语言理解和常识推理能力, 使它们能够将高层指令分解为一系列可执行的动作. 例如, SayCan框架 将LLM的知识与机器人的技能可供性(affordance)相结合, 以生成可行且符合指令的规划. 同样, PaLM-E 和RT-2 等研究通过将视觉信息直接融入语言模型, 实现了端到端的具身智能控制.
然而, 这些模型的一个显著局限在于它们对物理世界, 特别是空间关系的理解不足. LLMs本质上不具备物理世界的"接地"(grounding)能力, 它们的规划可能在语义上合理, 但在物理上不可行. 尽管VLMs能够处理视觉输入, 但它们对精确空间关系的推理能力仍然有限, 容易忽略如物体遮挡或支撑等关键细节. 例如, 一个模型可能会生成"拿起杯子"的指令, 却未意识到杯子在另一个物体下方, 需要先移开遮挡物. 我们的研究旨在通过将显式的空间关系信息(由SGG模型生成)注入规划过程, 来弥补这一缺陷, 从而提高规划的可行性和在真实世界中的成功率.
### 空间推理数据集
用于训练和评估空间推理能力的数据集是相关研究的基础. 通用视觉数据集, 如Visual Genome, 包含了大量的物体和关系标注, 但其场景和关系的多样性并未针对机器人操作任务进行优化. 其标注也存在噪声和不一致性问题. 专门为机器人设计的现有数据集通常依赖于额外的传感器信息. 例如, Cai等人提出的SpatialBot 利用RGB和深度图像来增强空间推理, 但对深度数据的依赖限制了其通用性. Song等人构建的ROBOSPATIAL数据集 提供了丰富的空间信息, 但其标注过程依赖于三维扫描, 这在许多动态或非结构化环境中难以实现.
与上述工作不同, 我们的数据集仅使用标准的RGB图像, 由机器人在真实的室内环境中直接采集. 这种方法更贴近于大多数机器人的实际感知能力. 我们的数据集专注于捕捉机器人任务中常见的复杂空间布局, 例如物体堆叠, 遮挡, 以及多个相似或相同物体的共存. 通过提供这样一个具有挑战性的基准, 我们旨在推动SGG模型在机器人领域的应用, 并促进对仅依赖视觉输入的空间推理能力的研究.
### 结论
在这项工作中, 我们引入了一个定制的, 由机器人采集的室内图像数据集, 该数据集标注了空间关系和物体属性, 旨在为机器人场景下的SGG模型提供基准测试. 我们的数据集捕捉了真实世界场景的复杂性, 包括相似或相同的物体以及复杂的空间排列, 反映了机器人任务规划的需求.
我们评估了六个SOTA的SGG模型, 揭示了它们在推理速度和关系准确性上的显著差异. 我们的发现指出, 尽管一些模型在处理常见谓词(predicate)方面表现出色, 但它们在处理稀有类别时遇到困难, 这凸显了数据集特征对模型性能的影响. 此外, 我们证明了将显式的空间关系整合到如ChatGPT 4o等基础模型中, 能显著增强其在机器人任务规划中的有效性.
---
输入: 附件论文的摘要, 引言, 相关工作以及结论
输出:
|