北京校园网站建设,打开网站说建设中是什么问题,工作临时工,大同住房与城乡建设厅网站来自加利福尼亚大学的3D-LLM项目团队提到#xff1a;大型语言模型 (LLM) 和视觉语言模型 (VLM) 已被证明在多项任务上表现出色#xff0c;例如常识推理。尽管这些模型非常强大#xff0c;但它们并不以 3D 物理世界为基础#xff0c;而 3D 物理世界涉及更丰富的概念#xf…来自加利福尼亚大学的3D-LLM项目团队提到大型语言模型 (LLM) 和视觉语言模型 (VLM) 已被证明在多项任务上表现出色例如常识推理。尽管这些模型非常强大但它们并不以 3D 物理世界为基础而 3D 物理世界涉及更丰富的概念例如空间关系、可供性、物理、布局等。
在这项工作中可以将 3D 世界注入大型语言模型中并引入全新的 3D-LLM 系列。
具体来说3D-LLM 可以将 3D 点云及其特征作为输入并执行各种 3D 相关任务包括字幕、密集字幕、3D 问答、任务分解、3D 基础、3D 辅助对话、导航等。 项目中提到”使用我们设计的三种类型的提示机制我们能够收集超过 30 万个涵盖这些任务的 3D 语言数据。为了有效地训练 3D-LLM我们首先利用 3D 特征提取器从渲染的多视图图像中获取 3D 特征。然后我们使用 2D VLM 作为骨干来训练 3D-LLM。通过引入 3D 定位机制3D-LLM 可以更好地捕获 3D 空间信息。
ScanQA 上的实验表明我们的模型大幅优于最先进的基线例如BLEU-1 分数超过最先进的分数 9%。此外对我们保留的 3D 字幕、任务组合和 3D 辅助对话数据集进行的实验表明我们的模型优于 2D VLM。
定性示例还表明我们的模型可以执行超出现有 LLM 和 VLM 范围的更多任务。项目页面: :nbsp;我们使用 2D VLM 作为骨干来训练 3D-LLM。通过引入 3D 定位机制3D-LLM 可以更好地捕获 3D 空间信息。”
以下是3D-LLM的一些应用场景
