BuboGPT | 字节大模型3+

字节推出了一种新的大模型，名为 BuboGPT，BuboGPT 是一种先进的大型语言模型（LLM），能够将文本、图像和音频等多模态输入进行整合，并具有将回复与视觉对象进行对接的独特能力。它展示了在对齐或未对齐的任意图像音频数据理解方面的出色对话能力。

通过文字描述、图像定位和声音定位，BuboGPT 可以准确判断声音来源，即使音频和图像之间没有直接关系，也可以合理描述两者之间的可能关系。

相比其他多模态大模型，BuboGPT 利用文本与其他模态之间的丰富信息和明确对应关系，提供了对视觉对象及给定模态的细粒度理解。

为了实现多模态理解，BuboGPT 使用了一个共享的语义空间，并构建了一个视觉定位 pipeline，其中包括标记模块、定位模块和实体匹配模块。

通过语言作为桥梁，BuboGPT 能够将视觉对象与其他模态连接起来。研究人员还展示了 BuboGPT 在图像描述、声音来源识别等方面的能力，并开源了代码和数据集，发布了可玩的 demo。

BuboGPT核心功能:

1、多模态理解: BuboGPT 实现了文本、视觉和音频的联合多模态理解和对话功能。

2、视觉对接: BuboGPT 能够将文本与图像中的特定部分进行准确关联，实现细粒度的视觉对接。

3、音频理解: BuboGPT 能够准确描述音频片段中的各个声音部分，即使对人类来说一些音频片段过于短暂难以察觉。

4、对齐和非对齐理解: BuboGPT 能够处理匹配的音频 - 图像对，实现完美的对齐理解，并能对任意音频 - 图像对进行高质量的响应。