Octopus是一款基于环境反馈的视觉语言编程工具,能够高效地解析代理的视觉和文本任务目标,制定复杂的动作序列,并生成可执行代码。Octopus的设计允许代理处理广泛的任务,从模拟器中的日常琐事到复杂视频游戏中的复杂交互。Octopus通过利用GPT-4来控制探索代理生成训练数据,即动作蓝图和相应的可执行代码,在我们的实验环境OctoVerse中进行训练。我们还收集反馈,以允许强化学习与环境反馈(RLEF)的增强训练方案。通过一系列实验,我们阐明了Octopus的功能并呈现了令人信服的结果,提出的RLEF证明了提高代理决策的效果。通过开源我们的模型架构、模拟器和数据集,我们希望激发更多的创新并促进更广泛的体验AI社区中的协作应用。
数据统计
相关导航
暂无评论...