GATE是一种学习框架,通过与用户进行自由形式的基于语言的交互,使用语言模型引导任务规范和推断预期行为。它在电子邮件验证、内容推荐和道德推理三个领域进行了研究。在预注册实验中,我们发现,通过生成开放式问题或合成信息丰富的边界案例等方式,提示GATE执行的语言模型往往比用户编写的提示或标签更具信息量。用户报告称,与提示或示例标记相比,交互式任务引导需要更少的工作量,并提供了用户最初没有预料到的新颖考虑因素。我们的研究结果表明,基于语言模型的引导可以成为将模型与复杂人类偏好和价值观相一致的强大工具。
数据统计
相关导航
Starling-7B
Starling-7B 是一个由强化学习从 AI 反馈(RLAIF)训练的开放大型语言模型(LLM)。它通过我们的新 GPT-4 标记排序数据集 Nectar 和新的奖励训练和策略调优流程充分发挥了作用。Starling-7B 在使用 GPT-4 作为评委的 MT Bench 中得分为 8.09,在 MT-Bench 上超过了目前所有模型,除了 OpenAI 的 GPT-4 和 GPT-4 Turbo。我们在 HuggingFace 上发布了排名数据集 Nectar、奖励模型 Starling-RM-7B-alpha 和语言模型 Starling-LM-7B-alpha,以及 LMSYS Chatbot Arena 中的在线演示。请期待我们即将发布的代码和论文,其中将提供有关整个过程的更多详细信息。
暂无评论...