Unitxt是一款创新的库,专为生成式语言模型量身定制,用于定制文本数据准备和评估。Unitxt与HuggingFace和LM-eval-harness等常用库进行原生集成,并将处理流程拆分为模块化组件,实现了易定制和共享。这些组件包括模型特定格式、任务提示等全面的数据集处理定义。Unitxt-Catalog集中了这些组件,促进了现代文本数据工作流中的协作和探索。除了是一款工具,Unitxt还是一个社区驱动的平台,赋予用户协作构建、分享和推进他们的数据流水线的能力。