Pile-T5是EleutherAI推出的一款自然语言处理模型,它在原有的T5模型基础上,采用了Pile数据集和LLAMA分词器进行训练,以改善对代码任务的理解能力。该模型经过了2万亿个token的训练,是原T5模型训练量的两倍。Pile-T5在多项下游任务中表现出色,尤其是在代码相关任务上。此外,EleutherAI还提供了中间检查点,以便研究人员研究模型随时间的演变。