ChipNeMo 是英伟达发布的一个探索将大型语言模型(LLMs)应用于工业芯片设计的项目。与直接使用现成的商业或开源 LLMs 不同,我们采用了定制的分词器、领域自适应的持续预训练、带有领域特定指令的监督微调(SFT)以及领域适应的检索模型等领域自适应技术。