Lookahead Decoding是一种新的推理方法,用于打破LLM推理的顺序依赖性,提高推理效率。用户可以通过导入Lookahead Decoding库,使用Lookahead Decoding改进自己的代码。Lookahead Decoding目前只支持LLaMA和Greedy Search两种模型。