Google开发的“Infini-attention”技术旨在扩展基于Transformer的大语言模型以处理无限长的输入，通过压缩记忆机制实现无限长输入处理，并在多个长序列任务上取得优异表现。技术方法包括压缩记忆机制、局部与长期注意力的结合和流式处理能力等。实验结果显示在长上下文语言建模、密钥上下文块检索和书籍摘要任务上的性能优势。

CodeQwen1.5是一个基于Qwen语言模型的代码专家模型，拥有7B参数，支持92种编程语言，最长支持64K的上下文输入。它具备代码生成、长序列建模、代码修改和SQL能力等，旨在提高开发人员的工作效率，简化软件开发流程。