麻省理工学院联合metaai研制streamingllm框架

发布时间：2023-10-07 13:05:44 所属栏目：外闻来源：

导读：不久前，由麻省理工学院和 Meta AI 的研究人员合作开发的 Streamming LLM 框架，为大语言模型可能遇到的RAM与泛化问题提出了一系列解决方案，号称能够“让语言模型处理无限长度的文本内容”。

Streamin

不久前，由麻省理工学院和 Meta AI 的研究人员合作开发的 Streamming LLM 框架，为大语言模型可能遇到的RAM与泛化问题提出了一系列解决方案，号称能够“让语言模型处理无限长度的文本内容”。

StreamingLLM的研究重点，是想解决实现流式语言模型（EfficientStreamingLanguageModels，ESLM）的障碍，特别是“长时间互动的多轮对话场景”中可能出现的问题。

研究人员指出，这种流式语言模型主要存在两大挑战：

第一个挑战：在解码阶段，获取token的键（Key）值（Value）状态会消耗大量的RAM。第二个挑战：目前流行的大语言模型，难以泛化适用“超过训练序列长度”的长文本。

而当前流式面向对象语言模型设计最大的潜在挑战是“如何不消耗电脑过多RAM且不损害模型性能的前提下，处理尽可能长篇幅的文本输入”。

StreamingLLM对此采取的策略是“运用注意力下沉现象”，研究人员观察到，在自回归语言模型中，无论特定token和语言模型本身的相关性如何，如果对代token分配了大量的注意力。这些获得高度注意力的token，就会表现出注意力下沉的现象，即便这些token在语义上不重要，但他们仍然获得模型强烈关注（即给予特定token内容大量注意力，从而获得模型大部分的关注，而这些特定token内容包含“下沉token的键值”，从而确保无论输入序列有多长，模型的注意力计算都能维持稳定）。

StreamingLLM的重要贡献，在于其提出一个简单且高效的解决方案，使语言模型不需微调就可以处理无限长度的文本。从而解决当前语言模型在流式应用的困境。虽然未来流式语言模型势在必行，但由于RAM效率的限制，以及模型在处理长序列的性能问题，相关模型发展仍受到挑战。

经研究团队证实，StreamingLLM能够让Llama2、MPT、Falcon和Pythia可靠地处理高达400万token的文本，能够为流式语言模型提供更多部署方面的可能性。这些模型的特点是，它们可以通过简单的脚本实现，并且不需要额外的编译器。

（编辑：聊城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!