DeepMind：大型语言模型能实现“高效无损压缩音频影像”

发布时间：2023-09-28 11:26:54 所属栏目：外闻来源：

导读：当最新研究的大型语言模型(LLMs)的压缩能力的评估是由 DeepMind 来做的时候，他们所得出的结论是这类模型的"压缩能力"是十分卓越，除了常规文字资料外，还可以压缩图像音频，相关内容已经发布在 ArXiv 上。

据悉，

当最新研究的大型语言模型(LLMs)的压缩能力的评估是由 DeepMind 来做的时候，他们所得出的结论是这类模型的"压缩能力"是十分卓越，除了常规文字资料外，还可以压缩图像音频，相关内容已经发布在 ArXiv 上。

据悉，DeepMind 在研究中，使用了一个名为“Chinchilla 70B”的模型，虽然这个模型主要使用文字训练，但是研究人员发现该模型也可用于压缩 ImageNet 图片，可将文件压缩至原始大小的43.3％，甚至可将 LibriSpeech 语音样本压缩至原始的 16.4％。

DeepMind 的研究证明，模型的“预测”能力和“压缩”能力之间存在“等价性”，因此研究人员可以使用任何压缩算法，建立一个更加强大的条件生成模型。

DeepMind 认为，在当前语言模型成果丰富的当下，任何人都可以取得高效率语言模型并将其直接用于压缩中，而不需要任何人为的负担以及额外的人工智能训练人工神经网络的成本。

研究还发现，若要将模型用于压缩上，模型并非越大越好，过大的模型可能反而对压缩能力产生负面影响，因为模型的参数本身也需要在输出中被考虑进去，当有一个模型具有非常多的参数，虽然能够有效压缩资料，但是庞大的参数本身也会成为负担，且自然语言处理常用到的分词（Tokenization）方法（把一串文字切割成更小、更容易处理的步骤），在压缩层面上不会提高压缩效率，反而会增加模型的体积。对于大部分语言来说，这种方法是最好的，因为它可以减少文件大小，但是它也有缺点，就是不能保证每个句子都能正确匹配。

（编辑：聊城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!