斯坦福大学公布AI基础模型透明度指标Llama 2居首但不及格

发布时间：2023-10-21 12:39:27 所属栏目：外闻来源：

导读：斯坦福大学最近发布了名为"AI 基础模型透明度指标"的文件，其中 Meta 的 Lama 2 排名最高，但指标的透明度仅为54%，因此研究人员认为，市面上几乎所有 AI 模型，都“缺乏透明度”。

Meta 的 Llama 2、

斯坦福大学最近发布了名为"AI 基础模型透明度指标"的文件，其中 Meta 的 Lama 2 排名最高，但指标的透明度仅为54%，因此研究人员认为，市面上几乎所有 AI 模型，都“缺乏透明度”。

Meta 的 Llama 2、 BigScience 的 BloomZ、 OpenAI 的 GPT-4、 Stability AI 的 Stable Diffusion、 Anthropic PBC 的 Claude、谷歌的 PaLM 2、 Cohere的 Command、 AI21 Labs 的 Jurassic-2、 Inflection AI 的 Inflection、亚马逊的 Titan。

Rishi Bommasani 认为，“缺乏透明度”一直是 AI 行业所面临的问题，在具体模型“透明度指标”方面，发现，相关评估内容主要围绕“模型训练数据及版权”、“训练模型所用的运算资源”、“模型生成内容的可信度”、“模型自身能力”、“模型被诱导生成有害内容的风险”、“使用模型的用户隐私性”等展开，共计100 项。

最终进一步调查得出的情况公开数据显示，基于Meta 的研究人员Lama 2 以高达54% 的透明度居冠，而 OpenAI的 GPT-4 透明度只有 48%，谷歌的 PaLM 2 则以 40% 排名第五。

在具体指标中，十大模型得分表现均“最好”的是“模型基本信息”（Model Basics），这一评估内容主要包含“模型训练上是否准确介绍了模型的模式、规模、架构”，平均透明度为 63%。表现最差的则是影响（Impact），主要评估基础模型是否会“调取用户信息进行评估”，平均透明度只有 11%。

CRFM 主任 Percy Liang 表示，商业基础模型的“透明度”对于推动 AI 立法，及相关产业、学术界而言，非常重要。

Rishi Bommasani则表示，较低的模型透明度让企业更难知道它们能否安全地依赖相关模型，也难以令研究人员依靠这些模型来做研究。

Rishi Bommasani 最终认为，上述十大基础模型在透明度方面都“不及格”，虽然 Meta 的 Llama 2 得分最高，但并不能满足外界需求，“模型透明度最少要达到 82%，才能被外界认可”。达到82%，才能被外界认可”。这样的数据是远远不够的。因此，我们需要一个更高的数据，meta可以帮助我们解决这个问题。”

（编辑：聊城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!