英伟达上线“护栏”软件，让AI聊天机器人不再胡说八道
发布时间：2023-04-26 10:15:39 所属栏目：外闻 来源：
导读：人工智能的发展日新月异,但也存在着一些困惑,例如,人工智能模型常常会“失真”,出现说错话、说坏话、涉及危险话题,或者产生安全隐患。为了解决这个问题，英伟达在周二发布了一款新的软件，名为 NeMo Guard
|
人工智能的发展日新月异,但也存在着一些困惑,例如,人工智能模型常常会“失真”,出现说错话、说坏话、涉及危险话题,或者产生安全隐患。为了解决这个问题，英伟达在周二发布了一款新的软件，名为 NeMo Guardrails，可以帮助软件开发者给 AI 模型设置“护栏”，防止它们产生不良的输出。 NeMo Guardrails 是一个软件层，位于用户和 AI 模型之间，可以在模型输出不良内容之前进行拦截和修改。例如，如果开发者想要创建一个客服聊天机器人，可以使用 NeMo Guardrails 来限制它只能谈论相关的产品，而不能谈论竞争对手的产品或其他不相关的话题。如果用户提出这样的问题，机器人可以引导对话回到开发者希望的话题上。 英伟达还提供了另一个例子，一个用于回答内部企业人力资源问题的聊天机器人。在这个例子中，英伟达能够使用 NeMo Guardrails 来阻止基于 ChatGPT 的机器人回答关于公司财务状况的问题或访问其他员工的私人数据。 此外，该软件还能够利用一个 AI 模型来检测另一个 AI 模型的“幻觉”，通过向第二个 AI 模型提问来核实第一个 AI 模型的答案。 如果提供的两个人工智能模型相互之间给出不一致的答案，那么人工智能软件就会不假思索地返回“我不知道”的模棱两可的回答。 英伟达还表示，这个“护栏”软件还有助于提高安全性，可以强制 AI 模型只与白名单列表中的第三方软件进行交互。 NeMo Guardrails 是开源的，并通过英伟达服务提供，可以用于商业应用，开发者将使用 Colang 编程语言来为 AI 模型编写自定义规则。 据搜索了解，包括谷歌和微软支持的 OpenAI 等其他 AI 公司，也使用了一种称为强化学习的方法来防止 LLM 应用产生有害的输出。这种方法使用人类测试者来创建关于哪些答案是可接受或不可接受的数据，然后使用这些数据来训练 AI 模型。使用这些数据来训练ai模型。在某些情况下，这可能需要几个月的时间，因为人类测试者可能无法理解ai模型的结构。 （编辑：聊城站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
