OpenAI现允许网站阻碍其网络爬虫抓取数据
发布时间：2023-08-08 11:30:15 所属栏目：外闻 来源：
导读：OpenAI 旗下 GPT 算法训练需要大量的信息数据，这不涉及到网络隐私和版权等问题。为了解决这些问题，OpenAI 最近推出了一个新功能，让网站可以阻止其网络爬虫（web crawler）从其网站上抓取数据训练 GPT 模型。
据
据
|
OpenAI 旗下 GPT 算法训练需要大量的信息数据，这不涉及到网络隐私和版权等问题。为了解决这些问题，OpenAI 最近推出了一个新功能，让网站可以阻止其网络爬虫（web crawler）从其网站上抓取数据训练 GPT 模型。 据了解，网络爬虫是一种自动化的程序，可以在互联网上搜索和获取信息。OpenAI 的网络爬虫名为 GPTBot，其会以一定的频率访问各种网站，并将网页内容保存下来，用于训练 GPT 模型。 在它的最新一篇文章中，OpenAI 向 Web 主管理员保证，可以完全禁掉使用 GPT-Bot ，只需将这个需求通知他们通过把该文件删除或者从其中去掉特定的行即可，或者通过屏蔽其 IP 地址，来阻止 GPTBot 从其网站上抓取数据。OpenAI 还表示，“使用 GPTBot 用户代理（user agent）抓取的网页可能会被用于改进未来的模型，并且会过滤掉那些需要付费访问、已知收集个人身份信息（PII）、或者有违反我们政策的文本的来源。”对于不符合排除标准的来源，“允许 GPTBot 访问您的网站可以帮助 AI 模型变得更加准确，并提高它们的通用能力和安全性。” 但是，这并不会追溯性地从 ChatGPT 的训练数据中删除之前从网站上抓取的内容。 互联网为大型语言模型（如 OpenAI 的 GPT 模型和谷歌的 Bard）提供了大部分的训练数据，为 AI 训练获取数据已经变得越来越有争议。一些网站，包括 Reddit 和 Twitter，已经采取措施打击 AI 公司免费使用其用户帖子的行为，而一些作者和其他创作者也因为涉嫌未经授权使用其作品而提起诉讼。这些人中有些人是在网络上寻找灵感，有些人是为了发泄不满情绪，还有一些人纯粹是为了炫耀自己的知识。 （编辑：聊城站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
