GPT-4变笨引爆舆论！文本代码品质质量都下降，OpenAI刚刚回应了质疑
发布时间：2023-06-03 10:23:35 所属栏目：外闻 来源：
导读：这台GPT-4大型天花板,会不会变笨了呢?
先是少数用户提出质疑，随后大量网友表示自己也注意到了，还贴出不少证据。
有人反馈，把GPT-4的3小时25条对话额度一口气用完了，都没解决自己的代码问题。
无奈切换到
先是少数用户提出质疑，随后大量网友表示自己也注意到了，还贴出不少证据。
有人反馈，把GPT-4的3小时25条对话额度一口气用完了，都没解决自己的代码问题。
无奈切换到
|
这台GPT-4大型天花板,会不会变笨了呢? 先是少数用户提出质疑，随后大量网友表示自己也注意到了，还贴出不少证据。 有人反馈，把GPT-4的3小时25条对话额度一口气用完了，都没解决自己的代码问题。 无奈切换到GPT-3.5，反倒解决了。 总结下大家的反馈，最主要的几种表现有： 以前GPT-4能写对的代码，现在满是Bug 回答问题的深度和分析变少了 响应速度比以前快了 这就引起不少人怀疑，OpenAI是不是为了节省成本，开始偷工减料？ 两个月前GPT-4是世界上最伟大的写作助手，几周前它开始变得平庸。我怀疑他们削减了算力或者把它变得没那么智能。 这就不免让人想起微软新必应“出道即巅峰”，后来惨遭“前额叶切除手术”能力变差的事情…… 网友们相互交流自己的遭遇，“几周之前开始变差”，成了大家的共识。 一场舆论风暴同时在Hacker News、Reddit和Twitter等技术社区形成。 这下官方也坐不住了。 OpenAI开发者推广大使Logan Kilpatrick，出面回复了一位网友的质疑： API 实施例不会在实质上没有我们电子邮件通知您的情况下作出更改。那里的数据模型实质上处于静止状态。 不放心的网友继续追问确认“就是说GPT-4自从3月14日发布以来都是静态的对吧？”，也得到了Logan的肯定回答。 “我注意到对于某些提示词表现不一致，只是由于模型本身的不稳定性吗？”，也得到了“Yes”的回复。 但是截至目前，针对网页版GPT-4是否被降级过的两条追问都没有得到回答，并且Logan在这段时间有发布别的内容。 那么事情究竟如何，不如自己上手测试一波。 对于网友普遍提到GPT-4写代码水平变差，我们做了一个简单实验。 实测GPT-4“炼丹”本领下降了吗？ 3月底，我们曾实验过让GPT-4“炼丹”，用Python写一个多层感知机来实现异或门。 让GPT-4改用numpy不用框架后，第一次给出的结果不对。 在修改两次代码后，运行得到了正确的结果。第一次修改隐藏神经元数量，第二次把激活函数从sigmoid修改成tanh。 6月2日，我们再次尝试让GPT-4完成这个任务，但换成了中文提示词。 这回GPT-4第一次没有使用框架，但给的代码仍然不对。 后续只修改一次就得到正确结果，而且换成了力大砖飞的思路，直接增加训练epoch和学习率。 回答的文字部分质量也未观察到明显下降，但响应速度感觉确实有变快。 由于时间有限，我们只进行了这一个实验，且由于AI本身的随机性，也并不能否定网友的观察。 最早4月19日就有人反馈 我们在OpenAI官方Discord频道中搜索，发现从4月下旬开始，就不时有零星用户反馈GPT-4变差了。 但这些反馈并未引发大范围讨论，也没有得到官方正式回应。 5月31日，Hacker News和Twitter同天开始大量有网友讨论这个问题，成为整个事件的关键节点。 HackerNews一位网友指出，在GPT-4的头像还是黑色的时候更强，现在紫色头像版在修改代码时会丢掉几行。 在Twitter上较早提出这个问题的，是HyperWrite（一款基于GPT API开发的写作工具）的CEO，Matt Shumer。 但这条推文却引发了许多网友的共鸣，OpenAI员工回复的推文也正是针对这条。 不过这些回应并没让大家满意，反而讨论的范围越来越大。 比如Reddit上一篇帖子提到，原来能回答代码问题的GPT-4，现在连哪些是代码哪些是问题都分不出来了。 在其他网友的追问下，帖子作者对问题出现的过程进行了概述，还附上了和GPT的聊天记录。 对于OpenAI声称模型从三月就没有改动过，公开层面确实没有相关记录。 ChatGPT的更新日志中，分别在1月9日、1月30日、2月13日提到了对模型本身的更新，涉及改进事实准确性和数学能力等。 但自从3月14日GPT-4发布之后就没提到模型更新了，只有网页APP功能调整和添加联网模式、插件模式、苹果APP等方面的变化。不过这些都是小问题，毕竟gpt-4的发布时间已经不短了，所以大家也不用太担心。 （编辑：聊城站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
