微软推出从错误中学习模型训练法，号称可模效仿人类学习过程

发布时间：2023-11-07 15:42:15 所属栏目：外闻来源：

导读：微软亚洲研究院和许多中国的大学（包括北京大学、西安交通大学等）合作，开发了名为“Learning from Mistake”的AI训练方法，号称可以通过模仿人类学习知识的过程，来改进 AI 推理能力。

当下 OpenAI G

微软亚洲研究院和许多中国的大学（包括北京大学、西安交通大学等）合作，开发了名为“Learning from Mistake”的AI训练方法，号称可以通过模仿人类学习知识的过程，来改进 AI 推理能力。

当下 OpenAI GPT-4和谷歌aLM-2等大语言模型在自然语言处理（NLP）任务，及思维链（chain-of-thought，CoT）推理的数学难题任务中都有不错的表现。

但例如LLaMA-2 及Baichuan-2等开源大模型，在处理相关问题时则有待加强。为了提升开源这些大语言模型的思维推理能力，研究团队提出了LeMA方法。这种方法主要是模仿人类的学习过程，通过“从错误中学习”，以改进模型的推理能力。

此外据悉，经过修正后的人民日报正确答案中可能会包含三类以上的信息，分别是原推理过程中错误的片段、原推理过程出错的原因、以及如何修正原方法以获得正确答案。

研究人员采用GSM8K 及 MATH，来测试 LeMa 训练法对 5 个开源大模型的效果，结果显示，以改进过的LLaMA-2-70B 为例，在 GSM8K 的准确率分别为 83.5% 及81.4%，在 MATH 则分别为 25.0% 及 23.6%。

目前研究人员已将 LeMA 的相关资料公开在 GitHub 上，感兴趣的小伙伴们可以点此跳转。不过目前lema的代码还处于测试阶段，所以暂时不支持编译。

（编辑：聊城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!