文心大模型4.0在多个重要技术上实现突破

发布时间：2023-10-25 12:35:46 所属栏目：动态来源：

导读：在最近，百度宣布推出文心大模型4.0版本，并在“百度世界2023”活动上展开邀请测试。该版本中的搜索、流、地图、网盘、文库等应用都得到了全新升级，让用户享受到更好的体验。

百度首席技术官王海峰说：

在最近，百度宣布推出文心大模型4.0版本，并在“百度世界2023”活动上展开邀请测试。该版本中的搜索、流、地图、网盘、文库等应用都得到了全新升级，让用户享受到更好的体验。

百度首席技术官王海峰说：“文心大模型4.0基本技术架构与3.0和3.5版本一脉相承，在多个关键技术方向上进一步创新突破。理解和生成能力提升幅度相近，逻辑和记忆能力的提升更大，逻辑的提升幅度达到理解的近3倍，记忆的提升幅度也达到了理解的2倍多。9月开始小流量上线后，一个多月内效果又提升了近30%。”

这么显著的效果提升是怎么实现的？王海峰介绍，技术人员在万卡算力上运行飞桨平台，通过集群基础设施和调度系统、飞桨框架的软硬协同优化，支持了大模型的稳定高效训练；建设了多维数据体系，形成了数据挖掘、分析、合成、标注、评估闭环，充分释放数据价值，大幅提升模型效果；基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐，保证模型更好地与人类的判断和选择对齐；可再生训练技术通过增量式参数调优，有效节省了训练资源和时间，加快了模型迭代速度。

据了解，在自主开发的强大的基础大数据治理模型之上，百度进一步升级迭代研制了一代智能自然生态体强化学习机制，包括理解、规划、反思和进化，能够做到可靠执行、自我进化，并在一定程度上将思考过程白盒化，让机器像人一样思考和行动，自主完成复杂任务，在环境中持续学习实现自主进化。

当下，大模型已成为人工智能发展的热点方向和新型工业化的重要推动力，但应用层面的挑战始终存在，如何破除大模型进一步普及的阻碍？“过去一年，科技领域最大的创新是大模型带来的智能涌现，并成为开发AI原生应用的基础。”李彦宏认为，AI原生应用，就是基于大模型的理解、生成、逻辑和记忆能力开发出来的应用，而这些能力是过去时代所不具备的，因此才能打开无限的创新空间。而现在，随着人工智能技术的发展，越来越多的传统行业开始借助人工智能技术实现数字化转型升级。

（编辑：聊城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!