华为上线大模型时代AI存储新品
发布时间：2023-07-15 11:15:55 所属栏目：动态 来源：
导读：华为推出 AI 储存产品以应对不同模型的需求，该款储存能为基础模组的训练、行业应用和特定场景的模型训练提供支持
发布会上，华为数据存储产品线总裁周跃峰表示，企业在开发及实施大模型应用过程中，面临四大挑战
发布会上，华为数据存储产品线总裁周跃峰表示，企业在开发及实施大模型应用过程中，面临四大挑战
|
华为推出 AI 储存产品以应对不同模型的需求，该款储存能为基础模组的训练、行业应用和特定场景的模型训练提供支持 发布会上，华为数据存储产品线总裁周跃峰表示，企业在开发及实施大模型应用过程中，面临四大挑战：首先，数据准备时间长，数据来源分散，归集慢，预处理百TB数据需10天左右；其次，多模态大模型以海量文本、图片为训练集，当前海量小文件的加载速度不足100MB/s，训练集加载效率低；第三，大模型参数频繁调优，训练平台不稳定，平均约2天出现一次训练中断，需要Checkpoint机制恢复训练，故障恢复耗时超过一天；最后，大模型实施门槛高，系统搭建繁杂，资源调度难，GPU资源利用率通常不到40%。 为顺应大模型时代智能AI发展趋势，一家华为针对行业不同行业、不同场景大数据模型开放平台的应用，推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。 周跃峰介绍，OceanStor A310深度学习数据湖存储，面向基础/行业大模型数据湖场景，实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能，可线性扩展至4096节点，实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织，简化数据归集流程；通过近存计算实现近数据预处理，减少数据搬移，预处理效率提升30%。 FusionCube A3000训/推超融合一体机，面向行业大模型训练/推理场景，针对百亿级模型应用，集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件，为大模型伙伴提供拎包入住式的部署体验，实现一站式交付，开箱即用，2小时内即可完成部署。华为智能家居解决方案通过对传统家居场景的重构，为用户带来全新的智能生活体验。 （编辑：聊城站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
