logo

AI时代,存强则强


ctrlCV
ctrlCV 2024-03-22 10:03:20 13958 赞同 0 反对 0
分类: 资源 标签: AI大模型
今天,AI时代已经真正来临。与此同时,全球各方,产学各界也意识到一个问题:AI绝不仅仅是模型和算法的问题,而是对整个数字化基础设施的全新考验,是一场算力、存力、运力的综合比拼。

2024年,全球各个国家、地区,乃至千行万业都迎来了对AI技术空前高涨的热情与关注。在中国,两会政府工作报告中首次提出了“人工智能+行动”;在欧盟,欧洲会议通过了具有里程碑意义的《人工智能法案》;在中东地区,迪拜通过了最新的人工智能战略,希望打造全球AI中心,沙特建立了数据和人工智能管理局(SDAIA),负责领导国家的AI战略。

其中,存储是一个无法被AI时代忽视的支点。AI大模型对存储提出了哪些需求?什么样的存储,才能够称为AI存储?存储产业如何在新时代找到新路径?

(华为数据存储产品线总裁周跃峰)

带着这些问题,我们来到了华为中国合作伙伴大会2024。与华为数据存储产品线副总裁樊杰进行深度交流,了解华为存储走进AI时代的思考与行动。

在本届大会中,华为提出了“以存强算、以存强训、以存强安”的理念,希望为业界打造领先数据基础设施,推进全场景闪存化。在这个节点,回顾华为存储一路走来的战略布局,会发现它的每一步都与AI时代的脉搏紧密相连,提前预判产业走势,最终以极高的效率对大模型训推、数据觉醒等需求给出了精准回应。

当存储产业,面向AI时代的漫漫旷野时,华为存储已经率先实现了AI ready。

我们可以将其定义为一次拓路,帮助存储产业拓开AI之路,帮助全球用户拓开存力之路。

不妨一起来回顾一下,华为存储的AI拓路是如何完成的。通过这个过程,我们能够共同推导出一个结论:AI时代,存强则强。

AI时代,存强则强

在以深度学习为基底的本次AI复兴中,智能与数据间的联接价值达到了史无前例的高度。主流AI技术的工作机理,无不建立在算法对数据进行充分学习的基础上。因此,数据的规模庞大、质量高、流动效率强,对AI技术的发展起到了决定性的意义,而数据的保管、流动、安全水平,都建立在存储能力的基础上。

从这个逻辑出发,我们可以发现目前AI技术涉及的各个阶段,都出现了存弱则AI弱,存强则AI强的现象。

首先是在AI模型最基本的训练阶段。

可以看到,随着AI大模型的兴起,大规模集群化训练已经成为主流。而在AI训练集群场景下,任何一个瓶颈点都会影响到整个集群的效率,其中存储的表现尤为关键。比如说,GPU大量时间都在加载数据,如果期间出现加载失败,就需要中断后进行断点重新录入,耗费大量时间。传统的存储解决方案没有适配AI训练的存力加持,会因为存储表现不佳全面拖慢整个AI训练集群的表现。

因此,越来越多的专家与企业认为,AI训练需要专用的存储。比如说,英伟达官方提供的AI训推IT参考架构,就专门强调了大模型训练需要使用外置的专业高性能共享存储,以此来提升训练过程的效率与可靠性。这是因为在万卡集群这样的大规模训练场景下,传统的存储模式会导致单个盘的故障,拖累整体数据传输效率,并且定位故障需要耗费较长的时间,导致训练工作频繁暂停。而让AI算力直通存储的新模式,则可以大幅提升AI训练集群的数据读取效率,进而缩短模型训练时间。要知道,在今天的情况下,AI大模型的训练效率就是千行万业的产业效率。除此之外,适配AI训练的存储,最好还可以实现更高效的数据管理,更简便的数据清洗,以此来全方位强化AI训练工作。

其次,是在企业数据的保存与流通阶段。

伴随着AI技术的崛起,企业的数据价值愈发宝贵,而企业所需要存储的数据量在指数级增长。且原本只需要存放的冷数据,也因为AI技术的加入而变成了温数据,甚至热数据,需要随时参与数据流动。与此同时,在数据资产化的浪潮下,企业也希望数据具有更强的流通能力,从而真正发挥资产价值。在一系列AI技术带来的衍生场景中,企业都需要更强的存储能力来筑牢数据资产,实现数据资产的可流通属性。

再次,是中小企业数字化进程中的数据成本问题。

在AI技术的发展进程中,我们希望智能化的价值是普惠多元的。但客观来看,中小企业想要获得同等的AI竞争力,需要付出更大的数字化基础设施建设成本。如何实现中小企业的存储升级普惠,尤其是完成全闪存的更迭,也是存储行业面临的挑战。

最后,是数据安全风险加剧的问题。

在数据资产价值不断升级,且AI大模型需要高频次调动数据的新阶段,企业面临着以勒索病毒为代表的更深刻、更具体的数据安全问题。数据保护需要从被动保护向主动安全跃迁。

从以上种种不难看出,在智能化体系中,数据存在居于底座地位,并且牵一发动全身。适配AI时代的存储,不仅是单一存储技术的升级,更是对经济智能化所产生综合存储升级的回应。

存强则AI强,存强则数据强,已经成为AI时代真实而深刻的风向。

智能大势,筑基为先

在这样的智能化大势下,存储产业应该如何回应?如何抓住重点,破局谋篇?

华为存储的选择,是首先为AI大模型建立起存力底座,让AI技术所涉及的各类非结构化数据都能统一入湖。有了基础底座,向上的一切架构延展、功能添加才不会变成空中楼阁。

面对智能化的大势所趋,华为存储选择先筑牢基础。在不久之前的MWC 2024期间,华为存储发布了AI数据湖、全场景数据保护和DCS全栈数据中心三大解决方案。AI数据湖,就是构建华为存储为AI时代构建的存力底座。

具体而言,华为AI数据湖解决方案,具备数据管理DME、一站式知识生成工具链eDataMate、数据编织Data Fabric,以及OceanStor A800/A310等全新AI存储底座。其中新一代高性能NAS存储OceanStor A800,可以通过数控分离架构、OceanFS高性能并行文件系统、双向灵活扩展等能力,支撑大规模AI训练集群的实时调度,成为AI大模型的存力底座。

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等,可点击“私信”按钮向作者进行反馈;如作者无回复可进行平台仲裁,我们会在第一时间进行处理!

评价 0 条
ctrlCV
粉丝 0 资源 37 + 关注 私信
最近热门资源
从数据容灾到业务级容灾:全面解析容灾备份技术体系  1081
最近下载排行榜
从数据容灾到业务级容灾:全面解析容灾备份技术体系 0
作者收入月榜
1

prtyaa 收益349.54元

2

风晓 收益207.64元

3

IT-feng 收益197.2元

4

777 收益169.69元

5

zlj141319 收益168.41元

6

1843880570 收益153.27元

7

信创来了 收益103.7元

8

Fhawking 收益99.55元

9

克里斯蒂亚诺诺 收益91.08元

10

技术-小陈 收益78.9元

请使用微信扫码