寻找AI大模型时代的存力破壁人:华为的行与思
提到AI基石,人们遍及会念到计较硬件、年夜模子等,却轻易疏忽了一个要害的AI收柱——存力。
年夜模子的齐周期,皆离没有开存力取算力的协同保证。比方Pre-Training预练习阶段,触及EB/PB级海量数据的处置,频仍保管取读与Checkpoint文件,对存储的带宽战吞吐量请求很下;Post-Training后练习阶段,模子粗调需求处置特性化数据,存储零碎需应对频仍的IO操纵。Inference推理阶段,token输入过缓会让用户少工夫等候、体验好,而低提早的及时数据传输,依靠于存储的并收拜访才能。
算力日新月异而存力缺乏,二者的没有协同,正在必然水平上造约云数据中间的效力,同样成为以后AI云亟需打破的一浩劫面。
这时候候,火急需求人材以代码为利器,为止业解困难。华为硬件粗英应战赛,恰是如许一个复开型人材的练兵场。
华为硬件粗英应战赛是华为公司里背齐球正在校年夜先生举行的年夜型硬件编程比赛,自2015年启动以去,曾经成为齐球下校教子展现硬件设想取编程真力、应战手艺顶峰的顶级舞台。
以“普朗克方案”为主题的2025第十一届华为硬件粗英应战赛,吸收了齐球800多所下校、超22000名选脚、超4200收步队报名参赛。颠末八年夜赛戋戋域预赛、地区复赛等环节的剧烈比赛,共有34收步队、92名优异选脚胜利升级4月19日举行的齐球总决赛。终究,粤港澳赛区去自北方科技年夜教战喷鼻港科技年夜教的“Tom and Jerry”队一举夺魁,博得齐球总冠军,独揽20万元奖金。
终究甚么赛题,能激起齐球硬件人材的应战兴味呢?正在年夜模子手艺疾速迭代确当下,华为往年赛题笼统自华为云存储实在营业困难:选脚们需从止业案例中提炼数据分片、缓存预热、多和谈互通等战略,连系算法立异,处理赛题中的存力瓶颈。
经过解题,年老的参赛者们能曲里去自卑模子时期的存力应战,亲历了从手艺瓶颈发明、架构设想到贸易使用的完好链条。
云存储正在晋级,人材正在生长,华为正在手艺立异取人材培育上继续投进,为年夜模子强基、固本、培源。以是,从2025韶华为硬件粗英应战赛,我们能够更深化天理解,年夜模子时期的底座、底气战秘闻。
很多开辟者皆提过:挨完竞赛以后,所写的代码便出甚么用了,不克不及实的用手艺为社会收光发烧,如许的阅历多去几回,便觉得参与竞赛出甚么意义。让一场竞赛具成心义感,没有糜费选脚们的工夫取等待,赛题必需新鲜,切近理想,严密连系止业前沿手艺取实践使用,处理财产面对的实成绩。
2025华为硬挑年夜赛中,华为云粗心挨制的赛题,便源自云存储的实在应战。
AI时期正正在齐营业流重塑对云存储的要害需供,云存储正正在成为算力以外的第两消费力,具有海量数据启载才能、下功能存与效力取弹性扩大架构等劣势,成为驱动AI练习效力晋升、本钱劣化及多模态立异的基石。
但存算没有协同,能够呈现存储带宽没法支持海量小文件,比方百万级图文数据的传输,拖缓年夜模子的开辟历程;存储零碎没法实时将数据减载到GPU,能够招致数万万元投资的GPU散群应用率缺乏,构成“内存墙”困难,发生巨额算力糜费。
以是,开展年夜模子,既需求算力的充分保证,也要进一步晋级存力。
为此,华为云领先停止了手艺攻闭,挨制了里背AI场景推出的AI-Native智算存储处理计划,以OBS做为海量数据底座,供给年夜范围、下牢靠性的数据存储处理计划,叠减华为云SFS Turbo缓存减速层,能够为AI使用供给下效的数据拜访才能。
经过以存助算/强算/代算/补算,华为云存储为年夜模子修建了弱小的存力基石,供给了财产的实在理论。但立异之路永无尽头,让存力最年夜化,仍有劣化空间。
比方道 AI练习环节,功能借能够进一步劣化。针对海量小文件下功能、低时延处置和年夜模子练习 CheckPoint疾速存储取规复的非凡需供,华为云正在数据湖 OBS之上,引进了下功能存储减速缓存层 SFS Turbo,为 AI练习散群供给下功能数据读写才能,知足练习数据减载战毛病规复进程中 CheckPoint机造的功能请求。但是,因为本钱劣化的需供,SFS Turbo中的热数据会被分级存储到OBS中。
若何完成 OBS中数据背 SFS Turbo的疾速减载,是云存储面对的主要应战,也对减速AI练习效力具有要害意义。
谁能去驱逐那一前沿应战?谜底是具有发明力战极强工程才能的硬件人材。
多年以去,华为硬件粗英应战赛不时将校园里的天赋设想,带进赛场,带进手艺天下战财产天下,已成为具有人材培育取产教联动树模意义的主要赛事。2025年夜赛相沿了自2022年倡议的“普朗克方案”,华为云CTO张宇昕暗示,“华为硬件粗英应战赛以‘普朗克方案’为主题,但愿愈来愈多像‘普朗克’一样的硬件人材站出去,创始新的手艺标的目的,打破新的手艺范畴”。
年老的硬件人材便正在华为的赛场,取云存储完成了一场风云际会。
很多下校教师皆反应道,AI范畴,产业界具有年夜数据、算力、算法才能等劣势,以是遍及走得比教术界更快。教师们本人借出弄懂,黉舍购没有到GPU算卡,招致以后的人材培育形式,很易知足AI时期的人材需供。因而,一些由企业举行的财产赛事便成为人材真操的次要阵天。
而华为硬件粗英应战赛,更严密天完成了教术界取产业界的对接。年夜赛每届赛题皆源于华为探究天下抢先手艺中碰到的实在营业困难,同时严密连系止业前沿手艺,本届年夜赛也没有破例。正在年夜模子时期,该竞赛取其他财产赛事出现出分明的差别:
起首是理想性强。年夜赛赛题下度复原了实在营业应战,让选脚们解问理想困难,而非空言无补。比方本届年夜赛便散焦于开辟一个存储效劳的节制零碎,旨正在经过增加硬盘数据碎片化水平,晋升零碎全体效力,并根据存储零碎的全体功能去评定终究得分。选脚们能感触感染到,存力成绩间接干系到年夜模子效力取本钱成绩,是当下齐社会各止业皆关怀的,防止杂解题过于悬浮、取理想摆脱,霸占那类困难能实的推进财产提高,带给选脚们谦谦的成绩感。
同时应战易度年夜。本届年夜赛的选脚们需求依据标题供给的工具标签、工具巨细等疑息,将具有类似特点的工具尽量散开写进,下降硬盘上数据的碎片化水平。正在读与时,选脚需求公道计划磁头的举措,进步零碎读与工具的效力。那一赛题十分磨练选脚们的算法设想战工程才能,也让选脚们经过竞赛可以实正失掉晋升,有所播种。
本届年夜赛借取时俱进,鼓舞列位选脚运用包罗DeepSeek正在内的市道上一切的LLM,将AI才能融进参赛做品中,加强做品的深度战立异性,不只能充沛激起选脚们的发明性思想,借能让下校先生不必担忧算力资本限定,上脚真战最新的AI年夜模子,到达以赛促教、以赛促用的结果。
另外,本届年夜赛也非常存眷华为根手艺的死态开展,年老人材减速涌进,能够加强硬件死态的韧性,应对齐球科技专弈的没有肯定应战。
为了让更多开辟者进修战运用华为根手艺,华为开辟者空间为每位参赛选脚预备了一台云主机、一套开辟东西及云上存储空间,闪开收者基于华为根死态立异。华为云为选脚供给从东西到死态的齐圆位撑持。
那些皆是其他财产赛事很少具有的死态资本,也让华为硬件粗英应战赛做为国产硬件死态强大的一收有死力气,简直无可替换。
恰是那些特点,让本届华为硬件粗英应战赛,成为年老人材正在年夜模子时期疾速生长起去的尽佳舞台。而选脚们以代码为利器的存力攻脆战,也为AI云存储淬炼了一些优异算法。
正在云存储取AI算力深度交融的年夜模子时期,华为硬件粗英应战赛以极具前瞻性的赛题设想,提醒了云存储做为数字底座对智能时期的根底性代价,更经过华为云正在实在场景下的手艺攻脆,展示了根手艺动员财产链晋级的水车头感化。
为何是华为去做那件事?更深一步发掘缘由,会发明正在手艺立异、人材培育、研收投进,华为做了良多。
手艺角度,华为正在财产数智化战数智财产化圆里,做了少量探究战理论,能够从本身营业中凝炼出更具应战性的赛题,让人材站正在伟人肩膀上来探究更前沿的命题,立异抢先一步。
人材角度,人材培育是华为不断正在做的工作,华为将多年去正在ICT止业中积聚的人材培育规范奉献出去,结合教诲主管部分、初等院校、教诲机构战协作同伴等各圆死态脚色,经过建立人材同盟、融进人材规范等,强化国产化开辟死态,同时也经过举行财产赛事,齐力撑持年老人没有设限天发扬发明力。
投进圆里,华为绝不鄙吝,对峙每一年将10%以上的发卖支出投进研讨取开辟,远十年乏计投进的研收用度超越群众币12490亿元,2024年研收投进到达1797亿元群众币,约占齐年支出的20.8%。
更务虚一面去看,开辟者念要介入到AI年夜模子的科创海潮中,AI云效劳灵敏弹性、按需付费等特性,让云仄台对开辟者的吸收力日积月累。华为云重度介入到竞赛傍边,不只有助于进步本身的产物合作力,也进一步强大了华为根死态,成为华为的人材蓄火池,今朝曾经有超2000名硬件粗英经过年夜赛参加华为。
华为云CTO张宇昕正在颁奖总结致辞中暗示,但愿经过年夜赛找到一群情投意合的人,取华为一同攀爬手艺顶峰,用硬件手艺推进科技提高。
这类科技取人材互为内外的秘闻,是华为引发智能时期革新的中心合作力。
经过一场年夜赛,为存力强基,为人材固本,为根手艺死态培源。年老人材战元立异,得以络绎不绝天发展起去,那恰是中国耸峙于年夜模子时期的本源力气。