外滩大会 | 中国工程院院士郑纬民:持续优化数据存储结构
创始人
2024-09-07 11:20:52

近日,在2024 Inclusion·外滩大会上,中国工程院院士、清华大学计算机科学与技术系教授郑纬民接受上海证券报记者专访表示,人工智能将对经济发展和人民生活水平提高发挥着越来越大的作用。人工智能发展离不开三个要素,分别是数据、算法、算力。算力扩容,除加强基础设施建设外,还应该千方百计扩大存储。建议人工智能企业通过不断优化数据存储结构应对算力挑战。

◎记者 宋薇萍

近日,在2024 Inclusion·外滩大会上,中国工程院院士、清华大学计算机科学与技术系教授郑纬民接受上海证券报记者专访表示,人工智能将对经济发展和人民生活水平提高发挥着越来越大的作用。人工智能发展离不开三个要素,分别是数据、算法、算力。算力扩容,除加强基础设施建设外,还应该千方百计扩大存储。建议人工智能企业通过不断优化数据存储结构应对算力挑战。

郑纬民认为,大模型需要大算力,也需要大存储,但相应会导致大成本,“大模型生命周期的每一个环节都与存储系统有关。分布式技术又存在于大模型生命周期的每一环,建议优化内部存储结构,向存储要算力”。

郑纬民分析称,比如在数据获取阶段,大模型训练需要收集海量多模态小文件,任一模态的数据集包含多达数亿至数百亿小文件,对文件系统元数据管理提出挑战。在数据处理阶段,频繁、随机的小样本读取等海量数据处理也对底层大数据处理框架提出挑战。模型训练阶段,检查点文件读写对存储系统读写提出挑战。在模型推理阶段,模型参数和中间结果KVCache对内存系统容量和传输速度提出挑战,中间结果KVCache往往要占据更多存储空间。

“如何花更少的资金建设更强大的基础设施,满足更大的市场需求?人工智能企业不要一味追求硬件扩容,应在软件优化上寻求解决方案。”郑纬民说。

他建议,大模型企业在推理过程中,应考虑为历史中间结果KVCache专门设置高容量、高宽带的存储系统,保留中间结果,以便重复利用,节省算力。“以大模型辅助读论文场景为例,当不同用户对同一篇论文进行提问,只要能将共享的可复用的部分保存下来多次复用,就可以大幅降低算力开销。”郑纬民说。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

Wix.com:全球领先的云网... 公司概况Wix.com Ltd.(股票代码:WIX)是一家提供在线网站创建服务的SaaS公司,成立于...
Palantir Techno... 公司概况Palantir Technologies Inc.(股票代码:PLTR)是一家专注于大数据...
Xylem Inc.:全球水资... 一、公司概况Xylem Inc.(股票代码:XYL)是一家总部位于美国纽约州罗切斯特(Rochest...
Chipotle Mexica... 一、公司概况Chipotle Mexican Grill, Inc.(纽约证券交易所代码:CMG)成...
康卡斯特公司(Comcast ... 公司概况康卡斯特公司(Comcast Corporation,纳斯达克股票代码:CMCSA)成立于1...
康卡斯特公司(Comcast ... 公司概况康卡斯特公司(Comcast Corporation,纳斯达克股票代码:CMCSA)成立于1...
厦门数字文创再添载体!火山引擎... 内容来源:厦门日报 6月26日,厦门岳鹭广场15楼会场内,众数(厦门)信息科技有限公司副总经理石特伟...
无界动力发布首个“长时序双向物... 北京商报讯(记者 陶凤 王天逸)6月29日,北京商报记者获悉,无界动力正式发布MWA™具身通用大脑,...
科大讯飞旗下信息科技公司变更负... 天眼查App显示,近日,辽宁讯飞信息科技有限公司发生工商变更,李俊峰卸任法定代表人、执行董事、经理,...
微型水质监测站雷击后设备损坏怎... 微型水质监测站多布设野外露天环境,防雷结构若出现老化或防护不足,雷雨天气易遭遇雷击感应电压冲击。瞬时...