外滩大会 | 中国工程院院士郑纬民:持续优化数据存储结构
创始人
2024-09-07 11:20:52

近日,在2024 Inclusion·外滩大会上,中国工程院院士、清华大学计算机科学与技术系教授郑纬民接受上海证券报记者专访表示,人工智能将对经济发展和人民生活水平提高发挥着越来越大的作用。人工智能发展离不开三个要素,分别是数据、算法、算力。算力扩容,除加强基础设施建设外,还应该千方百计扩大存储。建议人工智能企业通过不断优化数据存储结构应对算力挑战。

◎记者 宋薇萍

近日,在2024 Inclusion·外滩大会上,中国工程院院士、清华大学计算机科学与技术系教授郑纬民接受上海证券报记者专访表示,人工智能将对经济发展和人民生活水平提高发挥着越来越大的作用。人工智能发展离不开三个要素,分别是数据、算法、算力。算力扩容,除加强基础设施建设外,还应该千方百计扩大存储。建议人工智能企业通过不断优化数据存储结构应对算力挑战。

郑纬民认为,大模型需要大算力,也需要大存储,但相应会导致大成本,“大模型生命周期的每一个环节都与存储系统有关。分布式技术又存在于大模型生命周期的每一环,建议优化内部存储结构,向存储要算力”。

郑纬民分析称,比如在数据获取阶段,大模型训练需要收集海量多模态小文件,任一模态的数据集包含多达数亿至数百亿小文件,对文件系统元数据管理提出挑战。在数据处理阶段,频繁、随机的小样本读取等海量数据处理也对底层大数据处理框架提出挑战。模型训练阶段,检查点文件读写对存储系统读写提出挑战。在模型推理阶段,模型参数和中间结果KVCache对内存系统容量和传输速度提出挑战,中间结果KVCache往往要占据更多存储空间。

“如何花更少的资金建设更强大的基础设施,满足更大的市场需求?人工智能企业不要一味追求硬件扩容,应在软件优化上寻求解决方案。”郑纬民说。

他建议,大模型企业在推理过程中,应考虑为历史中间结果KVCache专门设置高容量、高宽带的存储系统,保留中间结果,以便重复利用,节省算力。“以大模型辅助读论文场景为例,当不同用户对同一篇论文进行提问,只要能将共享的可复用的部分保存下来多次复用,就可以大幅降低算力开销。”郑纬民说。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

琼海订购APP登录不了了亏损完... 琼海订购APP登录不了了亏损完了怎么退?找大卫专员免费咨询退费,10天维权退款方法!建议广大投资者:...
掌上生财APP炒贵金属亏的钱亏... 掌上生财APP炒贵金属亏的钱亏损完了怎么退?亏的钱能够安全退回,2025年12月退费流程!投资有风险...
东莞宏幸取得镁合金双蓄热上输料... 国家知识产权局信息显示,东莞宏幸智能科技有限公司取得一项名为“镁合金双蓄热上输料定量炉”的专利,授权...
原创 小... 近日,根据多家科技媒体的消息,小米年度压轴旗舰小米17 Ultra将正式登场。对此,在不少网友看来,...
掌上订购白银APP在里面亏了好... 掌上订购白银APP在里面亏了好多的钱亏损完了怎么退?输钱了不要急可追回,2025年12月退费流程!这...
益盟操盘手交vip服务费可以退... 益盟操盘手交vip服务费可以退吗?层层升级引诱缴费亏损不止!误导性宣传欺骗股友服务费!被骗交费投资本...
掌上订购白银APP在里面亏了好... 掌上订购白银APP在里面亏了好多的钱亏的钱怎么退回?可以合法要回自己的钱,5天维权流程公布!这类平台...
爱赢投顾公司收费过高,答案是:... 爱赢投顾公司收费过高,答案是:可以退的!!!证券公司正常利润来源是交易手续费,但部分证券公司以带其盈...
优品订购APP登录不了了亏的钱... 优品订购APP登录不了了亏的钱怎么退回?找大卫专员免费咨询退费,5天维权流程公布!们会利用各种手段进...
服务如何成为科技产品最动人的“... 2025年,中国智能手机出货量持续处于调整期,市场竞争进一步向存量阶段深化。国际数据公司IDC最新手...