京东云AI算力平台 助力企业快速构建大模型算力底座
创始人
2025-04-26 02:21:19

央广网北京4月25日消息 随着海外AI算力供应链不确定性增加,面对强势的大模型训练推理需求,国产AI芯片迎来发展新机遇。而80%的算力需求正在向推理场景集中,由于推理场景对GPU峰值性能的要求相对放低,更多规格国产GPU已具备支持大模型应用的能力,推动海外AI芯片与国产芯片混合部署成为企业AI算力新常态。

然而,混合AI算力的构建面临诸多挑战,包括算力利用率低下、异构资源管理困难、国产化替代进程加速等现实问题,正成为制约大模型规模化落地的核心瓶颈。京东云vGPU AI算力平台,以创新性的GPU算力池化技术和异构算力统一管理,助力企业快速构建异构AI算力基础设施,重塑AI生产力。

大模型落地面临三重算力困局

当前,众多智算中心面临一个严峻的现实,购买了昂贵的GPU卡,但集群MFU(模型算力利用率)却很低。某头部证券公司AI负责人坦言:“我们的数百张GPU卡,实际利用率不足30%,但业务部门仍在不断要求扩容。”

行业普遍面临三大核心痛点。首先是GPU资源空转闲置:传统物理卡部署模式下,推理任务往往占用不到30%的算力,却需独占整张显卡。其次是异构资源管理困难:同时存在英伟达、昇腾等多类加速卡,不同芯片需要独立运维体系,资源池化率不足50%。第三是安全与性能难以兼得:部分机构采用开源vGPU方案,但用户态算力池化带来性能损耗高,且存在任务干扰风险。

京东云vGPU算力池化,破解AI算力困局

面对这些行业难题,京东云推出vGPU AI算力平台,支持算力资源统一纳管、精细化运维,具备内核级1%算力和MB级显存的细粒度切分与池化能力,损耗控制在0.1%,毫秒级任务优先级抢占,丝滑支持训推混部,并且全面适配十余家国产化算力资源,帮助客户低成本、高效率使用大模型。

第一,内核级精准算力切分:凭借创新的GPU算力切分技术,内核级1%算力和MB级显存的细粒度切分与池化能力,犹如"手术刀"般将单卡分割为多个虚拟实例,实现了资源的动态分配,GPU利用率最高提升70%。

第二,异构算力统一纳管:提供对多元异构算力资源的统一管理,有效屏蔽异构算力复杂性,并兼容国内外主流深度学习AI框架,帮助客户快速构建面向大模型的训推一体化高性能基础设施,降低运维复杂度。

第三,全栈自研算力平台:京东云全自研vGPU技术,通过内核态拦截和推理引擎加速构建产品核心竞争力,内核驱动级优化提升单台服务器推理性能50%,同时借助AI全密态机密容器能力,确保模型参数与训练数据双域零泄露,为用户提供金融级安全防护。

服务数十家头部客户构建异构AI算力基座

当前,京东云vGPU AI算力平台凭借内核级算力池化、全栈自研可控、金融级安全等差异化优势,已服务数十家头部银行、券商、基金、保险、运营商客户。

华夏基金积极拥抱AI技术,在GPU资源管理方面,华夏基金面临提升资源利用率和降低运行成本的双重挑战。通过采用京东云的vGPU算力池化技术,华夏基金将物理GPU资源进行了细粒度的切分,实现了资源的动态分配和优化利用。这一技术的应用,使得华夏基金的GPU利用率最高提升了70%,大幅降低大模型推理成本。

北京银行与京东云携手,上线银行业首个基于异构计算的DeepSeek满血版。依托京东云异构计算能力,北京银行创新性地采用vGPU弹性资源分配方案,实现了算力资源的高效复用与灵活调度,算力模式秒级供给,内核级1%算力和MB级显存的细粒度切分与池化能力,并全面适配国产算力资源。

某知名证券公司原有集群GPU资源分散,整体利用率长期徘徊在25%。部署京东云vGPU AI算力平台后,将分散在5个业务系统的GPU资源池化,形成统一AI算力池,AI算力分时复用实现多团队共享,推理任务资源满足率从65%提升至98%。

面向未来,京东云将持续投入技术自研,提供更高性能、更低成本的智算产品,助力企业快速构建落地大模型的算力基座,重塑AI生产力。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

可以要回在祥龙订购APP输的本... 可以要回在祥龙订购APP输的本金?亏的钱是有办法要回 已成功退款流程公开!掌上银牛APP、盈盈订购A...
怎么追回在椰海订购app的钱?... 怎么追回在椰海订购app的钱?不用慌张大卫有办法 好用的退款流程!椰海订购app亏损是能退回的!椰海...
怎么追回在正元恒邦输的钱?不用... 怎么追回在正元恒邦输的钱?不用慌张大卫有办法 有用的退款流程!近年来,随着投资理财热潮的兴起,大宗商...
怎么追回在珍牛订购APP的钱?... 怎么追回在珍牛订购APP的钱?要尽快维权退款 2026年正规维权流程!珍牛订购APP亏钱了是可以要回...
可以要回在指尖订购APP输的本... 可以要回在指尖订购APP输的本金?亏的钱是有办法要回 已成功退款流程公开!指尖订购APP亏钱了是可以...
怎么追回在全民投资APP的钱?...   怎么追回在全民投资APP的钱?不用慌张大卫有办法 2026年正规维权流程!  全民投资APP订购...
怎么退回在掌上订购白银APP的... 怎么退回在掌上订购白银APP的本金?不用担心可以退款 成功不收费退款流程!市场上存在大量假冒铂银名义...
哈尔滨贵金属输了很多钱怎么退款... 哈尔滨贵金属输了很多钱怎么退款?解决办法有很多亏损了很多钱有人成功要回了!有用的退款流程!拇指订购A...
可以要回在金牛订购APP亏损的... 可以要回在金牛订购APP亏损的本金?不用怕大卫有办法 成功不收费退款流程!拇指订购APP、全新订购A...
Aetherflux宣布太空数... IT之家 12 月 14 日消息,此前专注于太空太阳能发电的企业 Aetherflux 美国加州当地...