腾讯混元Large模型全面开源!腾讯云TI平台支持一键精调与推理
创始人
2024-11-05 19:13:21
0

11月5日,腾讯混元宣布最新开源的MoE模型“混元Large”和图文生3D模型正式上线。腾讯云TI平台也宣布同步开放接入,为广大用户、开发者提供一站式精调、API调用及私有化部署服务。

混元Large模型拥有3890亿总参数量、520亿激活参数量,并支持256K上下文长度,是目前业界参数规模最大、性能领先的开源MoE模型。基于MoE(Mixture of Experts)结构的优越性,混元Large在推理速度和参数规模之间取得平衡,显著提升了模型的处理能力。测试结果显示,混元Large在CMMLU、MMLU、CEval、AGIEval等多学科评测集以及中英文NLP任务、代码、数学等9大维度表现出色,超越Llama3和Mixtral等主流开源模型。

腾讯云TI平台在国内首批完成混元大模型的适配和上架,为企业和开发者提供一键精调和推理服务,进一步扩展了腾讯云在大模型领域的生态布局,为产业智能化升级提供了强有力的技术和平台支持。腾讯混元大模型之外,目前平台也已广泛接入了Llama 3、Baichuan等市场主流开源大模型,支持快速发起训练任务或部署推理服务,使用流程简单、开发效率高。

实战导向的大模型精调工具链,提升企业业务效能

腾讯云TI平台致力于打造实战型大模型精调工具链,帮助用户训练出符合业务需求的高效模型,缩短开发周期并提升研发效率。平台支持灵活的数据准备和标注流程,并提供一键启动精调和推理任务的功能,大幅简化企业级用户的操作流程。

精调之前的数据准备从繁琐的数据清洗到耗时的数据标注都需要一个高效的工具平台,一份高质量的训练数据对精调模型达标起着至关重要的作用。腾讯云 TI 平台沉淀了优图算法专家清洗大模型训练数据的优质Pipeline,支持开箱即用。平台面向大语言模型和多模态大模型的标注工具非常灵活,基于数据集 Schema,可完全自定义工作台,支持的大模型标注场景包括但不限于高质量文本问答对筛选、文本数据清洗、图片问答对审核/修改、图片问答竞品评测、图片多轮问答、多模态阅读理解、图片文本描述等所有文生文、图生文类的场景。腾讯云TI 平台具备卓越的云原生特性,对接用户的云文件系统后,无需数据拷贝,标注结果直接保存在原文件路径。

在精调训练阶段,腾讯云TI平台内置了腾讯混元模型及其他主流开源模型,用户可以一键发起精调任务。通过硬件容错、容器调度、任务断点续训的三层保障机制,平台确保大规模训练任务的稳定性。另外,借助腾讯自研的Angel加速机制,腾讯云TI平台整体提升了训练性能30%,不仅加快了混元大模型的精调过程,还有效降低了资源消耗。

与此同时,腾讯云TI平台还提供了一整套完善的模型评测工具,包括在线轻量体验、客观评测以及主观评测。这些评测功能让企业能够根据实际业务需求,对模型效果进行全方位的验证,确保在应用场景中的高效表现。

全面适配国产算力,满足异构计算需求

目前,腾讯云TI平台已完成对国产计算卡的适配,有效满足了相关企业对安全性和独立性的高标准要求。

在适配过程中,腾讯云凭借腾讯优图实验室在相关训练方面的丰富经验,成功应对了千卡规模集群中的多项技术挑战。最新支持异构算力的统一纳管,实现了ARM架构和X86架构芯片服务器算力资源可通过一个控制台进行统一纳管,在当下算力资源紧张的情况下,帮助客户最大限度整合现有资源。

通过优化系统架构和技术流程,腾讯云TI平台有效解决了性能、兼容性等关键问题,确保了混元大模型在国产硬件上的流畅运行,保障用户在自主可控环境中仍然可以获得卓越的算力和推理性能。

推动大模型生态建设,助力行业智能化转型

混元大模型成功上架腾讯云TI平台,标志着腾讯云在大模型生态建设上迈出全新一步。目前,腾讯在大模型领域已经构建了一套全链路产品矩阵,涵盖从底层丰富基础设施到顶层多元智能应用。包括自研通用大模型、模型开发平台、智能体开发平台,以及针对不同场景定制的智能应用解决方案等。通过这些产品和方案,致力于助力企业客户高效地将大模型技术应用到实际业务场景中,实现快速部署和价值创造。

在医疗行业,腾讯云携手上海市数字医学创新中心,共研医学大模型,目前在瑞金医院实现了总检报告和电子病历生成等相关项目的落地应用。以体检报告生成为例,平均每5秒即可自动生成一份总检报告,为医生节约50%+的撰写时间。

在文娱行业,阅文集团一直利用大模型能力持续提升其用户写作和插图制作效率,但面临模型迭代快、更新复杂和推理成本高昂等问题。腾讯云TI平台的应用简化了模型训练配置,通过加速框架提升了推理速度,同时提供了易于使用的管理工具,助力持续解决上述难题。

大模型时代,算力、网络、数据构成了底层基础设施的“铁三角”。除了提供一站式AI大模型服务之外,腾讯云还为客户提供了HCC高性能计算集群、星脉高性能计算网络以及向量数据库等基础设施服务。

不断为千行百业打造行业大模型解决方案的同时,腾讯云也在积极参与行业大模型标准的制定。在金融领域,腾讯云与信通院合作,发布了国内首个金融行业大模型标准,为智能化发展和大模型的安全合规提供了支持;在医疗健康领域,腾讯参与编写的《人工智能大模型赋能医疗健康产业白皮书(2023年)》已发布,旨在推动医疗健康大模型的发展并提出标准建议。

与此同时,腾讯还被选举为全国信标委人工智能分委会委员兼副秘书长单位,作为核心成员,承担了更多标准制定工作以及技术引领作用。未来,腾讯云将持续优化技术,推动大模型生态建设,加速千行百业应用落地,为各行业的数字化转型提供有力支持。

相关内容

热门资讯

松山湖新闻|2024年11月4... 新闻提要: 1.2024松山湖·科技精英网球赛(松山湖赛区)举行 2.广东首支消防救援整建制无人机专...
联发科天玑8400性能超骁龙8... 2024-11-05 18:07:29 作者:柏景福 联发科天玑8400的参数配置曝光,基于台积电...
汇添富基金吴江宏:以期权视角浅... 可转债兼具债性和股性,以“压力有底、上行有空间”为投资者所熟知。然而,今年三季度以来,可转债资产经历...
科创板宣布设立六周年 577家... 《科创板日报》11月5日讯(记者 黄修眉 余佳欣)六年前的今天(即2018年11月5日),国家主席习...
传冯兴亚将接替曾庆洪任广汽集团... 临近新一届董事会选举,广州汽车集团股份有限公司(下称“广汽集团”)一把手去留引发关注。 近日有消息称...
宁夏首个万吨级绿氢制储输用一体... 11月4日,我区首个万吨级绿氢一体化项目——太阳山绿氢制储输用一体化项目(一期)年产1.65万吨绿氢...
仁智股份完成1600万元不动产... 雷达财经雷助吧出品 文|林宜采 编|深海 11月4日,仁智股份发布关于出售资产完成的公告。 根据公告...
中国稀土涨6.39%,华福证券... 今日中国稀土(000831)涨6.39%,收盘报36.14元。 2024年9月24日,华福证券研究员...
能源转型持续推进 厚植可持续发... 人民网记者 王绍绍 近年来,我国能源发展成绩亮眼,供能结构持续优化,能源行业减排增效,新型储能、风光...
驾校一觉醒来天塌了!雷军将推出... 10月29日晚,小米15系列暨小米澎湃OS 2新品发布会在北京召开,小米集团创始人、董事长兼CEO雷...
大模型专题:提升大模型知识密度... 今天分享的是:大模型专题:提升大模型知识密度,做高效的终端智能 报告共计:35页 《提升大模型知识密...
突发警告!事关特朗普 美国大选,引发全球投资者关注! 对投资者来说,美联储11月降息25个基点的概率接近100%,而美国大...
未来产业为新质生产力发展提供新... 当前,经济社会发展要转变发展方式,寻求新动力、新路径。新质生产力符合经济规律,是从过去主要依靠劳动力...
小红书运营:2024小红书内容... 今天分享是运营资料《小红书运营:2024小红书内容与运营策略方案》。 报告共计:27页 海量/完整电...
凝心聚力谋发展 强本固基提质效 ○印良钰 今年以来,如东农商银行紧紧围绕省联社党代会明确的“3741”战略,借力省联社提质赋能之“手...
“星星充电”开启A股上市辅导,... 来源:洞察IPO 作者:周绘 出品:洞察IPO 沪深两市 辅导备案登记受理 10月26日-11月1...
248家中山企业亮相广交会 税... 南都讯 记者刘贤沛 通讯员黄海聪 林晓群 第136届中国进出口商品交易会(以下简称广交会)于10月1...
A股大爆发,又创纪录!超500... 每经记者:肖芮冬 每经编辑:何小桃,赵云 11月5日,市场全天低开高走,创业板指领涨,北证50指数涨...
原创 人... 作者| 猫哥 来源| 大猫财经Pro 人民币、股市又暴力拉升了,4号人民币大涨300点,然后5号A股...
星展银行连续第七年亮相进博会,... 2024年11月5日,上海 ——星展银行再次亮相第七届中国国际进口博览会(简称“进博会”)新加坡服务...