腾讯混元文生图开源模型接入ComfyUI与Diffusers库,使用门槛大幅降低
创始人
2024-06-06 14:04:14

6月6日,腾讯发布针对腾讯混元文生图开源大模型(以下简称为混元DiT模型)的加速库,让推理效率大幅提升,生图时间缩短75%。

混元DiT模型的使用门槛也大幅降低。用户可以基于ComfyUI的图形化界面,使用腾讯混元文生图模型能力。同时,混元DiT模型已经部署至Hugging Face Diffusers通用模型库中,用户仅用三行代码即可调用混元DiT模型,无需下载原始代码库。

此前,腾讯宣布旗下的混元文生图大模型全面升级并对外开源,可供企业与个人开发者免费商用。这是业内首个中文原生的DiT架构文生图开源模型,支持中英文双语输入及理解;采用了与 sora 一致的DiT架构,不仅可支持文生图,也可作为视频等多模态视觉生成的基础。

腾讯混元DiT模型开源之后,受到了众多社区开发者的认可。开源不到一个月,项目Github Star数就超过2100,位于开源社区热门DiT模型前列。

为了提升开发者使用体验,腾讯混元官方上线了专属的加速库,让推理时间缩短75%,提高大模型运行效率。开发者通过Hugging Face即可下载该推理加速工具。

项目组通过知识蒸馏和TensorRT高性能推理框架,实现了DiT模型的采样步数压缩与高效推理部署。蒸馏主要指降低扩散模型迭代的步数实现加速。模型整体结构和参数量不变,用户在无需任何额外的操作和设备要求下使用蒸馏权重,即可降低50%迭代步数,实现耗时减半。TensorRT推理加速方案通过工程优化,可以进一步降低耗时,并且和模型权重解耦。同时使用两者进行推理部署,可将推理时间缩短75%。

官方还分享了两个降低用户使用门槛的最新消息:经过与社区的共同努力,用户可以基于ComfyUI的图形化界面使用腾讯混元文生图模型能力。同时,通过与Hugging Face团队合作,混元DiT模型已经部署到Hugging Face官方模型库Diffusers中,并编写了适配该模型库的调用和生成代码,用户可以直接通过该途径调用混元DiT模型,大大简化了用户使用的成本。

ComfyUI是一款文生图领域的WebUI界面设计,它将文生图领域的扩散算法模块化与图形化,提升了生成效率与资源利用率,也大幅降低了开发者的使用门槛。用户可以通过图像化工作流使用混元DiT文生图模型,实现与官方模型一样的效果。

混元DiT文生图模型的ComfyUI使用界面

此外,围绕ComfyUI的使用生态,还衍生出强大的开源社区。混元DiT对ComfyUI的支持,也能让社区的成员体验基于最新DiT架构的文生图模型。

作为知名的AI开源社区,Hugging Face的Diffusers是目前调用各种主流文生图大模型的通用库,已经成为当今文生图大模型使用的社区标准。

将混元DiT模型适配进Hugging Face Diffusers,可以大幅提升模型的易用性和用户基础。用户无需将原始代码库下载与部署到自身环境,安装了Diffusers库的开发者,仅需要运行几行代码,即可调用混元DiT模型,配置与调用都十分方便。同时,Hugging Face与腾讯混元团队共同优化算法框架,加快了图片的生成速度。

此举也相当于为所有后续基于混元DiT的使用和开发提供了底层支持,覆盖各种需要调用混元DiT的任何场景,包括上述的ComfyUI方式。同时对开发者而言,之前配置好的基于Diffusers的工作流和插件可以在少量修改的情况下直接用于混元DiT。

腾讯文生图负责人芦清林表示:“腾讯混元文生图模型开源之后得到了众多开发者的支持和反馈,我们十分高兴,也同时在针对开发者的反馈与社区一起完善和优化基于混元DiT的开源生态,让更多开发者能更便利地享受到最新的研究成果。也欢迎大家跟我们一起共建下一代视觉生成开源生态,推动大模型行业加速发展。”

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

北京起始不凡影视文化传媒有限公... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期,越来越多投资...
北京智慧黑马影视传媒有限公司动... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期,越来越多投资...
北京起始不凡影视文化传媒有限公... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期,越来越多投资...
北京智慧黑马影视传媒有限公司动... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期,越来越多投资...
万 隆服务费能退吗现在? 夸大... 万 隆服务费能退吗现在? 夸大收益实则诱导交荐股费,留证可以追损!  投资有风险,投资需谨慎!针对网...
上海七色鲤影视传媒有限公司《那... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期,越来越多投资...
上海七色鲤影视传媒有限公司《遮... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期,越来越多投资...
《吾家娘子不可欺》短剧投资是真... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期,越来越多投资...
北京智慧黑马影视传媒有限公司动... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近期,越来越多投资...
蜻蜓订购app是不是可靠的公司... 蜻蜓订购app是不是可靠的公司输的钱怎么退安全吗?不成功不收费维方法,2025年12月退费流程!蜻蜓...