大模型专题：提升大模型知识密度，做高效的终端智能
创始人
2024-11-05 20:41:11
0次
今天分享的是：大模型专题：提升大模型知识密度，做高效的终端智能
报告共计：35页
《提升大模型知识密度，做高效的终端智能》由面壁智能CEO&联合创始人李大海在AiCon全球人工智能开发与应用大会上发表。报告介绍了面壁智能在大模型领域的发展成果和技术探索。面壁智能自2019年成立以来发布了多款大模型，包括2024年2月发布的旗舰级端侧模型MiniCPM - 2B超越GPT - 3.5，4月发布MiniCPM 2.0版本等。其发展见证了大模型规模法则，即在大数据和大算力支持下，模型越大智能水平越强，但也探讨了大模型是否只是追求越大越好以及可持续发展之路的问题。报告提出大模型高效的第一性原理是参与计算的知识密度 = 模型能力 / 模型参数，随着数据、算力、算法协同发展，模型知识密度持续增强，如过去四年平均每8个月翻一倍。面壁智能通过构建模型风洞，在小模型上寻找最优数据和超参配置并外推至大模型，摆脱“炼丹”窘境，例如MiniCPM系列以小博大，超越诸多明星模型。该系列包括多种型号，如MiniCPM - 2.4B具有极致以小博大和高效低成本的特点，MiniCPM - V多模态模型在长文本与MoE模型、实时视频和多图联合理解等方面表现出色。同时，报告还提到了端侧算力因芯片制程增强，与模型制程带来的知识密度增强交汇，揭示端侧智能潜力，且面壁智能在解决中文领域多模态数据挑战等方面也有成果，还强调了端侧市场势能强劲，智能终端年出货量巨大，亟待激活端侧算力。
以下为报告节选内容
相关内容
热门资讯
抓住“人工智能+音乐”创新机遇
当前，AIGC（生成式人工智能）技术逐步渗透到多个行业领域，在音乐产业中的应用尤其引人关注。AIGC...
关注进博会｜重庆交易团2931...
11月5日，第七届中国国际进口博览会在上海开幕。上游新闻（报料邮箱：cnshangyou@163.c...
备战“双十一” 黄金品牌开展促...
● 本报记者 董添 随着“双十一”临近，黄金品牌纷纷开展优惠活动。中国证券报记者实地走访黄金消费市场...
上周登陆港股，龙蟠科技A股今迎...
今日，A股、港股市场表现活跃，消息面上，多重利好来袭。 当日公布的10月财新中国通用服务业经营活动指...
龚正会见法国苏伊士集团董事长兼...
上海市市长龚正今天（5日）会见了法国苏伊士集团董事长兼首席执行官苏冰岚一行。 龚正说，上海作为中国...
AWS成立GenAI创新联盟 ...
21世纪经济报道记者倪雨晴 深圳报道 AWS（亚马逊云科技）进一步加快生成式AI的步伐。 当地时间1...
火爆网络的AI捏脸，竟然藏着这...
最近，“AI捏脸”视频在社交平台上颇为流行——一双手捏住各种立体人像，慢慢用力，把人像捏扁、捏爆、捏...
全是硬科技！华为参股的A股名单...
数据是个宝 数据宝 炒股少烦恼 这类股票能否得到“华为光环”加持？ A股本轮行情中，科技股大幅飙升，...
飞天价格继续上涨，2024年飞...
钛媒体App 11月5日消息，今日酒价披露的最新批发参考价显示，11月5日，2024年飞天茅台原箱报...
保险业协会发布《保险业高质量服...
中证网讯（记者 赵白执南）11月4日，中国保险行业协会在第一届乡村振兴专业委员会常务委员会第三次（扩...
原创 意...
在全球政治经济的博弈舞台上，中欧之间的关税战和美国大选的不确定性正交织在一起，搅动着国际关系的复杂漩...
苏州银行三季报：金融科技点亮新...
科技创新能够催生新产业、新模式、新动能，是发展新质生产力的核心要素。作为链接科技和产业的重要工具，聚...
努比亚红魔携手京东方，引领全面...
努比亚红魔和京东方一起搞了个大事，他们联手推出了全球首款1.5K的屏下摄像全面屏，这可是个真正的技术...
松山湖新闻｜2024年11月4...
新闻提要： 1.2024松山湖·科技精英网球赛（松山湖赛区）举行 2.广东首支消防救援整建制无人机专...
联发科天玑8400性能超骁龙8...
2024-11-05 18:07:29 作者：柏景福 联发科天玑8400的参数配置曝光，基于台积电...
汇添富基金吴江宏：以期权视角浅...
可转债兼具债性和股性，以“压力有底、上行有空间”为投资者所熟知。然而，今年三季度以来，可转债资产经历...
科创板宣布设立六周年 577家...
《科创板日报》11月5日讯（记者 黄修眉 余佳欣）六年前的今天（即2018年11月5日），国家主席习...
传冯兴亚将接替曾庆洪任广汽集团...
临近新一届董事会选举，广州汽车集团股份有限公司（下称“广汽集团”）一把手去留引发关注。 近日有消息称...
宁夏首个万吨级绿氢制储输用一体...
11月4日，我区首个万吨级绿氢一体化项目——太阳山绿氢制储输用一体化项目（一期）年产1.65万吨绿氢...
仁智股份完成1600万元不动产...
雷达财经雷助吧出品 文|林宜采 编|深海 11月4日，仁智股份发布关于出售资产完成的公告。 根据公告...