北京日报客户端 2024-11-30 08:37
2024年,全球MoE(混合专家)大模型数量呈爆发增长态势,已成为大模型领域的主流架构之一。“大模型行业竞争,真正的竞争壁垒在于数据。”猎豹移动董事长兼CEO、猎户星空董事长傅盛日前接受记者采访时说道,不是说芯片、算法不重要,而是大模型厂商在芯片和算法方面这两方面很难做出差异化,而获得高质量数据,对于大模型的规模化落地应用至关重要。当日,猎户星空发布了自主研发的Orion-MoE8×7B大模型(MoE指混合专家模型),并与聚云科技推出了基于该大模型的数据服务产品——AI数据宝AirDS,提供包括数据清洗与数据标注在内的服务。
混合专家(Mixture of Experts,简称MoE)是一种集成学习方法,它通过将多个专业化的子模型即“专家”组合起来,形成一个整体模型,每一个“专家”都在其擅长的领域内做出贡献。每个专家模型可以专注于解决特定的子问题,而整体模型则能够在复杂的任务中获得更好的性能。猎户星空首席科学家韩堃解释,从大模型技术发展来看,相比稠密模型的“通才”、一群“专家”的MoE能更高效专业地完成企业复杂任务,而且在不显著增加计算成本的前提下大幅增加模型容量。
傅盛提出,大模型如果持续使用质量不高的数据,会导致“幻觉”越来越重。当下,产业链里决定大模型基础能力的核心是标注后的数据,当下行业的重点在于如何将高质量数据找出来,与应用实现高度结合。据了解,此次推出的AI数据宝AirDS提供的大模型数据服务涵盖数据收集、清洗、标注、提示词工程以及评估等环节,已经服务包括移动通信终端、互联网娱乐、新能源汽车等多领域的中国出海品牌。“我们本质不是靠模型挣钱,也不是靠模型的接口调用挣钱,而是希望帮助客户做好应用、实现他的某一个需求,通过应用去赚钱。”傅盛说。
来源:北京日报客户端
记者:孙奇茹
如遇作品内容、版权等问题,请在相关文章刊发之日起30日内与本网联系。版权侵权联系电话:010-85202353
Copyright ©1996-2024 Beijing Daily Group, All Rights Reserved
京报网版权所有
长按二维码
查看文章详情