8月25日消息,小米CEO雷军今日在个人公众号分享和透露了小米大模型研发的相关信息。雷军表示,AI是未来的生产力,也是小米长期持续投入的底层赛道之一,目前,相关团队成员已经超过3000人。
在大模型的研发方向上,小米选择突破的是轻量化和本都部署,雷军认为,“软硬结合,生态连结”是大模型技术与小米生态结合的最优方案。
(图源雷军个人公众号,下同)
雷军指出,大模型是未来科技的发展趋势,更是下一个人工智能的高地。在闲聊对话场景下,依托于月活超过1.15亿的智能语音助理小爱同学,小米研发了参数规模为28亿的对话模型。截至2023年8月10日,小米自研的大规模预训练语言模型MiLM-6B,参数规模为64亿,在权威中文评测榜单C-eval和CMMLU中位列同等参数规模大模型第一。
他透露,2023年,小米研发投入预计会超过200亿。并且小米将扩大模型规模,不断探索端云结合、多模态融合的大模型解决方案,与小爱同学、MIUI、IoT、机器人、汽车等业务结合,提升小爱同学的理解能力与智能家居指令的识别能力等,
以下为雷军发表的全文:
在上周的年度演讲上,我宣布了小米科技战略升级:深耕底层技术、长期持续投入、软硬深度融合,AI全面赋能,即(软件×硬件)ᴬᴵ。同时,也给大家介绍了小米的科技理念:选择对人类文明有长期价值的技术领域,坚持长期持续投入。
AI是未来的生产力,也是小米决定长期持续投入的底层赛道之一。我们在很早就开始组建AI团队,相关团队成员已经超过3000人。这些年的持续投入,为我们的自动驾驶、机器人等业务都取得了非常优秀的成果。
今年,我们迎来了一次重大的技术革命——AI大模型技术,在4月份,我们组建了AI大模型团队,并快速在小爱同学上落地应用。
我们做大模型的思路可能和很多公司不太一样,我们选择主力突破的是轻量化和本地部署。
为什么呢?
首先,大模型需要海量数据,所以很容易涉及到隐私问题,还需要巨大算力,用起来成本也很高。接着,我们是一家手机公司,怎么把自己的优势利用起来?我们想的是,它能不能轻量化?能不能本地部署,在手机端就能用上大模型?
沿着这个思路,我们团队进展非常顺利,小米自研大模型在近日的权威中文评测榜单C-eval和CMMLU中,取得同参数量级第一的好成绩;小米自研手机端侧大模型初步跑通,部分场景效果媲美云端。真的特别特别厉害。
很多人还想了解小米大模型研发的更多信息,今天,就和大家好好聊聊。
ChatGPT出现以来,大模型优异的理解能力和生成能力令人惊艳,关于其用途的探索也越来越多。目前看来,很多传统的自然语言处理任务都可以用它来完成,比如搜索、翻译、问答、摘要、信息抽取和分类以及写作等。在日常生活中,所有基于对话的服务,如客服、教育、咨询、导游等,以ChatGPT为代表的大模型都有一定的用武之地。
大模型指参数数量巨大、层次结构复杂的机器学习模型。这些模型通常具有十亿到千亿甚至万亿个参数,通过大量的数据进行训练,提供更高的理解和生成能力。
在我们看来,大模型不仅是指模型参数多、尺寸大,更重要的是代表了一种新的训练范式。我们将其总结为:大数据、大任务、大参数。
大数据:指需要用海量的数据去训练,让模型从中自动挖掘出所需的信息。通常采用自监督或者无监督学习方式,无需人工标注就可以提炼规律、学习知识,从而提升模型的眼界。
大任务:指学习的目标足够复杂、覆盖面广。这样才能“强迫”模型按照模块化、高类聚、低耦合的方式组织知识点,实现举一反三的泛化能力。
大参数:指模型的知识容量。大模型的参数规模越大,模型的表达能力和学习能力也就越强。
在这个范式中,我们认为大数据和大任务是不可或缺的。如果没有大数据,模型不可能学到丰富的常识;如果没有大任务,知识点和技能点不可能在模型中有机高效地组织起来。
我们基于未来的思考与理解,选择对人类文明有长期价值的战略方向,并坚持长期持续的投入。我们已经布局了12个技术领域,99个细分赛道,未来五年(2022-2026)至少投入1000亿以上的研发经费!
AI是未来的生产力,也是小米长期持续投入的底层赛道。小米很早就对人工智能进行布局,2016年小米AI实验室成立,并组建了第一支视觉AI团队,今年4月成立专职大模型团队,历经7年6次扩展,小米人工智能团队已经有3000多人,逐步建立了视觉、语音、声学、知识图谱、NLP、机器学习、多模态等AI技术能力。
成为浪潮之上的角逐者,必须有对技术的沉淀和积累。作为小米AI技术的“试验田”和“弹药库”,小米AI实验室会研发中长期的前沿技术,围绕小米业务做储备,在集团需要的时候输出“弹药”。小米对AI的深刻认识与掌握的技术能力,也有效地赋能了手机、机器人等各个业务板块。
大模型是未来科技的发展趋势,更是下一个人工智能的高地。2021年开始,小米就对大模型的方向特别关注,并开展了对话大模型的预研工作。在闲聊对话场景下,依托于月活超过1.15亿的智能语音助理小爱同学,小米研发了参数规模为28亿的对话模型,达到了当时同等参数规模下业界的较高水平。这为小米积累了多卡分布式训练的经验,为后续开展大规模语言模型训练奠定了基础。
小米拥有品类众多的设备,是全球规模领先的消费级物联网平台。设备多样,使用场景也各不相同,一个大模型难以兼顾。如果把一部分大模型能力下放到端侧,不仅能更好地保护用户隐私、而且有机会在本地实现千人千面的个性化定制。
软硬结合,生态连结,这是大模型技术与小米生态结合的最优方案,让用户既可以拥有数据安全,又可以拥有大模型的先进生产力。因此,“轻量化、本地部署”是小米大模型技术的主力突破方向。
目前,我们自研的13亿参数的端侧模型已经在手机端跑通,部分场景效果媲美60亿模型在云端的运算结果。与早些时候市场上放出的手机端大模型的方案相比,小米会调整模型结构和参数大小,适配各种芯片在内存和算力上的特点,致力于达到功耗、推理速度和生成效果的最佳平衡。
数据上,我们自己挖掘整理的训练数据占比达到了80%,其中小米自有的产品和业务数据量达到3TB。因此我们的大模型最懂小米的产品,最懂小米的业务。
结构上,我们根据对Transformer结构的理解,融合了自身的实践经验进行改良;并且充分考虑设备端芯片的特色要求,合理设置模型的宽度和深度,致力于达到效率和效果的最佳均衡。
训练策略上,采用小米提出的ScaledAdam优化器和Eden学习率调度器,显著提升收敛速度的同时减少了优化器中显存的浪费。由于模型的知识容量有限,需要更精巧地安排训练数据的顺序,使得模型尽可能多地掌握知识点和技能,减少参数的浪费,以此实现“轻量化”。
模型部署到端侧后,信息不用上传到云端,所有计算都在本地进行,可以从根本上保证用户隐私不被泄露。即使在端云结合的服务框架下,隐私信息会存储在端侧,涉及它们的计算也尽可能在端侧完成。即使偶尔需要使用云端的能力,信息也会经过处理和加密。
截至2023年8月10日,小米自研的大规模预训练语言模型MiLM-6B,参数规模为64亿,在权威中文评测榜单C-eval和CMMLU中位列同等参数规模大模型第一。
在C-eval评估中,MiLM-6B 的平均分为60.2,总榜单排名第10、同参数量级排名第1。
“C-eval”是由上海交通大学、清华大学、爱丁堡大学共同构建的一个针对基础模型的综合中文评估套件。它由 13948 道多项选择题组成,涵盖 52 个不同学科和四个难度级别,覆盖人文、社科、理工,及其他专业四个大方向,用以帮助中文社区研发大模型。
在CMMLU评估中,MiLM-6B在Five-shot和Zero-shot 测试中的平均分分别为57.17和60.37,均位列中文向模型第1。
“CMMLU”是一个综合性的中文大模型评估基准,涵盖了从基础学科到高级专业水平的67个主题,涉及自然科学、社会科学、人文、以及常识等,专门用于评估语言模型在中文语境下的知识和推理能力。
通过打榜,验证了我们对特定垂域进行定向增强的技术能够达到怎样的效果,这也是用轻量化模型进行业务定制的必备能力。虽然小米大模型取得了优异的成绩,但我们不会把榜单排名与用户体验画上等号。好成绩的背后,更重要的还是打磨技术、沉淀方法论,将它们运用到产品,提升用户体验才是我们的终极目标。
科技应着眼于解决问题,以需求与应用为落点。小米大模型采用“轻量化、本地部署”的方案,能够更好地解决多场景、个性化的用户需求。一方面,大模型本地运行无需担心“弱网、无网”情况,且响应速度快,使用稳定;另一方面,在提供更加个性化服务的同时,也能够更好地保护用户隐私,让技术真正改善用户体验,让成绩真正落地有效。
小米作为一家科技公司,将始终坚持我们的愿景、价值观:让所有人都能享受科技带来的美好生活,同时始终坚持技术为本的铁律,持续加大研发投入。2023年,小米研发投入预计会超过200亿。
此外,截至目前,我们的全球专利数已超过32000+件。质量也非常高,在《全球5G标准必要专利及标准提案研究报告(2023)》中,首次进入全球前十,可以说,在榜的企业,小米是最年轻的,速度最快的!
小米还很年轻,但是在技术投入与技术积累上,已经走在前列,取得了巨大的进展。时代在不断变化,小米也在不断成长,这一次小米科技战略升级,代表着我们不仅要对现在的生活有贡献,也要对人类未来的生活进步发展有贡献,构建我们的核心竞争力,成为一家真正伟大的科技公司。
未来,小米将扩大模型规模,不断探索端云结合、多模态融合的大模型解决方案,与小爱同学、MIUI、IoT、机器人、汽车等业务结合,提升小爱同学的理解能力与智能家居指令的识别能力等,给予用户更加个性化的智能体验,按照我们的思路,走出不一样的道路。
谢谢所有用户的支持!
