3月17日消息,百度日前在北京总部召开新闻发布会,百度创始人、董事长兼首席执行官李彦宏和百度首席技术官(CTO)王海峰出席。
会上,李彦宏展示了新一代知识增强大语言模型文心一言在文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成五个使用场景中的综合能力,王海峰解读了文心一言的技术特性及其背后的技术积累。
王海峰认为,文心一言是百度多年技术积累和产业实践的水到渠成,尤其是飞桨深度学习平台和文心大模型的联合优化,为文心一言提供了坚实的技术支撑。据介绍,文心大模型从2019年发布以来,已经从最初的自然语言理解大模型,发展成了跨语言、跨模态、跨任务、跨行业的能力完备的大模型平台。
据了解,文心一言是新一代知识增强大语言模型,也是百度继文心一格之后的又一个生成式AI产品,具备对话交互、内容创作、知识推理、多模态生成等能力。王海峰表示,新一代知识增强大语言模型文心一言,是在ERNIE及PLATO系列模型的基础上研发的。
王海峰介绍,文心一言的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术,ERNIE和PLATO中已经有应用和积累,在文心一言中又有了进一步强化和打磨;后三项则是百度已有技术优势的再创新,也是文心一言未来越来越强大的基础。
图源:百度官微,下同
在知识增强方面,文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化,是从大规模知识和无标注数据中,基于语义单元学习,利用知识构造训练数据,将知识学习到模型参数中;知识外用,是引入外部多源异构知识,做知识推理、提示构建等。
在检索增强方面,文心一言的检索增强,来自以语义理解与语义匹配为核心技术的新一代搜索架构。通过引入搜索结果,可以为大模型提供时效性强、准确率高的参考信息,更好地满足用户需求。
在对话增强方面,基于对话技术和应用积累,文心一言具备记忆机制、上下文理解和对话规划能力,实现更好的对话连贯性、合理性和逻辑性。
王海峰强调,飞桨深度学习平台支撑文心一言效果更好、效率更高、性能更强。他表示,文心大模型加上飞桨深度学习平台,夯实了产业智能化基座。随着文心一言与飞桨平台的进一步融合发展,人工智能技术和应用的研发将越来越标准化、自动化和模块化,加速人工智能的工业大生产,同时也反哺文心一言加速迭代进化,落地更多场景和行业,为千行百业智能化升级带来不竭动力。
据王海峰介绍,如今,飞桨平台已凝聚535万开发者,服务20万企事业单位,基于飞桨创建了67万个模型。
