文心一言是如何炼成的？在它背后有哪些技术加持？近日，百度首席技术官王海峰对文心一言所应用的技术及其特性和背靠的技术积累一一作了解读。

新一代知识增强大语言模型文心一言，是在百度ＥＲＮＩＥ及ＰＬＡＴＯ系列模型基础上研发的，具有对话交互、内容创作、知识推理、多模态生成等能力。王海峰介绍说，支撑文心一言的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。

“前三项是这类大语言模型都会采用的技术，在ＥＲＮＩＥ和ＰＬＡＴＯ中已有应用和积累，并在文心一言中进一步强化和打磨；后三项则是百度已有技术优势的再创新，也是文心一言未来越来越强大的基础。”王海峰说。

王海峰介绍，文心一言的知识增强主要有“知识内化”和“知识外用”两种方式。其中，知识内化是从大规模知识和无标注数据中基于语义单元学习，利用知识构造训练数据，将知识学习到模型参数中；知识外用则是引入外部多源异构知识，做知识推理、提示构建等。

文心一言的检索增强则来自以语义理解与语义匹配为核心技术的新一代搜索架构。王海峰说，通过引入搜索结果，可以为大模型提供时效性强、准确率高的参考信息，这也是文心一言能够在一些问答中强于ＣｈａｔＧＰＴ表现的重要原因之一。

在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，从而更好实现对话的连贯性、合理性和逻辑性。

文心一言还融合了不同类型的数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。

此外，百度构建了面向中文、服务应用、富含知识的多样化训练数据，对文心一言进行有监督精调，使其掌握的知识更精准，更懂中文和应用场景。比如“宫廷玉液酒多少钱一杯”等中文语境下特有的“知识问答”，必须要用中文语料“开小灶”。

文心一言将变得越来越好。王海峰说，文心一言开放测试后，将迅速建立起人类反馈、奖励模型和策略优化之间的“飞轮”机制。随着真实用户的反馈越来越多，文心一言的效果会越来越好、能力会越来越强。