大型语言模型（LLMs）是黑箱模型，常常难以捕获和获取事实知识。
黑箱模型：模型的内部结构和决策过程对于外部观察者来说是不可见或不可解释的。这意味着观察者只能通过输入和输出来理解模型的行为，而无法了解其具体的运作方式。
大规模语言模型：BERT ,RoBERTA,T5,(ChatGPT和PaLM3数十亿参数）
知识图谱（KGs），例如维基百科和华普，是结构化知识模型，明确存储丰富的事实知识。知识图谱可以通过提供外部知识以推理和解释，从而增强LLMs。同时，知识图谱难以构建并且具有不断演变的特性，这对知识图谱中生成新事实和表示未见知识的现有方法提出了挑战。
- LLMs增强的知识图谱
- 知识图谱增强的LLMs
- 二者平等
可以将知识图谱（KGs）融入到LLMs中。知识图谱（KGs），以三元组（头实体，关系，尾实体）的方式存储大量事实，是一种结构化且决定性的知识表示方式（例如，Wikidata [20]，YAGO [31]，和 NELL [32]）。
KGs对于各种应用至关重要，因为它们提供了准确的显式知识。此外，它们因其象征性推理能力而著名，该能力可以生成可解释的结果。KGs也可以随着新知识的不断加入而积极演化。此外，专家可以构建特定领域的KGs，以提供精确且可靠的特定领域知识。然而，KGs难以构建，而当前在KGs中的方法]在处理真实世界KGs的不完整和动态变化性质方面是不足够的。这些方法未能有效地模拟未见实体和表示新事实。此外，它们经常忽视KGs中的丰富文本信息。此外，KGs中的现有方法通常针对特定的KGs或任务定制，不够通用。因此，利用LLMs来解决KGs面临的挑战也是必要的。
在KG增强的LLMs中，KGs不仅可以被整合到LLMs的预训练和推理阶段，以提供外部知识，而且还可以用于分析LLMs并提供可解释性。在LLM增强的KGs中，LLMs已经被用于各种与KG相关的任务，例如KG嵌入，KG构建，KG-to-text生成，和KGQA，以提高KGs的性能并促进KGs的应用。在协同作用的LLM + KG中，研究人员将LLMs和KGs的优点结合起来，相互提高在知识表示和推理，方面的性能。虽然有一些关于知识增强LLMs的调查，主要关注使用KGs作为外部知识来增强LLMs，但它们忽视了其他整合KGs的可能性，以及LLMs在KG应用中的潜在角色。
在大规模语料库上预训练的大型语言模型（LLMs）已经在各种NLP任务中展现出巨大的潜力。如图3所示，大多数LLMs都源于Transformer设计，该设计包含了由自注意力机制赋能的编码器和解码器模块。根据架构结构，LLMs可以被分类为三个组：1）仅编码器的LLMs，2）编码器-解码器的LLMs，和3）仅解码器的LLMs。如图2所示，我们总结了几个具有不同模型架构，模型大小和开源可用性的代表性LLMs。
预训练：通过在大规模数据上进行无监督学习来训练模型的初始参数，以提供模型通用的的基础语言知识和语义理解能力，为后续的微调和迁移学习提供了有价值的基础。
最常用的预训练方法之一是基于语言模型的预训练。在这种方法中，模型被要求根据输入的上下文来预测缺失的单词或预测下一个单词，从而学习语言的概率分布和语义关系，捕捉到更广泛的语言规律和上下文信息。
在处理自然语言处理任务时表现出色，如文本分类、机器翻译、问答系统等
提示工程专注于创建和精炼提示，以最大化大型语言模型（LLMs）在各种应用和研究领域中的效用。如图所示，提示是为LLMs指定任务（例如，情感分类）的自然语言输入序列。一个提示可能包含几个元素，即1）指令，2）上下文，和3）输入文本。指令是指导模型执行特定任务的短句。上下文为输入文本或少数示例提供背景。输入文本是需要模型处理的文本。提示工程寻求提高大型语言模型（例如，ChatGPT）在多种复杂任务中的能力，如问题回答，情感分类和常识推理。链式思维（CoT）提示通过中间推理步骤实现复杂推理能力。提示提供了一种简单的方式，可以在无需微调的情况下利用LLMs的潜力。
知识图谱（KGs）知识图谱（KGs）将结构化知识存储为三元组集合KG = {(h, r, t) ⊆ E × R × E}，其中E和R分别表示实体和关系的集合。现有的知识图谱（KGs）可以根据存储的信息被分为四组：1）百科全书型KGs，2）常识KGs，3）特定领域KGs，以及4）多模态KGs。我们在图5中展示了不同类别的KGs的例子。
LLMs 以及 KGs 已被广泛应用在各种真实世界的应用中。我们在表1中总结了一些使用LLMs和KGs的代表性应用。ChatGPT/GPT-4是基于LLM的聊天机器人，可以以自然对话格式与人类进行交流。为了提高LLMs的知识意识，ERNIE 3.0 和 Bard将KGs整合进他们的聊天机器人应用中。Firefly开发了一款照片编辑应用，允许用户使用自然语言描述来编辑照片。Copilot、New Bing 和 Shop.ai 分别采用LLMs来增强他们在编码助手、网络搜索和推荐等领域的应用。Wikidata 和 KO 是两个代表性的知识图谱应用，被用来提供外部知识。AliOpenKG是一个为推荐设计的知识图谱。Doctor.ai 开发了一个健康护理助手，整合了LLMs和KGs以提供医疗建议。
KG增强的LLMs，LLM增强的KGs，以及协同的LLMs + KGs。
KG增强的LLMs
LLMs因其能够从大规模语料库中学习知识并在各种自然语言处理（NLP）任务中取得最先进的性能而闻名。然而，LLMs经常因其幻觉问题[15]和缺乏可解释性而受到批评。为解决这些问题，研究人员已经提出了用知识图谱（KGs）来增强LLMs。KGs以明确和结构化的方式存储大量知识，这可以用来增强LLMs的知识意识。一些研究人员已经提出在预训练阶段将KGs纳入LLMs，这可以帮助LLMs从KGs中学习知识。其他研究人员提出在推理阶段将KGs纳入LLMs。通过从KGs中检索知识，可以显著提高LLMs在获取特定领域知识方面的性能]。为了提高LLMs的可解释性，研究人员还利用KGs来解释LLMs的事实和推理过程。
由LLM增强的KG
知识图谱（KGs）储存着结构化的知识，这在很多实际应用中都起着至关重要的作用。然而，现有的KG方法在处理不完整的KG 和处理文本语料库来构建KG 方面存在短板。鉴于LLM的泛化能力，许多研究人员正试图利用LLM来解决KG相关的任务。最直接的方式就是将LLM作为KG相关任务的文本编码器。研究人员利用LLM处理KG中的文本语料库，然后使用文本的表示来丰富KG的表示。一些研究还使用LLM来处理原始语料库，并提取关系和实体用于KG的构建。最近的一些研究试图设计一个KG提示，这可以有效地将结构化的KG转化为LLM可以理解的格式。这样，LLM就可以直接应用到KG相关的任务中，例如KG完成和KG推理。
融合了LLM和KG的系统
这几年，研究人员越来越关注将LLM和KG融合的潜力。LLM和KG是两种固有的互补技术，应当将它们统一到一个通用框架中，以便互相增强。
分类
为了更好地理解将大型语言模型(LLMs)和知识图谱(KGs)统一的研究，我们为路线图中的每个框架提供了更细粒度的分类。具体来说，我们关注了将知识图谱和大型语言模型集成的不同方式，即，知识图谱增强的大型语言模型、知识图谱增量的大型语言模型，以及融合了大型语言模型和知识图谱的系统。
知识图谱增强的大型语言模型。整合知识图谱可以提高大型语言模型在各种下游任务中的性能和可解释性。我们将知识图谱增强的大型语言模型研究分为三组：1) 知识图谱增强的大型语言模型预训练包括在预训练阶段应用知识图谱并提高大型语言模型的知识表达的工作。2) 知识图谱增强的大型语言模型推理包括在大型语言模型的推理阶段使用知识图谱的研究，这使得大型语言模型能够在不进行再训练的情况下获取最新的知识。3) 知识图谱增强的大型语言模型的可解释性包括使用知识图谱来理解大型语言模型所学习的知识和解释大型语言模型的推理过程的工作。
大型语言模型增量的知识图谱。大型语言模型可以应用于增强各种与知识图谱相关的任务。我们根据任务类型将大型语言模型增量的知识图谱研究分为五组：1) 大型语言模型增强的知识图谱嵌入包括使用大型语言模型来丰富知识图谱的表示，通过编码实体和关系的文本描述。2) 大型语言模型增强的知识图谱完成包括使用大型语言模型编码文本或生成事实以提高知识图谱完成(KGC)性能的论文。3) 大型语言模型增强的知识图谱构建包括使用大型语言模型处理实体发现，共指消解，和关系提取任务以构建知识图谱的工作。4) 大型语言模型增强的知识图谱到文本生成包括使用大型语言模型生成描述来自知识图谱的事.
未来方向
- 使用知识图谱(KGs)进行大型语言模型(LLMs)的错觉检测
- 在LLMs中编辑知识的知识图谱(KGs)
- 用于黑盒LLMs知识注入的知识图谱(KGs)
- 针对知识图谱(KGs)的多模态LLMs
- 用于理解知识图谱结构的LLMs
- 用于双向推理的融合LLMs和KGs。
5 结论
将大型语言模型（LLMs）和知识图谱（KGs）统一是一个吸引了学术界和工业界越来越多关注的活跃的研究方向。在本文中，我们对该领域的最近研究提供了全面的概述。我们首先介绍了将KGs集成以增强LLMs的不同方式。然后，我们介绍了应用LLMs于KGs的现有方法，并基于各种KG任务建立了分类法。最后，我们讨论了这个领域的挑战和未来的方向。我们希望本文能够提供对这个领域的全面理解，并推动未来的研究。