大模型日报（9月13日学术篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

论文

基于话语重写的无监督对话主题分割模型

对话主题分割在各种对话建模任务中起着至关重要的作用。当前最先进的无监督对话主题分割（DTS）方法通过相邻话语匹配和伪分割，从对话数据中学习与主题相关的语篇表示，进一步挖掘未标注对话关系中的有用线索。然而，在多轮对话中，话语常常存在共指或省略，导致直接使用这些话语进行表示学习可能会对邻近话语匹配任务中的语义相似性计算产生负面影响。为了充分利用对话关系中的有用线索，本研究提出了一种新颖的无监督对话主题分割方法，该方法结合了话语重写（Utterance Rewriting, UR）技术与无监督学习算法，通过重写对话以恢复共指和省略词，有效利用未标注对话中的有用线索。与现有的无监督模型相比，所提出的话语重写主题分割模型（UR-DTS）显著提高了主题分割的准确性。主要发现是在DialSeg711数据集上，绝对误差评分和WD分别提高了约6%，达到11.42%和12.97%；在Doc2Dial数据集上，绝对误差评分和WD分别提高了约3%和2%，最终在绝对误差评分和WD上达到35.17%和38.49%，实现了当前最优（SOTA）的性能。这表明该模型在捕捉对话主题的细微差别方面非常有效，同时展示了利用未标注对话的有用性和挑战性。

https://arxiv.org/abs/2409.07672

微调大型语言模型用于实体匹配

生成式大型语言模型（LLMs）因其高零样本（zero-shot）性能和对未见实体的泛化能力，成为实体匹配的有前景的替代预训练语言模型的选择。现有关于使用LLMs进行实体匹配的研究主要集中在提示工程（prompt engineering）和上下文学习（in-context learning）上。本文探讨了微调LLMs在实体匹配中的潜力。我们从两个维度分析了微调方法：1）训练样本的表示，我们尝试在训练集中添加不同类型的LLM生成的解释；2）使用LLMs进行训练样本的选择和生成。除了在源数据集上的匹配性能外，我们还研究了微调如何影响模型在其他同领域数据集以及跨主题领域的泛化能力。实验结果表明，微调显著提升了较小模型的性能，而对较大模型的效果则参差不齐。微调还改善了对同领域数据集的泛化能力，但对跨领域迁移产生了负面影响。我们发现，向训练集中添加结构化解释对四个LLMs中的三个模型的性能有正面影响，而所提出的示例选择和生成方法仅提升了Llama 3.1 8B的性能，同时降低了GPT-4o Mini的性能。

https://arxiv.org/abs/2409.08185

Source2Synth：基于真实数据源的合成数据生成与整理

大型语言模型（LLMs）在利用结构化数据、复杂推理或工具使用的挑战性场景中仍然存在困难。本文提出了Source2Synth：一种无需依赖昂贵的人类注释即可用于教授LLMs新技能的新方法。Source2Synth以自定义数据源作为输入，生成具有基于现实世界来源的中间推理步骤的合成数据点。Source2Synth通过根据可回答性丢弃低质量的生成内容，从而提高数据集的质量。我们通过将该方法应用于两个具有挑战性的领域来证明其通用性：在多跳问题回答（Multi-Hop Question Answering, MHQA）中测试推理能力，以及在表格问题回答（Tabular Question Answering, TQA）中测试工具使用能力。与微调基线相比，我们的方法在WikiSQL的TQA任务上提升了25.51%，在HotPotQA的MHQA任务上提升了22.57%。

https://arxiv.org/abs/2409.08239

逆向约束强化学习综述：定义、进展与挑战

逆向约束强化学习（Inverse Constrained Reinforcement Learning, ICRL）是从专家代理的示范数据中推断其遵循的隐式约束的任务。作为一个新兴的研究主题，ICRL近年来受到了相当大的关注。本文对ICRL的最新进展进行了分类综述。它作为机器学习研究人员和从业者的全面参考，同时也适合初学者理解ICRL的定义、进展和重要挑战。我们首先正式定义了该问题，并概述了在各种场景下促进约束推断的算法框架。这些场景包括确定性或随机环境、有限示范的环境以及多代理环境。对于每种情境，我们说明了关键挑战并介绍了一系列基础方法来解决这些问题。本综述涵盖了用于评估ICRL代理的离散、虚拟和现实环境。我们还深入探讨了ICRL的最相关应用，如自动驾驶、机器人控制和体育分析。为了促进持续研究，本文在结尾讨论了ICRL中的关键未解问题，这些问题能够有效地架起理论理解与实际工业应用之间的桥梁。

https://arxiv.org/abs/2409.07569

深度学习正则化在离线强化学习中对演员网络的作用

深度学习正则化技术，如emph{dropout}、emph{layer normalization}或emph{weight decay}，在构建现代人工神经网络中被广泛采用，通常能带来更稳健的训练过程和更好的泛化能力。然而，在emph{强化学习}（Reinforcement Learning, RL）领域，这些技术的应用仍然有限，通常仅应用于价值函数估计器 citep{hiraoka2021dropout, smith2022walk}，且可能产生不利影响。这一问题在离线强化学习（offline RL）环境中更加明显，尽管离线RL与监督学习更为相似，但其研究关注度较低。近期在连续离线RL中的研究表明，尽管我们可以构建足够强大的评论家网络（critic networks），但演员网络（actor networks）的泛化能力仍然是一个瓶颈。在本研究中，我们通过实验证明，在离线RL的演员-评论家算法中对演员网络应用标准正则化技术，平均可以在两种算法和三个不同的连续D4RL领域中提升6%的性能。

https://arxiv.org/abs/2409.07606

GRE²-MDCL：通过多维对比学习增强的图表示嵌入

图表示学习已成为在将节点映射到向量表示时保留图拓扑结构的强大工具，支持节点分类、社区检测等各种下游任务。然而，大多数现有的图神经网络（Graph Neural Network, GNN）模型面临需要大量标注数据的挑战，这限制了它们在标注数据稀缺的实际场景中的应用。为了解决这一挑战，研究人员探索了图对比学习（Graph Contrastive Learning, GCL），利用增强的图数据和对比学习技术。尽管前景广阔，现有的GCL方法在有效捕捉局部和全局图结构以及平衡节点级和图级表示之间的权衡方面仍然存在困难。在本研究中，我们提出了通过多维对比学习增强的图表示嵌入（Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning, GRE²-MDCL）。我们的模型引入了一种新颖的三网络架构，以多头注意力GNN作为核心。GRE²-MDCL首先使用奇异值分解（SVD）和局部注意力GNN（Local Attention GNN, LAGNN）技术对输入图进行全局和局部增强。然后，它构建了一个多维对比损失，结合了跨网络、跨视图和邻居对比，以优化模型。在基准数据集Cora、Citeseer和PubMed上的大量实验表明，GRE²-MDCL实现了最先进的性能，平均准确率分别达到82.5%、72.5%和81.6%。可视化结果进一步显示了更紧密的类内聚集和更清晰的类间边界，突显了我们框架在提升基线GCL模型方面的有效性。