大模型日报（4月10日学术篇）

特别活动！

欢迎观看大模型日报，如需进入大模型日报群和空间站请直接扫码。社群内除日报外还会第一时间分享大模型活动。

欢迎大家一起交流！

论文

鹰与金翅雀：使用矩阵值状态和动态递归的RWKV

我们提出了Eagle（RWKV-5）和Finch（RWKV-6），这是在RWKV（RWKV-4）架构基础上改进的序列模型。我们的架构设计包括多头矩阵值状态和动态循环机制，提高了表达能力，同时保持了RNN的推断效率特性。我们引入了一个包含1.12万亿token的新多语种语料库，并基于贪婪匹配提供了一个快速的分词器，增强了多语种能力。我们训练了四个Eagle模型，参数范围从0.46到75亿，以及两个Finch模型，参数为16亿和31亿，发现它们在各种基准测试中取得了竞争性表现。我们在HuggingFace上发布了所有模型，使用Apache 2.0许可。模型链接见上文。

http://arxiv.org/abs/2404.05892v1

MiniCPM：揭示小型语言模型通过可伸缩训练策略的潜力

随着拥有高达万亿参数的大型语言模型（LLMs）的发展引起了人们的极大兴趣，但也引发了对资源效率和实际成本的担忧，尤其是鉴于实验的巨大成本。在这种情况下，探索小语言模型（SLMs）作为资源有效的替代方案的潜力变得至关重要。为此，我们推出了MiniCPM，特别是1.2B和2.4B非嵌入参数变体，不仅在各自类别中表现出色，而且还展示了与7B-13B LLMs相媲美的能力。我们的方法展示了对未来LLM研究在模型和数据维度上的可扩展性。在模型缩放方面，我们进行了大量的模型风洞实验，以实现稳定和最佳缩放。在数据缩放方面，我们引入了一个适合于持续训练和领域适应的Warmup-Stable-Decay（WSD）学习率调度器（LRS）。通过WSD LRS，我们现在能够有效地研究数据模型缩放定律，无需在模型和数据的两个轴上进行广泛的重新训练实验，从而得出比Chinchilla Optimal更高的计算最佳数据模型比率。此外，我们推出了MiniCPM系列，包括MiniCPM-DPO，MiniCPM-MoE和MiniCPM-128K，其出色的性能进一步巩固了MiniCPM在各种SLM应用中的基础。MiniCPM模型可在https://github.com/OpenBMB/MiniCPM 上公开获得。

http://arxiv.org/abs/2404.06395v1

吴氏方法可以提升符号人工智能，使其与IMO几何银牌选手匹敌，AlphaGeometry超越金牌选手

证明几何定理是视觉推理的标志，结合直觉和逻辑能力。因此，自动证明奥林匹克级别几何问题被视为人类级别自动推理的一个显著里程碑。AlphaGeometry的引入，一个用1亿个合成样本训练的神经符号模型，标志着一个重大突破。它解决了30个国际数学奥林匹克(IMO)问题中的25个，而基于吴氏方法的报告基线仅解决了10个。在这个论文中，我们重新审视了引入AlphaGeometry的IMO-AG-30挑战，并发现吴氏方法令人惊讶地强大。吴氏方法单独可以解决15个问题，其中一些问题其他方法均无法解决。这导致两个关键发现：(i)将吴氏方法与经典的演绎数据库以及角度、比例和距离追逐等合成方法结合，在仅使用CPU笔记本电脑，每个问题限定5分钟的情况下解决了30个问题中的21个。基本上，这种经典方法仅比AlphaGeometry少解决了4个问题，并建立了足够强大的第一个完全符号基线，可以与IMO银牌得主的表现匹敌。(ii)吴氏方法甚至解决了AlphaGeometry未能解决的5个问题中的2个。因此，通过将AlphaGeometry与吴氏方法结合，我们为IMO-AG-30上的自动定理证明设立了一个新的技术水准，解决了30个问题中的27个，这是第一个优于IMO金牌获得者的人工智能方法。

http://arxiv.org/abs/2404.06405v1

AgentQuest: 一个模块化的基准框架，用于衡量进展并改进LLM智能体

摘要：大语言模型（LLMs）取得的进展促使人们追求能够解决复杂、多步推理任务的LLM智能体。AgentQuest提出面临的问题，我们提出了AgentQuest框架–一个框架，其中（i）基准测试和评估指标都是模块化且易于扩展，通过文档完备且易于使用的API；（ii）我们提供了两个新的评估指标，可以可靠地跟踪LLM智能体在解决任务时的进展。我们通过两个用例展示了指标的实用性，并在识别常见故障点的基础上，改进了智能体架构，显著提高了性能。希望与研究社区一起进一步扩展AgentQuest，我们已将其提供在

https://github.com/nec-research/agentquest

http://arxiv.org/abs/2404.06411v1

Transformer的可解释性能否转移到RNNs？

最近，对循环神经网络（如 Mamba 和 RWKV）架构的进展使RNN能够在语言建模困惑度和下游评估方面与同等规模的Transformer相匹敌甚至超越，暗示未来系统可能建立在全新的架构之上。本文研究了最初设计用于Transformer语言模型的部分可解释性方法是否能够转移到这些新兴的循环架构上。具体来说，我们关注通过对比激活添加引导模型输出，通过调整镜头引发潜在预测，以及从经过微调以产生特定条件下错误输出的模型中提取潜在知识。我们的结果表明，当应用于RNN时，这些技术大多是有效的，并且我们展示了通过利用RNN的压缩状态，有可能改进其中一些技术。

http://arxiv.org/abs/2404.05971v1

高噪音调度是必要的

一种新的训练技术被提出，用于改进图像生成的一致性模型。通过引入多项式噪声分布，使得模型在高低噪声水平之间保持平衡，取得了比基本一致性模型更好的结果。进一步引入了基于正弦函数的课程表，进一步提升了去噪性能。实验结果显示，多项式噪声分布优于对数正态噪声分布，在10万次训练步骤后获得33.54的FID分数。同时，基于正弦函数的课程表的实施提高了去噪性能，产生了30.48的FID分数。

http://arxiv.org/abs/2404.06353v1

MuPT：一个音乐生成符号预训练Transformer

在这篇论文中，我们探讨了大语言模型（LLMs）在音乐预训练中的应用。虽然MIDI在音乐建模中的广泛应用已得到确认，但我们的发现表明LLMs与ABC记谱更加兼容，更符合其设计和优势，从而提高了音乐创作模型的性能。为了解决生成过程中不同轨道的不对齐措施所带来的挑战，我们提出了开发同步多轨ABC记谱（SMT-ABC记谱）的方案，旨在保持多个音乐轨道之间的连贯性。我们的贡献包括一系列能够处理高达8192个token的模型，覆盖了我们训练集中90%的符号音乐数据。此外，我们探讨了符号音乐缩放定律（SMS定律）对模型性能的影响。结果显示了音乐生成研究的未来方向，并通过我们的开源贡献为社区主导的研究提供了广泛资源。

http://arxiv.org/abs/2404.06393v1

书生·浦语灵笔2：视觉语言模型，可以处理从336像素到4K高清的分辨率

InternLM-XComposer2-4KHD:一个开创性的大型视觉语言模型,可以处理从336像素到4K高清的分辨率。在16个基准测试中的10个显示出超越GPT4V和Gemini Pro的卓越能力。

代码仓库:

https://github.com/InternLM/InternLM-XComposer

论文:

https://arxiv.org/abs/2404.06512

https://x.com/arankomatsuzaki/status/1777872267709464618

HuggingFace&Github

Open-Sora-Plan

更新了最新探索：MagicTime，它从延时视频中学习现实世界的物理知识。

https://github.com/PKU-YuanGroup/Open-Sora-Plan

ByteEdit

ByteEdit 是一个创新的反馈学习框架，经过精心设计，旨在提升、遵守和加速生成图像编辑任务。它无缝集成了致力于增强美感和图像文本对齐的图像奖励模型，同时还引入了一个密集的像素级奖励模型，旨在促进输出的连贯性。此外，ByteEdit 还提出了一种开创性的对抗式和渐进式反馈学习策略，以加快模型的推理速度。通过广泛的大规模用户评估，研究人员证明了 ByteEdit 在生成质量和一致性方面都超过了领先的生成图像编辑产品，包括 Adobe、Canva 和美图等。