大模型日报（11月14日学术篇）

LLM Space • 2024-11-14 18:15 • 产品 • 102 views

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

学术分析报告：ResearchFlow — 奇绩F23校友的开发的深度研究产品，PC端进入RFlow的分析报告，可直接点击节点右侧的小数字展开节点，登录后可在节点上直接“询问AI”，进一步探索深度信息

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

信号

Problem-Oriented Segmentation and Retrieval: Case Study on Tutoring Conversations

许多开放式对话（例如，辅导课程或商务会议）都围绕预定义的参考资料展开，例如工作表或会议要点。为了提供一个研究此类对话结构的框架，我们引入了面向问题的分段和检索（POSR），即将联合将对话分解为多个部分并将每个部分链接到相关的参考项目。作为一个案例研究，我们将 POSR 应用于教育，其中围绕问题有效地构建课程至关重要但很困难。我们推出了 LessonLink，这是第一个真实世界辅导课程的数据集，具有 3,500 个片段，跨越 24,300 分钟的教学时间，并与 116 道 SAT 数学题相关联。我们定义并评估了 POSR 的几种联合和独立方法，包括分割（例如 TextTiling）、检索（例如 ColBERT）和大型语言模型（LLMs）方法。我们的结果强调，将 POSR 建模为一项联合任务至关重要： POSR 方法在联合指标上比独立分割和检索管道高出 +76%，在细分指标上比传统细分方法高出 +78%。我们展示了 POSR 对下游教育应用的实际影响，对现实世界课程结构中的语言和时间使用得出新的见解。

https://arxiv.org/abs/2411.05821

ResearchFlow:https://rflow.ai/flow/d15ca192-2ffd-45ce-9ad6-79681b48c03b

Long Term Memory: The Foundation of AI Self-Evolution

像 GPT 这样的大型语言模型（LLMs）在庞大的数据集上进行了训练，在语言理解、推理和规划方面表现出了令人印象深刻的能力，在各种任务中实现了人类水平的表现。大多数研究都侧重于通过在越来越大的数据集上进行训练来构建更强大的基础模型来增强这些模型。虽然训练更强大的模型很重要，但使模型能够在推理过程中进化也同样重要，我们称之为 AI 自我进化。与大规模训练不同，自我进化可能依赖于有限的数据或交互。受人类大脑皮层柱状组织的启发，我们假设 AI 模型可以通过与环境的迭代交互来发展认知能力并构建内部表征。为此，模型需要长期记忆（LTM）来存储和管理已处理的交互数据。LTM 通过表示跨环境和代理的不同体验来支持自我进化。在本报告中，我们探讨了 AI 自我进化及其在推理过程中增强模型的潜力。我们研究了 LTM 在终身学习中的作用，允许模型根据积累的交互进行发展。我们概述了 LTM 的结构以及有效数据保留和表示所需的系统。我们还对使用 LTM 数据构建个性化模型的方法进行了分类，并展示了这些模型如何通过交互实现自我进化。使用 LTM，我们的多智能体框架 OMNE 在 GAIA 基准测试中获得了第一名，展示了 LTM 在 AI 自我进化方面的潜力。最后，我们提出了未来研究的路线图，强调了 LTM 对于推进 AI 技术及其实际应用的重要性。

https://arxiv.org/abs/2411.07598

HuggingFace&Github

TinyTroupe

TinyTroupe 是一个基于 Python 的实验性库，允许模拟具有特定性格、兴趣和目标的人工智能代理（TinyPersons），利用大型语言模型（如 GPT-4）生成逼真的模拟行为。这个项目希望可以增强人类的想象力，并为业务洞察力提供支持，包括广告评估、软件测试、数据生成和产品管理等应用场景。