大模型日报(11月5日 学术篇)

我们希望能够搭建一个AI学习社群,让大家能够学习到最前沿的知识,大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区:

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」,即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流,欢迎扫码。

大模型日报(11月5日 学术篇)

潜空间活动报名

本期活动将在11月9日 10:00开始,我们邀请到的嘉宾是鱼哲,Lepton AI 创始成员,曾在阿里云担任高性能 AI 平台产品负责人,专注于 AI 在多个行业的落地及应用。Lepton AI 致力于建立高效可用的AI 基础设施,让团队更关注于应用构建及落地。在本次分享中鱼哲将带来关于不同AI产品形态对团队的挑战相关的思考,分享主题《Beyond Infra,What matters?—— 不同AI产品形态对团队的挑战》。除嘉宾分享外,每期设置了【匹配合伙人 Cofounder Matching】环节。你可以和 GenAI 时代最有活力的创业者和研究者线下面对面交流,将有机会找到志同道合、有共同创业梦想的小伙伴。报名通道已开启,欢迎扫描下方二维码报名。

大模型日报(11月5日 学术篇)

信号

01

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond

这篇文章探讨了深度学习模型在应用中的一些意外表现,并旨在通过一个简单而准确的模型来深入理解这些现象。研究者们构建了一个基于一系列一阶近似的模型,将其作为实用分析的工具,并通过三个案例研究展示了该模型的有效性。该模型帮助揭示了多个著名现象的新的实证见解,如双下降现象、grokking、线性模式连通性以及在表格数据上应用深度学习的挑战。
文章强调,这种模型能够构建和提取度量标准,帮助预测和理解神经网络在预期之外的性能表现。此外,该模型提供了一种教育性的形式,使研究人员能够在复杂的现代环境中隔离训练过程的不同组件,从而更好地推理设计选择(如架构和优化策略)的影响。
最后,研究表明,深度学习模型的学习过程与梯度提升方法之间存在惊人的相似性,这为理解和改善深度学习模型的性能提供了新的视角。整体而言,文章为研究深度学习模型的复杂行为提供了重要的理论框架和实证支持。
大模型日报(11月5日 学术篇)
https://x.com/Jeffaresalan/status/1853460948440240213
02

Multi-expert Prompting Improves Reliability, Safety, and Usefulness of Large Language Models

这篇文章介绍了“多专家提示”(Multi-expert Prompting),这是一种对“专家提示”(ExpertPrompting)的新改进,旨在提升大型语言模型(LLM)的生成能力。该方法通过模拟多个专家来引导LLM执行输入指令,聚合各个专家的响应,并在个体和聚合响应中选择最佳答案。整个过程通过七个精心设计的子任务完成,这些子任务源自于知名的决策制定框架——名义小组技术(Nominal Group Technique)。
研究评估显示,多专家提示在提升响应的真实度、事实性、信息量和实用性方面显著优于专家提示及其他比较基线,同时减少了有害性和冒犯性。尤其是在使用ChatGPT时,该方法在真实度方面的表现超过了最佳基线8.69%,显示了其卓越的性能。
此外,多专家提示方法不仅高效且具有可解释性,且能够适应多种场景,消除了手动构建提示的需求。这使得该方法在实际应用中更具灵活性,能够为用户提供更高质量的输出。
大模型日报(11月5日 学术篇)
https://x.com/omarsar0/status/1853286452227899851
03

Centaur: a foundation model of human cognition

这篇文章提出了一种名为“Centaur”的计算模型,旨在模拟和预测人类在各种实验中的行为。研究人员通过在一个名为Psych-101的大规模数据集上微调现有的语言模型创建了Centaur。该数据集包含超过60000名参与者在160项实验中所做的超过1000万次选择,使得模型可以在多种实验情境下进行行为模拟。
与现有的认知模型相比,Centaur在预测未参与训练的受试者的行为方面表现更佳。此外,Centaur还具有很强的泛化能力,能够适应不同的实验结构、故事情节以及全新的任务领域。研究还发现,通过微调,该模型的内部表示与人类神经活动的相似度进一步提高。
综合来看,Centaur被视为首个能够提供统一认知理论的模型,有望对认知科学产生颠覆性影响。这一模型的成功展示了在认知建模领域中采用先进计算技术的潜力,并对传统的计算模型开发范式提出了挑战。
大模型日报(11月5日 学术篇)
https://x.com/IntuitMachine/status/1853331246211858676

HuggingFace&Github
01

screenshot-to-code

这个项目是一个简单的工具,利用人工智能将屏幕截图、原型和Figma设计转换为干净、功能性的代码,支持多种前端技术栈(如HTML + Tailwind、React + Tailwind、Vue + Tailwind)。它可以使用Claude Sonnet 3.5和GPT-4o两种AI模型进行转换,并提供实验性功能,将网站的视频/屏幕录像转换为可运行的原型。

大模型日报(11月5日 学术篇)

https://github.com/abi/screenshot-to-code
02

AnythingLLM

AnythingLLM是一个全栈应用程序,允许用户将任何文档、资源或内容转换为上下文,以供任何大型语言模型(LLM)在聊天中参考。该应用支持自定义AI代理、多模态功能和多用户管理(仅限Docker版本),并提供工作区内的代理功能(如浏览网页、运行代码)。它支持多种文档类型(如PDF、TXT、DOCX),具有简单直观的聊天界面,支持拖放和清晰引用。
大模型日报(11月5日 学术篇)
https://github.com/Mintplex-Labs/anything-llm?tab=readme-ov-file

推荐阅读
  — END —
1.   The theory of LLMs|朱泽园ICML演讲整理

2.   「理论与实践」AIPM 张涛:关于Diffusion你应该了解的一切

3.   「奇绩潜空间」吕骋访谈笔记 | AI 硬件的深度思考与对话

原创文章,作者:LLM Space,如若转载,请注明出处:https://www.agent-universe.cn/2024/11/21671.html

Like (0)
Previous 2024-11-05 18:30
Next 2024-11-06 18:50

相关推荐