大模型日报（11月15日学术篇）

LLM Space • 2024-11-15 19:23 • 产品 • 84 views

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

学术分析报告：ResearchFlow — 奇绩F23校友的开发的深度研究产品，PC端进入RFlow的分析报告，可直接点击节点右侧的小数字展开节点，登录后可在节点上直接“询问AI”，进一步探索深度信息

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

信号

LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation

在本文中，我们提出了 LLM2CLIP，这是一种利用 LLM 的力量来释放 CLIP 潜力的新颖方法。通过使用对比学习对标题空间中的 LLM 进行微调，我们将其文本功能提取到输出嵌入中，显着提高了输出层的文本辨别能力。然后，我们设计了一个高效的培训流程，其中经过微调的LLM充当 CLIP 视觉编码器的强大老师。由于 LLM 的存在，我们现在可以合并更长、更复杂的字幕，而不受普通 CLIP 文本编码器的上下文窗口和能力限制的限制。我们的实验表明，这种方法给跨模式任务带来了实质性的改进。

https://x.com/rohanpaul_ai/status/1857176763912348122

ResearchFlow:https://rflow.ai/flow/d5164a2e-2148-4ffd-b039-d86652a6f4b5

VPTQ: Extreme Low-bit Vector Post-Training Quantization for Large Language Models

在本文中，我们介绍了用于 LLM 极低比特量化的矢量训练后量化 (VPTQ)。我们使用二阶优化来制定LLM VQ问题，并通过求解优化来指导我们的量化算法设计。我们使用与通道无关的二阶优化来进一步细化权重，以实现粒度 VQ。此外，通过分解优化问题，我们提出了一种简单有效的码本初始化算法。我们还扩展了 VPTQ 以支持残差和异常值量化，从而提高了模型精度并进一步压缩了模型。

https://arxiv.org/abs/2409.17066

ResearchFlow:https://rflow.ai/flow/22a8bcb4-5cef-456b-a147-0ee1ae683a7d

Learning the language of DNA

DNA 语言仅包含四个核苷酸的词汇，它编码了协调细胞中从 DNA 到 RNA 和蛋白质的所有调控层所需的基本信息。这些指令指导每个细胞的功能并在世代之间传递信息。基因组序列的变化推动进化，使生物体能够通过有利 DNA 序列的自然选择来适应环境。因此，比较进化上多样化的基因组中的 DNA 序列可以使大型语言模型能够学习 DNA 语法，而这已经避开了在单一基因组上训练的模型 (1)。在本期第 746 页，Nguyen 等人。(2) 介绍 Evo，这是一个基于 2700 万个进化多样化的原核生物和噬菌体基因组进行训练的基础模型。学习了基因组逻辑后，Evo 可以解码自然基因组；支持 DNA、RNA 和蛋白质的预测和设计任务；并在全基因组规模上生成 DNA。

https://x.com/ScienceMagazine/status/1857137706112864541

HuggingFace&Github

eliza

Eliza 是一个功能丰富的对话式聊天机器人，支持 Discord、Twitter 和 Telegram 等多种平台。它可以轻松地摄取和与文档进行交互，并提供可检索的内存和文档存储。Eliza 是高度可扩展的，用户可以创建自己的动作和客户端来扩展其功能。它支持多种模型，包括本地 Llama、OpenAI、Anthropic、Groq 等。