大模型日报（8月21日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

Introducing Zed AI

Zed AI 是一个基于大型语言模型（LLM）的代码编辑器，专注于提升开发者的编程效率和精确控制。其核心功能包括 AI 助手面板和内联代码转换，旨在通过自然语言处理技术辅助编程工作。助手面板支持通过斜杠命令（如 /tab、/file）快速构建和编辑上下文信息，而内联转换则允许通过 ctrl-enter 触发代码的 AI 辅助转换和生成，支持多光标操作，提高了编码的并行处理能力。此外，Zed AI 还支持 Prompt Caching 技术，大幅提升了响应速度，并降低了成本。

https://zed.dev/blog/zed-ai

每天免费100万token，GPT-4o新增微调功能

OpenAI 推出 GPT-4o 数据微调功能，使开发者能够根据自定义数据集定制 AI 助手，提升特定领域的性能。SK Telecom 通过微调提升了对话总结和意图识别准确率。OpenAI 自 8 月 21 日至 9 月 23 日提供每天免费 100 万 token 的微调额度，之后推理成本为每 100 万 token 输入 3.75 美元，输出 15 美元。数据微调能够让模型更精准地处理特定任务，如情感分析。Genie、Harvey 和 Distyl 等案例证明了微调在提升软件开发、法律咨询和数据库查询等行业应用中的效果。微调后的 Genie 在 SWE-bench Verified 基准测试中实现了 43.8% 的 SOTA 得分，Harvey 的 AI 助手准确率提升了 83%，Distyl 在 BIRD-SQL 基准测试中获得了第一名，显示了数据微调的强大能力。

https://mp.weixin.qq.com/s/YR1AIc5ITdTgeAzv0OWI6w

智源千万级指令微调数据集Infinity-Instruct持续迭代，Llama3.1仅微调即可接近GPT-4

北京智源人工智能研究院推出的 Infinity-Instruct 数据集，包含 744 万条基础指令和 149 万条对话指令数据，旨在提升语言模型的基础能力和对话性能。经过微调的 Llama3.1 和 Mistral 模型在 Opencompass 评测中超越了 GPT-3.5，且 Llama3.1-70B 接近 GPT-4。数据集采用数据选择、指令合成、去重等技术，确保高质量。智源计划开源数据处理和模型训练代码，并将数据策略扩展到整个生命周期的语言模型构建中，以支持持续性能提升。

https://mp.weixin.qq.com/s/-OQHlVrKqMspDa8-rlfVxw

英伟达首个AI NPC入驻游戏

英伟达推出的 AI NPC 技术，以仅需 2GB 显存的 Minitron-4 4B Instruct 模型，首次在国产游戏《解限机》Mecha BREAK 中实现，标志着大模型在游戏中的新阶段。该技术由 NVIDIA ACE 引擎支持，使得 NPC 能够理解玩家语音，提供全语音、全动态的交互体验。尽管目前只在游戏中的一个角色上应用，且智能度不如云端 AI，但其响应速度快，且能在包括 RTX 2060 在内的多种显卡上运行，为游戏玩家带来了更真实的体验。

https://mp.weixin.qq.com/s/EsWhiFqhvewOvyi735QXGg

英伟达「LongVILA」开始发力长视频

英伟达与顶尖大学合作推出了「LongVILA」，这是一种针对长视频的全栈视觉语言模型解决方案。该模型支持高达 1024 帧的视频处理，并在长视频字幕任务上达到了接近 100% 的准确率。LongVILA 通过多模态序列并行框架（MM-SP）优化了训练和推理系统，使其高效且用户友好。研究者们提出了一种两阶段分片策略和 2D 注意力并行技术，以及一个五阶段的训练流程，包括多模态对齐、大规模预训练、短监督微调、LLM 的上下文扩展和长监督微调。实验结果证明了 LongVILA 在处理长视频时的高效性和准确性，且在系统吞吐量和最大序列长度支持方面优于现有技术。

https://mp.weixin.qq.com/s/T6eMi3DPq9_291bWqcFRgw

面向青年学者，陈天桥推出AI驱动科学研究国际大奖

天桥脑科学研究院与《科学》杂志合作推出 AI 驱动科学研究国际大奖，目的是表彰和激励全球青年科学家利用 AI 技术在自然科学领域（包括生命科学和物质科学）取得重大突破。面向获得博士学位 10 年以内的科学家，该奖项颁发 3 万美元的大奖和 1 万美元的优胜奖，并提供《科学》杂志数字版 5 年免费订阅。申报截止至 2024 年 12 月 13 日，所有获奖论文将发表在《科学》杂志上。此外，研究院和《科学》杂志自 2020 年起每年举办脑科学高端国际论坛，2024 年将在上海举办人工智能与精神健康的论坛。研究院创始人雒芊芊表示，这次大奖旨在鼓励青年科学家在顶级学术期刊上发表论文，并期待 AI 科学家成为未来诺贝尔奖得主的重要力量。陈天桥强调 AI 是科学研究的强大引擎，并希望通过这个奖项支持那些甘于寂寞的 AI 科学家。研究院正在建设一个服务于 AI 科学家的社区，并通过科学交流、培训指导和资金支持等方式，持续招募和扶持有志于科学研究的 AI 人才。

https://mp.weixin.qq.com/s/q1QhQAo2oQZROyiJzTxgNg

推特

ElevenLabs推出ElevenLabs影响力计划，旨在帮助100万人重新找回他们的声音

我们正在推出ElevenLabs影响力计划，旨在帮助100万人重新找回他们的声音。我们与非营利组织合作，提供免费的许可证，以提高无障碍性，促进教育，并改善共享的文化体验。

我们的第一个倡议是在@BridgingVoice 和 @DrScottMorgan 的合作下实现的，旨在帮助所有患有ALS/MND（肌萎缩性侧索硬化症/运动神经元病）的患者通过免费使用我们的技术来创建与他们自然语音高度匹配的个性化数字声音，从而保存他们的声音。

如果这对您或您所爱的人有帮助，请点击此处了解更多信息：https://elevenlabs.io/impact-program?utm_source=twitter&utm_medium=social_post&utm_campaign=impact_launch

如果您的非营利组织可以从AI音频技术中受益，请联系我们：https://elevenlabs.io/impact-partners?utm_source=twitter&utm_medium=social_post&utm_campaign=impact_launch

https://x.com/elevenlabsio/status/1825931836368789855

Hannun分享：突破长上下文限制，使用MLX语言模型。

突破长上下文限制，使用MLX语言模型。

使用整个MLX Python API进行编码。

在M2 Ultra上使用4-bit Llama 3.1 8B，在30秒内处理31,000个tokens，仅使用7.2 GB的内存。

示例： https://gist.github.com/awni/e6467ae27c8b8ca688bfaebaa733e177

https://x.com/awnihannun/status/1825921668671484081

Whisperfile：音频转换为文本的最简单方法

我刚刚推出了Whisperfile，这是一种将音频转换为文本的最简单方法。您只需下载一个文件，该文件嵌入了OpenAI的Whisper模型，并且可以100%在本地运行。它还能在转录的同时将非英语音频翻译成英文。

https://x.com/JustineTunney/status/1825594600528162818

Micro1完成330万美元的种子轮融资，用于打造一个AI招聘工具

最新消息：micro1完成了330万美元的种子轮融资，用于打造一个AI招聘工具

估值达到8000万美元

他们的AI招聘工具可以筛选入职申请者，与候选人进行面试并安排编码测试，并为每位候选人生成面试后报告

https://x.com/chiefaioffice/status/1825990369944707081

Yan：评估大型语言模型评估器的有效性

我撰写了一篇关于“评估大型语言模型评估器的有效性”的文章。

借鉴了二十多篇论文和相关结果，我们讨论了评估的应用场景、提示技巧、对齐工作流程、微调模型，以及对大型语言模型评估器作为评判工具的批评。

https://x.com/eugeneyan/status/1826056169041035325

产品

MolyPix.AI

在 MolyPix 可以轻松生成精美的“海报”设计，只需要一句话就能生成设计稿件，所有文字和图片都支持灵活编辑

除此之外，还提供很多 prompt 模板（包含 posters、invitations、postcards、birthday cards … ），让创作更高效、更轻松！

https://molypix.ai/

AgentQL

AgentQL 是一款基于 AI 的网页数据提取和自动化工具，允许用户通过自然语言查询来轻松获取网页数据，避免了传统 XPath 和 DOM 选择器的脆弱性。它希望提高数据抓取的准确性和灵活性，适应网站的结构变化，提升用户的工作效率。

https://www.agentql.com/

Fleak

Fleak AI 工作流是一款无服务器 API 构建平台，希望可以简化数据团队的工作流程。它与主要的云数据仓库和向量数据库集成，允许用户快速构建复杂的模型链数据工作流，帮助团队专注于业务影响，而无需处理繁琐的基础设施。

https://fleak.ai/

投融资

Defcon AI完成4400万美元种子轮融资，助力解决军事物流问题

Defcon AI，这家成立于2022年的初创公司，已成功完成了由Bessemer Venture Partners领投的4400万美元种子轮融资，其他参与方包括Fifth Growth Fund和Red Cell Partners等。公司专注于开发用于军事物流的复杂软件系统，目前已获得约1500万美元的政府合同，并已将产品投入实际操作中。Defcon AI计划扩大其软件的应用范围，并继续与国防部密切合作，以进一步提升产品的竞争力。

公司官网：https://www.defconai.com/