大模型日报（9月7~8日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

资讯

直击国产AI芯片生存现状：GPU造血，TPU突袭，Chiplet成大势，网络卡脖子

2024年全球AI芯片峰会（GACS 2024）于9月6日在北京开幕，吸引了大量观众并通过云直播吸引了120万人次观看。峰会以“智算纪元共筑芯路”为主题，涵盖AI芯片、Chiplet、RISC-V、智算集群等前沿领域，邀请了50多位行业专家进行分享。

壁仞科技在大会上宣布其异构GPU协同训练方案HGCT取得突破，实现了三种及以上异构GPU共同训练大模型的能力，这是业界首次。清华大学教授尹首一探讨了高算力芯片的五条创新路径，包括数据流芯片、存算一体芯片等。

高通、AMD等国际企业也展示了AI芯片领域的最新成果，涵盖从边缘设备到数据中心的全方位产品线。国产AI芯片企业如爱芯元智、凌川科技等在低成本和高性能方向不断创新，推动了AI芯片在智慧城市、智能驾驶等领域的落地。

峰会还讨论了大模型训练的技术瓶颈及解决方案，Chiplet技术成为打破性能瓶颈的重要方向，推动了AI芯片行业的多元化发展。

https://mp.weixin.qq.com/s/g_tvwJvl6zH70WUZ-obY5Q

2024全球AI芯片峰会收官：架构创新群雄混战，边端较劲大模型，两大榜单公布

9月6日至7日，2024全球AI芯片峰会（GACS 2024）在北京举行，主题为“智算纪元共筑芯路”。峰会聚焦AI芯片在算力、网络、存储等方面的最新技术和落地进展，吸引了50多位行业专家和超过1500位参会者。

技术亮点包括北京超弦存储器研究院首席科学家戴瑾的演讲，强调存算分离在处理大规模AI模型时的优势，同时介绍了SRAM、DRAM等传统与新兴存储介质的技术现状。珠海芯动力推出的可重构并行处理器（RPP）凭借高效算力和低功耗在边缘计算领域表现出色，基于14nm工艺与英伟达A100芯片竞争。

此外，亿铸科技提出存算一体架构，通过高速互连和Chiplet技术应对算力需求增长。时识科技展示了类脑智能的前景，类脑计算芯片在视觉处理和低功耗领域显示出显著优势。云天励飞、锋行致远等公司专注于边缘AI大模型，推出高性价比的存算一体解决方案和国产工艺芯片。

https://mp.weixin.qq.com/s/sWduYx8ta1IxUp_Wftyqnw

Reflection 70B 模型争议

最近，开源大模型社区因AI初创公司HyperWrite推出的Reflection 70B模型引发热议。该模型基于Meta的Llama 3.1 70B Instruct，使用Llama chat格式，确保了与现有工具和pipeline的兼容性。Reflection 70B在多个基准测试（如MMLU、MATH、IFEval、GSM8K）上表现超越GPT-4，甚至超过了Llama 3.1 405B，因而被誉为“开源大模型新王”。

Reflection 70B由两位开发者（HyperWrite CEO Matt Shumer 和Glaive AI创始人Sahil Chaudhary）仅用3周开发完成。然而，Artificial Analysis的独立评估表明，该模型的MMLU得分仅与Llama 3 70B相同，并低于Llama 3.1 70B。此外，科学推理与知识（GPQA）和定量推理（MATH）测试结果也未达到预期。

Reddit上的讨论显示，Reflection 70B可能是基于Llama 3而非Llama 3.1，并使用了LoRA（低秩近似）微调技术。部分用户通过代码分析验证了两者的权重差异，表明Reflection模型与Llama 3更为相似，尤其是在语言理解任务中反应不一致。此外，模型的权重问题也引发了社区质疑，开发者Matt Shumer解释称，Hugging Face平台上传的模型权重出现问题，并计划重新训练模型。

随着模型的更多测试结果曝光，社区对Reflection 70B的关注逐渐转向开发者的透明性和商业动机。开发者团队表示将尽快解决技术问题并重新上传训练后的模型，未来表现如何仍待观察。

https://mp.weixin.qq.com/s/Ip1Muv-jC6W9iHTBauJshQ

推特

Anthropic AI 提示工程深入解析：由Cluade总结

Anthropic 最近的 AI 提示工程深入解析是必看内容！

以下是 Claude 对所提到的提示技术和技巧的总结：

编写提示时要清晰、准确。清晰陈述任务并描述概念的能力至关重要。
需要快速迭代，多次向模型发送提示。优秀的提示工程师能够适应不断的反复调整和微调。
在设计提示时，考虑边缘案例和不寻常的场景。思考你的提示在非典型情况下可能会如何失败。
使用不完美、现实的用户输入来测试你的提示。不要假设用户会提供完全格式正确或语法无误的查询。
仔细阅读并分析模型输出。密切关注模型是否按预期遵循指令。
去除所有假设，并清晰传达完成任务所需的完整信息。系统性地分解任务，确保包括所有必要细节。
考虑模型的“心智理论”来编写提示。思考模型可能会以与预期不同的方式解读你的指令。
使用版本控制并在工作时跟踪实验。将提示像代码一样对待，在管理和迭代中加以利用。
让模型识别指令中的不明确部分或歧义。这可以帮助改进和优化你的提示。
精确但不要过度复杂化。目标是清晰的任务描述，不要构建不必要的抽象。
考虑典型案例和边缘案例之间的平衡。在处理边缘案例的同时，不要忽视主要使用场景。
考虑提示如何集成到更大的系统中。考虑数据源、延迟和整体系统设计等因素。
不要仅依赖写作技巧；提示工程需要清晰的沟通和系统化思考。优秀的写作者不一定是优秀的提示工程师，反之亦然。
与客户合作时，帮助他们理解用户输入的实际情况。引导他们考虑现实世界的使用模式，而不是理想化的场景。
广泛练习查看数据和模型输出。熟悉模型如何响应不同类型的提示和输入。

https://x.com/omarsar0/status/1832143997512642635

OpenAI 考虑为新大型语言模型设定每月 2000 美元的订阅价格

据报道，OpenAI 高管正在考虑为公司即将推出的大型语言模型（LLM）——如 Strawberry 和 Orion——设定高达每月 2000 美元的订阅价格。

据路透社 9 月 5 日星期四报道，引用了一篇基于匿名消息来源的《信息》付费文章，OpenAI 高管在关于这些 LLM 的早期内部讨论中讨论了更高的价格。

对于 PYMNTS 的置评请求，OpenAI 暂未立即回复。

https://www.pymnts.com/artificial-intelligence-2/2024/report-openai-considers-2000-monthly-subscription-prices-for-new-llms

用于反思提示的系统提示示例

你是一名 AI 助手，设计目的是提供详细的、逐步的回应。
1.从一个 <thinking> 部分开始。

2.在 thinking 部分中：

a. 简要分析问题并概述你的方法。

b. 提出解决问题的清晰步骤计划。

c. 使用“思维链”推理过程（如有必要），将你的推理过程分解为多个步骤。

3.对于每个想法，包含一个 <reflection> 部分，你需要：

a. 审查你的推理。

b. 检查是否有潜在的错误或疏漏。

c. 如果必要，确认或调整你的结论。

4.确保关闭所有 reflection 部分。

5.用 </thinking> 关闭 thinking 部分。

6.在 <output> 部分中提供你的最终答案。

请始终在回答中使用这些标签。在解释中要彻底，确保回答清晰完整。

记住： <thinking> 和 <reflection> 必须是标签，且必须在答案中关闭。

确保所有 <tags> 都位于独立的行上，且不要包含其他文本。

https://x.com/rohanpaul_ai/status/1832216833530712081

本地 AI 只运行在一张 SD 卡上：Henkel分享一张运行 Linux 的无线 SD 卡

Henkel：一张运行 Linux 的无线 SD 卡。开源的 SiP 非常适合 SD 卡的尺寸，还留有足够的空间用于放置 WiFi 芯片。

Brian Roemmele：你的本地 AI 在一张 SD 卡上。

想象一下这台运行 Linux 的计算机在一张 SD 卡上。

一个开源的 SiP 非常适合 SD 卡的尺寸。

我将在这张 SD 卡上运行一个本地和私密版本的 AI，无需连接到互联网。

（SiP 由 @QVHenkel 提供）

https://x.com/BrianRoemmele/status/1832390445961244755

MFLUX：在 Mac 上本地运行 FLUX 模型

Apple Silicon 用户现在快去安装 MFLUX！

在 http://fal.ai 上微调你的 Flux LORA
本地下载它们
感谢 @filipstrand 和 MLX，你可以在 Mac 上生成任意数量的图片！

你可以在 schnell 或 dev 上使用你的自定义 Lora。

在你的 Mac 上本地运行来自 Black Forest Labs 的强大 FLUX 模型！

MFLUX 是将 Huggingface Diffusers 库中 FLUX 实现逐行移植到 Apple MLX 的项目。MFLUX 刻意保持最小化和明确性——网络架构是硬编码的，除了 tokenizer 外不使用任何配置文件。其目标是拥有一个小型的代码库，专注于表达这些模型（因此避免过多的抽象）。虽然 MFLUX 优先考虑可读性而非通用性和性能，但它仍然可以非常快速，甚至在量化后速度更快。

https://x.com/ivanfioravanti/status/1832399920328061207

AI Codex：Cursor AI 的自我改进系统

介绍 AI Codex：@cursor_ai 的自我改进系统。

◆ http://codex.md：错误和学习存储库。

◆ http://learn.md：自动保存新见解。

◆ http://split-codex.md：智能分类。

免费、开源、即用型模板。

https://x.com/zbeyens/status/1832079140083687671

产品

CX Genie

CX Genie 是一个无代码的 AI 驱动客户支持平台，可以帮助企业提升客户体验和优化内部运营。它提供了一系列功能，包括聊天机器人、工单管理和帮助台，能够执行自动化任务并个性化客户互动。

https://www.cxgenie.ai/

Trupeer

Trupeer 是一款基于人工智能的工具，可以将屏幕录制快速转换为高质量的产品视频和用户指南，用户只需简单录制，AI 就可以自动生成脚本、配音和视频效果，非常适合内容创作者和产品开发者。

https://www.trupeer.ai/

videoGen( YC 24)

VideoGen 是一个快速生成专业视频的工具，用户只需简单点击即可创建版权自由的视频，适合内容创作者和企业使用。它提供自定义选项，可以添加音乐和媒体资料，从而降低视频制作的成本和复杂性。

https://videogen.io

投融资

VidAU 完成 Pre-A 轮融资，推动 AI 视频模型发展

跨境电商 AI 视频大模型 VidAU 近日宣布完成由诺辉资本领投的 Pre-A 轮融资，此轮资金将用于提升智能算法和模型研发，进一步巩固其技术壁垒。此前，VidAU 已获得 River Jin Technology Limited 的天使轮投资。

这一系列资金的注入，表明投资者对 VidAU 在视频营销领域的创新能力充满信心。VidAU 通过其 AI 驱动的平台，简化了视频制作流程，用户仅需输入简单信息便能生成复杂结构的视频，帮助全球电商企业提升效率并降低成本。此外，VidAU 的 AI 数字人功能能够通过多种语言和多样化的风格吸引观众，特别适用于 TikTok、YouTube 等社交平台的营销推广。

VidAU 的技术团队占公司总人数的 80% 以上，展现了其强大的研发实力。创始人 Joanna 表示，公司未来将持续优化模型，并与全球品牌深度合作。投资方诺辉资本则看好 VidAU 在全球市场的拓展潜力，认为 AI 将深度融入各行各业，推动行业发展与创新，为企业带来更大价值。

公司官网：https://www.vidau.ai/