大模型日报（7月13~14日学术篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

学习

大视觉模型 (LVM) 解读 (六)：VIM：使用 ViT 改进的 VQGAN 进行矢量量化图像生成

文章首先介绍了 VIM 的背景，即受到自然语言处理领域的启发，视觉领域也探索了使用 GPT 风格的模型对图片进行自回归预训练，但传统的方法如 iGPT 对高分辨率图像处理效率低下。VQGAN 通过将图片量化为离散的 latent tokens 并自回归建模，提高了图像生成的效果。VIM 进一步改进了 VQGAN，通过使用 Vision Transformer (ViT) 替代原有的 ConvNet 作为编码器和解码器，提高了图像重建的质量和效率。VIM 的框架包括两个阶段：图像量化和矢量量化图像建模。在第一阶段，ViT-VQGAN 将图像编码为离散的 image tokens；在第二阶段，使用 Transformer 模型自回归预测这些 tokens，实现图像生成和理解任务。文章详细描述了 ViT-VQGAN 的编码器结构、训练损失函数、以及如何通过低维度的线性投影和 ℓ2 归一化提高码本使用率和重建质量。实验结果表明，ViT-VQGAN 在 ImageNet 数据集上的无条件和 class-conditioned 图像生成能力显著优于 VQGAN，并且在无监督学习任务中的 Linear Probing 精度也超过了 iGPT。最后，文章还讨论了不同模型大小和码本大小对实验结果的影响。

https://zhuanlan.zhihu.com/p/705224905

蚂蚁集团在大模型推荐上的算法和应用

蚂蚁集团在大模型推荐系统中应用了两阶段融合策略：首先利用大模型进行知识提取，构建结构化的知识图谱；其次，通过蒸馏技术将大模型的推理能力转移到轻量级模型，以优化推荐效果和计算效率。在知识提取过程中，通过设计高质量的 prompt 和采用 KG-BERT 排序等策略，确保生成的目标实体具有高准确性、创新性和多样性。大模型作为教师模型，通过生成式 Loss 微调小模型，使其能够生成推荐理由，并通过排名蒸馏确保知识迁移的有效性。

https://zhuanlan.zhihu.com/p/708502339

一周AI入门到设计一款NPU芯片系列一给芯片设计爱好者的礼物

本文旨在为 AI 和 FPGA 芯片设计初学者提供一份深入的技术指南，重点介绍了 NPU 芯片的设计原理和实现过程。作者首先指出了芯片行业的就业挑战，强调了知识分享的重要性，并对 NPU 在市场上的现状和重要性进行了阐述。文章详细介绍了 NPU 的基本概念、主要功能以及在推理任务中的应用。

文章接着深入探讨了 NPU 的设计细节，包括如何通过 API 接口加速卷积运算，以及如何设计一个通用的 CNN 加速器。作者以一个开源项目为例，详细剖析了 NPU 的关键模块，如处理元素（PE）、Relu 和最大池化模块，并提供了 Verilog HDL 的代码实现。这些模块的设计涉及到了多种技术细节，例如乘法器、加法器树、D 触发器的使用，以及如何处理不同大小的输入和权重。

https://zhuanlan.zhihu.com/p/708454487

A Primer on Memory Consistency and Cache Coherence 翻译计划（一）：引言

文章作者 kaitoukito 为了系统学习内存模型相关知识，开始了对《A Primer on Memory Consistency and Cache Coherence (2nd Edition)》的翻译工作。该书的翻译计划已经移步到 GitHub，以便更多人参与和学习。文章中，作者解释了为什么需要 memory consistency model 和 cache coherence，并阐述了这两个概念的区别和联系。Memory consistency model 定义了共享内存系统正确性的精确规范，而 cache coherence 是实现该模型的一种手段。文章还概述了书中各章节的内容，包括 consistency 和 coherence 的基础知识、不同的内存一致性模型（如顺序连贯性、总存储顺序、宽松连贯性模型）、cache coherence 协议（如监听缓存一致性和目录缓存一致性协议），以及异构系统中的 consistency 和 coherence 问题。最后，作者提到了本书未涉及的内容，如同步技术、商用的宽松连贯性模型、并行编程和分布式系统的 consistency，并列出了参考文献。

https://zhuanlan.zhihu.com/p/552305284

Ascend C 多核并行/流水计算/dobule buffer技术

文章介绍了 Ascend C 算子在 Ascend AI 处理器（NPU）上实现多核并行、流水计算和 double buffer 技术的原理和实践。首先，介绍了 AI Core 的硬件基础，包括标量计算单元、向量计算单元、矩阵计算单元、Local Memory 和 DMA 单元，这些是实现大规模神经网络计算加速的基础。其中，向量计算单元每个指令周期可处理 128 个 FP16 的加法，矩阵计算单元每个指令周期可完成两个 16×16 FP16 的矩阵乘法。

接着，文章通过一个典型算子的实现，展示了如何基于 Ascend C 进行数据切分和流水线处理。开发者通过编写核函数，利用 block_idx 计算输入输出数据在 Global Memory 上的偏移地址，实现多核并行。通过 TPIPE 流水线范式，CopyIn、Compute、CopyOut 三个阶段可以实现流水线工作，并通过 double buffer 技术进一步提高流水线的执行效率。

文章还详细解释了流水计算中的 set_flag/wait_flag 指令对，它们通过实现锁机制确保数据拷贝和计算的正确执行顺序。最后，通过引入 BUFFER_NUM 变量和修改少量代码，可以启用 double buffer，使得数据搬运和计算可以重叠进行，提高了整体的计算效率。

https://zhuanlan.zhihu.com/p/708461025

重温SSM（四）：有理生成函数的新视角

本文首先回顾了 S4 模型的基础，包括线性 RNN 的表达形式、卷积运算与生成函数的关系，以及如何通过生成函数高效计算卷积核K_{<L}。接着，详细介绍了 RFT 方法，即将 SSM 模型的训练、推理和参数化转移到生成函数空间中，这种方法不再依赖于 state size d，能够降低计算复杂度至O(LlogL)。作者进一步解释了有理函数与 SSM 模型的联系，并通过行列式恒等式确立了系数a和b与A, B, C的对应关系。文章还探讨了如何求解A, B, C，提出了使用 “友矩阵（Companion matrix）” 来构造实矩阵的方法。最后，作者讨论了初始化方式，指出在初始化时将a_1,a_2,...,a_d设为零能够提高数值稳定性，并且通过实验效果展示了 RFT 模型的优势。文章最终总结了 RTF 的计算流程简化和表达能力提升，以及如何通过增大 state size 来改善模型效果，而不增加计算复杂度。

https://zhuanlan.zhihu.com/p/708444856

浅谈寒武纪开源的Triton-Linalg编译器前端

寒武纪最近开源了 Triton-Linalg，这是一款跨平台的 AI 编译器前端，专为支持 Triton 语言设计，它能够帮助开发者以较低的成本快速集成特定领域架构（DSA）的指令集，并与上层 AI 应用对接。Triton-Linalg 的技术实现包括 Analysis、Conversion、Dialect 和 Transforms 四个部分，其中 Analysis 包括指针连续性分析算法等，Conversion 负责将 Triton/Arith/Math 转换为 Linalg，Dialect 定义了 Linalg 扩展算子，Transforms 则扩充了社区方言的标准化和优化 pass。与微软的 Triton-Shared 相比，寒武纪的 Triton-Linalg 在指针处理和算子处理上采用了不同的原则和技术，特别是在指针和 Tensor/Memref 的衔接以及连续性分析算法方面展现了原创性。这些技术的目的是为了优化 DSA 场景中的访存性能，并降低 AI 硬件集成 Triton 的难度。

https://zhuanlan.zhihu.com/p/706401510

HuggingFace&Github

Motion-I2V

Motion-I2V 是一个新颖的图像到视频生成框架，它通过将复杂的映射分解为两个阶段并进行运动建模来实现更一致和可控的视频生成。第一阶段使用基于扩散的运动场预测器推断参考图像像素的轨迹，第二阶段则利用运动增强的时间注意力机制有效地将参考图像特征传播到合成帧中。与现有方法相比，Motion-I2V 在大运动和视角变化下生成更一致的视频，并通过训练稀疏轨迹控制网络支持用户精确控制运动轨迹和区域，提供更好的可控性。此外，Motion-I2V 的第二阶段还支持零样本视频到视频转换，在一致性和可控性方面都优于之前的图像到视频生成方法。

https://github.com/G-U-N/Motion-I2V

Crawlee-python

Crawlee 是一个用于 Python 的网络爬取和浏览器自动化库。它提供了一个统一的接口来进行 HTTP 和无头浏览器爬取，支持自动并行爬取、错误重试、代理轮换、会话管理等功能，可以帮助开发者快速构建可靠的爬虫。Crawlee 还支持使用 BeautifulSoup 和 Playwright 等工具进行数据提取，适用于各种网页爬取场景。