《On-Device Qwen2.5》论文详解：KV260 上的 Qwen2.5-0.5B AWQ + FPGA 加速架构

题名：On-Device Qwen2.5: Efficient LLM Inference with Model Compression and Hardware Acceleration
中文题名：端侧 Qwen2.5：结合模型压缩与硬件加速的高效 LLM 推理
作者：Maoyang Xiang、Ramesh Fernando、Bo Wang，Singapore University of Technology and Design。星号表示共同贡献。

摘要

基于 Transformer 的大语言模型显著推动了人工智能能力的发展，但在边缘设备上部署时，会面临高计算需求、内存带宽受限以及能耗较高等挑战。本文针对这些问题，提出了一个在 Xilinx Kria KV260 边缘平台上部署 Qwen2.5-0.5B 模型的高效框架。该平台是一个异构系统，集成了 ARM Cortex-A53 CPU 与可重构 FPGA 逻辑。

通过结合 Activation-aware Weight Quantization（AWQ）与 FPGA 加速执行流水线，本文方法同时提升了模型压缩率和系统吞吐。此外，本文提出了一种混合执行策略：将计算密集型操作智能卸载到 FPGA，同时使用 CPU 执行较轻量的任务，从而平衡计算负载并最大化整体性能。

该框架相对于原始模型实现了 55.08% 的模型压缩率，并达到 5.1 tokens/s 的输出速度，超过了 baseline 的 2.8 tokens/s。

索引词：大语言模型，边缘 AI，FPGA，加速。

I. 引言

近年来，大语言模型在多个领域带来了大量机会，吸引了医疗、机器人、生物医学、音乐等行业的用户。然而，模型应用的增长也带来了巨大的计算需求，尤其是 GPT-4、DeepSeek-V3、PaLM 2 等前沿模型，通常只能部署在高功耗数据中心。

相比之下，人们越来越需要在边缘设备上部署轻量级 LLM，以便在无法无线联网的环境中实现实时响应，并增强隐私保护。在本文中，我们提出了一个用于加速端侧 Qwen2.5-0.5B 推理的高效框架。

为了实现该目标，我们首先识别在资源受限边缘设备上部署该模型的关键挑战，然后选择 Xilinx Kria KV260 板卡作为目标平台。该板卡包含 Kria K26 System-on-Module（SOM）。具体来说，我们通过对 Qwen2.5-0.5B 模型中的线性与非线性操作进行详细分析，识别出降低 Kria KV260 上推理效率的主要挑战。

挑战 1：Programmable Logic（PL）侧的存储容量和带宽有限，例如 Block RAM 与 URAM。这限制了可加载模型参数的数量，也限制了模型加载效率，从而显著阻碍端侧 LLM 推理部署。

挑战 2：由 Multiply-and-Accumulate（MAC）实现的矩阵乘法主导了推理计算负载，使其成为边缘设备上 LLM 推理的性能瓶颈。

本文针对这些挑战，在准确率、压缩率与每秒 token 数之间取得了良好平衡。本文的主要贡献如下：

• 在软件层面利用模型压缩技术，以优化内存带宽利用率，并最小化片外存储器与处理单元之间的数据传输。
• 利用 ARM Cortex-A53 的 VFP4 浮点单元与 FPGA fabric 的并行性，成功实现 Qwen2.5-0.5B 的端到端推理。
• 进一步设计了一个加速器，通过流水化的权重解包与反量化，加速工作负载中的矩阵乘法。
• 实现了 55.1% 的模型压缩率，并获得 5.1 tokens/s 的输出速度，超过 baseline 的 2.8 tokens/s。

II. 背景与相关工作

本节概述 Qwen2.5 模型架构以及基于 AWQ 的模型压缩技术。

II-A. Qwen2.5 模型与 Transformer 架构

Transformer 架构已经成为现代大语言模型的基础，这主要归功于其 encoder-decoder 结构。具体而言，Qwen2.5 模型系列采用 decoder-only 架构，并使用自回归方式进行顺序文本生成。然而，这种天然顺序的解码过程会带来显著计算挑战。

更具体地说，Qwen2.5 模型中的 decoder 架构包含 prefill 阶段和 decode 阶段。prefill 阶段以高度并行的矩阵-矩阵操作为特征，而 decode 阶段主要由顺序矩阵-向量乘法主导。因此，加速矩阵乘法对于优化计算效率和降低延迟非常关键，尤其是在需要实时推理能力的应用中。

II-B. 使用 AWQ 进行模型压缩

Activation-aware Weight Quantization（AWQ）是一种强大的模型压缩技术，可以显著降低内存占用和内存带宽需求。如图 2 所示，仅有 1% 的权重就可能对模型性能产生显著影响。因此，谨慎保护这些 salient weights 可以保持性能并最小化量化误差。

具体来说，AWQ 根据激活分布进行按通道 scaling，使整个权重矩阵可以被量化到更低精度，例如 INT4 和 INT3，同时仍保持较高性能。AWQ 不依赖模型训练或重构。它使用分组机制共享 scaling 参数，默认 Group Size（GS）为 128。

这种分组机制让 AWQ 能够准确捕捉不同通道权重分布的变化，即便使用低精度表示，也能有效降低量化误差并保持较高模型准确率。

我们认为这类模型压缩在边缘部署场景中特别有优势，例如 KV260 平台的内存带宽限制为 19.2 GB/s。我们的实现通过定制权重打包方案扩展了 AWQ 的优势，确保量化权重 qweights、scaling factors 和 zero values 能高效传送到 Processing Elements。该打包方案支持 on-the-fly 反量化，同时优化性能和计算效率。

II-C. 相关工作

由于 FPGA 具备良好的能效、可重构性和灵活性，利用 FPGA 加速 LLM 推理已经引起学术界和工业界的广泛兴趣。近期研究提出了专门用于高效 FPGA LLM 推理的空间加速器，显示了 FPGA 平台提供定制化高性能解决方案的潜力。

特别是，有工作在 Xilinx ZCU102 平台上部署 TinyLlama 1.1B 模型后，在性能和功耗效率上获得显著提升，证明了基于 FPGA 的部署在边缘推理应用中的可行性。

III. 提出的软硬件协同优化

我们深入分析了 Qwen2.5-0.5B 模型的计算负载和延迟。表 I 展示了当模型部署在 KV260 平台 PS 上时的推理延迟拆解；该部署使用编译器优化，以利用全部四个 ARM Cortex-A53 核。结果表明，91.6% 的推理时间由 MAC 主导，而 MAC 是矩阵-矩阵与矩阵-向量乘法的基本操作。

需要注意的是，表 I 中报告的时间同时包含计算和内存访问延迟。该观察揭示了两个提升推理效率的关键机会：（1）使用加速器加快计算密集型操作；（2）将权重参数压缩成数据块，使其能够在内存中最优存储并以最小带宽传输到加速器，从而提高内存带宽利用率。

表 I. Qwen2.5-0.5B 在 KV260 PS 上推理的延迟拆解

III-A. 软件优化

我们利用 AWQ 框架提高推理期间的内存带宽利用率。如图 3 所示，我们将量化权重、scale 和 zero 打包成一个数据块。当通过 4 个通道、每通道 128-bit 数据向 PL streaming 数据时，这可以提高内存带宽利用率。PL 中的加速器可以通过流水线结构解包权重、反量化权重并执行 MAC 操作，以利用并行性。

我们进一步修改了 AWQ 的原始权重映射结构，以适配 AWQ_MACRO。如图 3 所示，一个 AWQ_MACRO 打包了量化权重、8 个 scale 和 8 个 zero，这些数据用于在 prefill 和 decode 阶段之前把 INT4 权重反量化为 FP32。由于只需要 8 个 INT4 精度的 zero values，也就是 32 bits，来反量化一个 AWQ_MACRO，因此每个 macro 中 128-bit strip 里剩余的 96 bits 用零填充。

我们的模型压缩方案包含几个关键特征。第一，AWQ_MACRO 中的数据被流式传输到 PL，在 PL 中反量化和 MAC 操作以流水线方式执行，从而提高效率。第二，打包方案确保量化权重与对应 zero values 和 scale factors 存放在一起，从而支持高效按通道反量化。

最后，由于我们在 WNLI benchmark 上相比 GS=128 获得了更高准确率，因此打包过程采用 GS=64。Qwen2.5 的端侧推理由 C 语言实现。模型参数，例如权重，保存为 binary 文件；模型架构保存为 JSON 文件。

我们的方法是全自动的，能够通过 AutoAWQ library、binary 文件和 JSON 文件，在 KV260 平台上无缝部署推理。

III-B. 硬件优化

我们优化硬件以支持 AWQ 实现并加速矩阵计算。为了高效处理数据传输，我们使用四个 Advanced eXtensible Interface（AXI）通道，将数据直接流入定制设计的 MACRO_MAC 单元。图 4(a) 展示了内存访问模式，这种模式确保 AXI 通道中具有高吞吐和结构化数据流。

AWQ_MACRO 会按照 III-A 节中的方式谨慎排列在内存中，从而确保反量化后的值与其在原始权重矩阵中的位置一一对应。由于 4 个 AXI 通道彼此独立，4 个 MACRO_MAC 单元可以并行处理数据。

Unpacking Unit（图 4(b)）分别将 scale、zero 和量化权重 qweight 解包为 128-bit 格式。qweight block 已经被打包为 32-bit integer 格式，随后通过 shift operation 和 bit mask 被分解为 8 个独立 INT4 chunk。zero block 也会执行类似的拆解过程。值得注意的是，在该阶段 scale 始终保持原始 FP16 格式。

解包后的 qweight、zero 和 scale 会被发送到 MACRO_MAC 单元，在与输入 activation 相乘之前进行权重反量化。我们在 PL 中设计了 Processing Elements（PE）array，使乘法能够并行执行。图 4(d) 展示了一个 PE 内部的操作：从 qweight 中减去 zero value，并将 input activation 与 scale value 相乘。来自 PE array 的 partial sums 随后通过 adder tree 累加。

当某个输出通道的累加完成后，总和会传输到 Processing System（PS），用于非线性操作计算。

表 II. 加速器综合资源利用率

表 II 给出了加速器综合结果，该加速器工作在 200 MHz。由于 KV260 平台并不原生支持更低精度浮点格式，所有 MAC 操作均以 FP32 执行。

IV. 评估

我们从准确率、模型大小、吞吐和 benchmark score 方面，将所提出的软硬件协同优化框架与 baseline 模型进行了比较。结果总结在表 III 中。我们的压缩方法显著降低了模型大小。具体而言，模型大小从 baseline 的 988 MB 降到 443.81 MB，内存占用降低 55.1%。

此外，推理性能从 baseline 的 2.8 tokens/s 提高到 5.1 tokens/s，吞吐几乎翻倍。

表 III. 评估结果

* 基于 co-simulation results。

此外，我们采用公式（1）生成 benchmark score，以进行综合评估。具体而言，accuracy ratio 表示模型在 WNLI benchmark 上的准确性能；memory ratio 表示相对于原始模型大小的压缩效果；prefill stage 和 decode stage 的 throughput 分别表示各阶段 token 处理效率。

Total score = 0.4 × normalized accuracy ratio
            + 0.2 × normalized memory ratio
            + 0.2 × normalized prefill throughput ratio
            + 0.2 × normalized decode throughput ratio

我们获得了 0.55 的 score，高于 baseline 的 0.4。

V. 结论

本文提出了一个端到端推理框架，利用 FPGA 平台上 Processing System 和 Programmable Logic 的协同优势，实现 Qwen2.5-0.5B 模型的高效部署。该框架实现了较高压缩率，降低内存占用，并在模型参数从片外内存传输到 PS 时提高内存带宽利用率。

此外，我们提出了一个硬件加速器，使用 PE array 和 adder tree accumulation 加快矩阵乘法性能。模型大小和吞吐方面的收益，使该方法非常适合资源受限环境中的 LLM 推理部署。

参考文献说明

原论文包含 20 条参考文献，涵盖基础模型综述、医疗/机器人/生物医学/音乐等 LLM 应用、GPT-4/DeepSeek-V3/PaLM 2 技术报告、边缘 AI、Kria K26 SOM 数据手册、AWQ、Transformer、Qwen2/Qwen2.5、Llama 2、FPGA LLM 加速、TinyLlama、llama2.c 以及 WNLI 相关文献。为避免误改 bibliographic 信息，本报告不逐条翻译作者名、会议名和 URL；请以原论文 PDF 的 References 为准。