随着人工智能（AI）和大型语言模型（LLM）技术的快速发展，越来越多的公司和开发者开始寻求如何在资源有限的环境中高效部署AI模型。边缘设备（Edge Devices）作为一种能够在本地进行计算而不依赖于云端的解决方案，逐渐吸引了众多关注。在这个背景下，本文将探讨如何在Tria Technologies的ZUBoard上部署DeepSeek模型，尤其是最小的DeepSeek版本，利用AMD Zynq™ UltraScale+™ MPSoC处理系统实现本地推理。
什么是DeepSeek？
DeepSeek是一款高性能的开源大型语言模型（LLM），致力于推动开放AI研究的前沿。它通过从互联网、学术文献、代码库以及精心挑选的数据集上训练数万亿个标记（tokens），构建了强大的语言理解和生成能力。DeepSeek的架构基于Transformer模型，并结合了诸如分组查询注意力（Grouped Query Attention, GQA）等优化手段，提高了规模扩展的效率。除此之外，DeepSeek还采用了SwiGLU激活函数和多查询注意力层（Multi-Query Attention）来加速模型的收敛，并优化了推理过程中的效率。
DeepSeek模型的参数量从1.5B到数百亿不等，能够在计算资源和准确度之间进行不同的权衡。对于边缘计算来说，DeepSeek还提供了量化版本，如4位和8位版本，这些版本特别适合在边缘设备和移动设备上运行。
边缘计算的优势
将DeepSeek等LLM部署到边缘设备上，带来了以下几大优势：
- 隐私性 – 由于模型部署在本地设备上，所有的数据都可以在设备上处理，避免了将敏感信息上传到云端的问题，增强了隐私保护。
- 离线访问 – 本地部署意味着设备可以在没有互联网连接的情况下运行，这对于一些无法频繁连接外部网络的应用场景尤其重要。
- 成本节省 – 本地推理减少了对云计算资源的依赖，从而节省了大量的云端推理费用，尤其对于大规模部署的情况更为显著。
尽管如此，边缘计算仍然存在一定的性能挑战。边缘设备的计算能力通常比高性能GPU低，这意味着在处理大型模型时，可能会遇到内存和计算资源的限制。但随着像DeepSeek这样的小型模型的出现，许多应用场景下仍然能够提供足够的智能支持。
ZUBoard平台简介
在本项目中，我们选择了Tria Technologies的ZUBoard作为部署平台。ZUBoard搭载了AMD Xilinx Zynq™ UltraScale+™ MPSoC（多处理系统芯片），其中包含ARM Cortex-A53核心和可编程逻辑单元。该平台不仅为嵌入式开发者提供了强大的计算能力，还支持高速的I/O操作，是部署本地推理模型的理想选择。
为确保DeepSeek模型能够顺利运行，我们将利用AMD的PYNQ™平台作为安装基础。PYNQ平台为Zynq系列芯片提供了一个易于使用的Python框架，使得开发者能够快速部署深度学习模型。
准备工作：配置交换文件
ZUBoard的内存为1GB LPDDR4，考虑到内存资源的限制，我们首先需要配置一个交换文件（swap file），用来在物理内存不足时提供额外的虚拟内存空间。交换文件能够有效避免内存溢出，防止应用崩溃，尽管它会在一定程度上影响系统性能。
以下是设置交换文件的步骤：
- 使用
swapon --show命令检查当前交换文件的状态。 - 通过
sudo swapoff /var/swap关闭当前的交换文件。 - 删除旧的交换文件并设置新的交换文件路径。
- 创建新的交换文件并启用它，使用
sudo mkswap /var/swap命令来初始化交换文件。 - 最后，使用
sudo swapon /var/swap命令激活交换文件。
在成功配置4GB的交换文件后，我们的系统将具备更好的内存管理能力，可以有效支撑DeepSeek模型的运行。
安装Ollama框架和DeepSeek模型
为了将DeepSeek模型部署到ZUBoard上，我们将使用Ollama框架。Ollama是一个开源框架，专为在本地机器上运行LLM而设计，支持的设备包括笔记本、台式机、服务器以及边缘设备。
安装Ollama框架的命令如下：
bash复制编辑curl -fsSL https://ollama.com/install.sh | sh
完成Ollama安装后，我们将下载并安装DeepSeek模型。由于我们要运行的是最小版本的DeepSeek模型，即1.5B参数模型，因此我们首先需要设置模型的存储路径：
bash复制编辑mkdir deepseek
export HOME=/home/xilinx/deepseek
然后，通过Ollama框架下载并安装DeepSeek 1.5B模型：
bash复制编辑ollama pull deepseek-r1:1.5b
在ZUBoard上运行DeepSeek
安装完成后，我们可以开始运行DeepSeek模型。通过以下命令启动模型：
bash复制编辑ollama run deepseek-r1:1.5b
此时，模型将等待用户输入问题。虽然由于模型较小，推理性能可能不如更大的模型，但在边缘设备上，本地运行的优势非常明显。
在与模型交互时，我们可以通过运行top命令来监控系统资源的使用情况，确保设备的负载在合理范围内。
总结与展望
通过本项目，我们成功地将DeepSeek模型部署到了ZUBoard这一边缘设备上，尽管由于内存限制和模型规模的原因，性能可能有所降低，但它仍然为一些边缘计算场景提供了一个有效的解决方案。
此外，Ollama框架的使用使得其他开源LLM也可以方便地部署在ZUBoard等边缘设备上，为开发者提供了更多的选择和灵活性。随着技术的发展，边缘计算将越来越多地应用于AI推理任务，特别是在对隐私、成本和离线功能有较高要求的场景中，DeepSeek和其他类似模型的应用前景十分广阔。
