DeepSeek开源Day5：3FS&smallpond技术详解

2 月 24 日，DeepSeek 启动 “开源周”，第四个开源的代码库为 3FS&smallpond（又是一下发布了两个）。

3FS（Fire-Flyer File System）是 DeepSeek 内部开发的一款高性能分布式文件系统，旨在为 AI 训练和推理工作负载提供高效的共享存储层。它充分利用现代 SSD（固态硬盘）和 RDMA（远程直接内存访问）网络技术，简化分布式应用程序的开发，解决大规模数据密集型任务中的存储瓶颈问题。作为 DeepSeek 开源生态的一部分，3FS 于 2025 年 2 月 27 日在 GitHub 上正式开源（地址：https://github.com/deepseek-ai/3FS）

Smallpond 基于 3FS 和 DuckDB 构建，专注于 PB 级数据的快速处理。Smallpond 定位为 AI 数据的辅助工具，能够无缝集成到 3FS 的存储生态中，支持数据清洗、转换和分析等任务。

与 WekaFS、DAOS 和 BeeGFS 相比，3FS 侧重于充分利用 NVMe SSD 和 RDMA 网络的高 IOPS 和吞吐量。

1 3FS & smallpond 简介

1. 1 3FS（Fire-Flyer File System）

3FS 的设计初衷是为 DeepSeek 的 AI 基础设施（如 Fire-Flyer AI-HPC）和模型（如 DeepSeek-V3、R1）提供底层存储 + 数据支持。3FS 涵盖训练数据预处理、数据集加载、检查点保存与重载、嵌入向量搜索以及推理过程中的 KVCache（键值缓存）查找等环节。3FS 显然是 DeepSeek 高效训练体系的关键组件，进一步体现了 DeepSeek 的硬件基因。

目前 3FS 已支持包括 DeepSeek-V3（6710 亿参数 MoE 模型）和 DeepSeek-R1（推理模型）在内的多个大模型的开发，涵盖数据预处理、检查点管理、推理缓存等场景。官方数据显示，3FS 在 180 节点集群中实现了 6.6 TiB/s 的聚合读取吞吐量，展现了其卓越性能。

1.2 smallpond

Smallpond 的设计目标是简化大规模数据处理流程，降低 AI 开发者的技术门槛，同时保持高性能和低资源占用。

2 3FS & smallpond 特点

3FS 具备如下特点

• 高性能：在 180 节点集群中实现 6.6 TiB/s 读取吞吐量，单节点 KVCache 查找峰值速率超 40 GiB/s。
• 强一致性：提供 POSIX 兼容的强一致性语义，适合多节点并发读写。（这点很关键）
• 针对硬件优化：充分利用 NVMe SSD 和 RDMA 网络，最大化现代硬件性能。
• 针对 KV 语义定制：支持 KV Context Caching on Disk，优化推理阶段的缓存访问。
• 开源：完全开源，允许社区贡献和定制。（非常好）

NVMe SSD + RDMA 示意（来源：互联网）

Smallpond 具备如下特点：

• 轻量级：基于 DuckDB 的嵌入式设计，资源占用低，单机即可运行。
• 高效处理：支持 PB 级数据的高速查询和转换，继承 3FS 的存储性能。
• 易集成：与 3FS 无缝对接，提供简洁的 API 和命令行接口。
• 灵活性：支持多种数据格式（如 Parquet、CSV）和处理任务。
• 开源：遵循 DeepSeek 开源理念，促进社区协作。

3 3FS & smallpond 技术优势

3.1 3FS 技术优势

• 针对硬件的软件适配：通过 NVMe SSD 和 RDMA 协同优化 I/O 和网络传输，相比传统文件系统（如 HDFS）在高并发场景下延迟更低、吞吐量更高。
• 去中心化架构：无单点故障，节点间对等设计提升了可扩展性和可靠性。
• 高效缓存：KVCache 查找性能达 40 GiB/s，显著降低推理延迟，优于现有开源方案（如 Alluxio）。
• 成本效益：在普通硬件上实现高性能，避免对专用存储设备的依赖，符合 DeepSeek 一贯高性价比策略。
• 流量隔离：与 HFReduce 协同设计，避免存储与计算流量冲突，提升系统稳定性。

另外 3FS 的文档看起来更详细一些。