DeepSeek 开源周体育游戏app平台，本日负责收官！

实质依旧惊喜且重磅，径直公开了 V3 和 R1 检修推理经由顶用到的文献系统。

具体来说，包括以下两项实质：

Fire-Flyer 文献系统（简称3FS，第三个 F 代表 File），一种期骗当代 SSD 和 RDMA 荟萃的全部带宽的并行文献系统；

Smallpond，基于 3FS 和 DuckDB 构建的轻量级数据处理框架。

划要点即是，3FS 不错把固态硬盘的带宽性能期骗到极致，进展出了惊东谈主的速率：

180 节点集群中的团员读取蒙眬量为 6.6TB/s；

25 节点集群中 GraySort 基准测试的蒙眬量为 3.66TB/ 分钟；

每个客户端节点的 KVCache 查找峰值蒙眬量越过 40GB/s。

V3 和 R1 中检修数据预处理、数据集加载、镶嵌向量搜索和 KV Cache 查找等使命，3FS 都立下了劳苦功高。

网友们默示，3FS 和 Smallpond 为 AI 数据处理设定了新基准，将改动数据处理的游戏法规。

关于 AI 来说，这就像从自行车升级到了高铁。

将 SSD 和 RDMA 性能榨干

证据 DeepSeek 团队先容，3FS 是一种高性能的划分式文献系统，面临的即是 AI 检修和推理使命负载的挑战。

它期骗当代 SSD 和 RDMA 荟萃来提供分享存储层，从而简化划分式应用关节的培育。

SSD 即是固态硬盘，而 RDMA（良友径直探访，remote direct memory access）是一种径直存储器探访工夫。

它不错在莫得两边操作系统介入的情况下，将数据径直从一台计较机的内存传输到另一台计较机，也不需要中央处理器、CPU 缓存或高下文交换参与。

特质即是高通量、低蔓延，尤其稳妥在大范围并行计较机集群中使用。

具体到 3FS，具有以下特质：

划分式架构：集合了数千个 SSD 的蒙眬量和数百个存储节点的荟萃带宽，使应用关节大概以不受位置影响的方法探访存储资源。

强一致性杀青带：分派查询的链式复制 ( CRAQ ) 以杀青强一致性，使应用关节代码简便易懂。

文献接口：文献接口人所共知且遍地可用，无需学习新的存储 API。

况兼，3FS 大概适用于大模子检修推理和经由中不同类型的应用负载：

数据准备：将数据分析 pipeline 的输出重组因素层目次结构，并灵验处置多半中间输出。

数据加载器：通过跨计较节点立地探访检修样本，摒除了预取或混洗数据集的需要。

Checkpoints：赈济大范围检修的高蒙眬量并行 Checkpoints。

用于推理的 KV 缓存：为基于 DRAM 的缓存提供了一种经济高效的替代有筹划，可提供高蒙眬量和更大的容量。

在大型 3FS 集群上的读取测试中，杀青了惊东谈主的高蒙眬量。

该集群由 180 个存储节点构成，每个存储节点配备 2 × 200Gbps InfiniBand 网卡和 16 个 14TB NVMe SSD。

马虎 500+ 个客户端节点用于读压测，每个客户端节点竖立 1x200Gbps InfiniBand 网卡。

在检修功课的配景流量下，最终团员读蒙眬达到约 6.6TB/s。

DeepSeek 还用 GraySort 基准测试评估了基于 3FS 构建的 smallpond 框架，该基准测试可测量大范围数据集的排序性能。

测试分为两个阶段，先用键的前缀位通过 shuffle 对数据进行分区，然后进行分区内排序。两个阶段既需要从 3FS 读取，也需要向 3FS 写入数据。

测试集群包含 25 个存储节点（2 个 NUMA 域 / 节点、1 个存储事业 /NUMA、2 × 400Gbps NIC/ 节点）和 50 个计较节点（2 个 NUMA 域、192 个物理中枢、2.2 TB RAM 和 1 × 200 Gbps NIC/ 节点）。

最终对 8192 个分区中 110.5TB 数据进行排序，耗时 30 分 14 秒，平均蒙眬量为 3.66TB/ 分钟。

另外，KV 缓存客户端的读取蒙眬量，峰值也达到了 40GB/s。

One More Thing

转头 DeepSeek 这五天开源的实质，险些都和 AI Infra 联系：

第一天，，DeepSeek 开创 MLA 架构的高性能版块，径直打破 H800 计较上限；

第二天，， 第一个用于 MoE 模子检修和推理的开源 EP 通讯库，提供高蒙眬量和低蔓延的 all-to-all GPU 内核；

第三天，，一个通用矩阵乘法库，仅 300 行代码，是 V3/R1 检修推理要害诡秘；

第四天，，立异的双向活水线并行算法 DualPipe、用于 MoE 的负载平衡算法 EPLB，以及检修和推理框架的性能分析数据；

第五天，3FS 和 Smallpond，高效的划分式文献系统和以之为基础的数据处理框架。

况兼主打的即是高出压缩本钱，镌汰耗尽的同期将各式硬件的性能全部说明到极致。

而另外一边，有网友也曾在期待 V4 和 R2 的上线了。

至此，DeepSeek 开源周的连载也要告一段落了，但 DeepSeek 后续作为依然值得执续严防。

感好奇的话，宽容扫码备注「DeepSeek- 事业 / 姓名」加入群聊，一王人严防 DeepSeek 更多动态！

名堂地址：

https://github.com/deepseek-ai/3FS

参考邻接：

https://x.com/deepseek_ai/status/1895279409185390655体育游戏app平台