免费试用
Data Science & Machine Learning

DeepSeek开源周：五大强大工具

Retainna Lin

• 6 min read
DeepSeek开源周

DeepSeek的开源周为AI社区注入了新的活力，推出了一系列创新工具和更新，旨在革新我们对人工智能的应用方式。此次活动在多篇技术报告和GitHub代码仓库中详细阐述，旨在为全球AI社区提供提升模型训练和推理效率的先进工具。以下是此次活动的亮点。

代码库的详细分析

1. FlashMLA：为Hopper GPUs优化的高效MLA解码内核

  • 描述：FlashMLA旨在优化Hopper GPUs上的解码过程，特别适用于可变长度序列的处理。它是需要高性能推理的AI模型（如语言模型）中的关键组件。
  • 技术细节：支持BF16和FP16格式，配备分页KV缓存（块大小为64），在H800 SXM5上实现了3000 GB/s的内存限制性能和580 TFLOPS的计算限制性能，采用CUDA 12.8。要求使用Hopper GPUs、CUDA 12.3+及PyTorch 2.0+。
  • 社区影响：该工具可提供了经过实战验证的生产环境解决方案，对从事自然语言处理的开发人员尤为有用。
  • 意外亮点：其性能指标，如580 TFLOPS的计算限制，凸显了其在高性能计算中的优势，虽然这一点对于主要关注软件而非硬件的用户来说可能不太显眼。

2. DeepEP：用于MoE和专家并行的EP通信库

  • 描述：DeepEP 旨在促进混合专家模型（Mixture-of-Experts, MoE）中的高效通信，这对于分布式 AI 系统至关重要。它为调度和组合操作提供了全对全（all-to-all）的 GPU 内核。
  • 技术细节：支持FP8低精度运算，包括用于非对称域带宽转发（NVLink到RDMA）的内核，并提供基于纯 RDMA 的低延迟推理内核。需要 Hopper GPU、Python 3.8+、CUDA 12.3+、PyTorch 2.1+、NVLink 和 RDMA 网络，并依赖修改版的 NVSHMEM。
  • 性能指标：节点内操作可实现 153-158 GB/s 的带宽，而节点间操作的带宽范围为 43-47 GB/s，具体取决于专家数量。下表展示了在配备 NVLink 和 RDMA 的 H800 上的性能数据。
EP通信库性能指标
  • 社区影响: 提升大规模混合专家模型（MoE）的可扩展性，兼容 InfiniBand 并支持理论上的 RoCE。

3. DeepGEMM：用于高效矩阵乘法的FP8 GEMM库

  • 描述：DeepGEMM专注于使用FP8精度的通用矩阵乘法（GEMM），针对Hopper架构进行了优化，支持密集矩阵乘法和 MoE 分组 GEMM。
  • 技术细节：该库使用CUDA编写并支持JIT编译，依赖较少，核心内核约300行代码，在Hopper GPUs上可实现高达1358 TFLOPS的性能。要求使用sm_90a GPU、Python 3.8+、CUDA 12.3+、PyTorch 2.1+和CUTLASS 3.6+。
  • 性能指标：在不同配置下，DeepGEMM的性能超越了CUTLASS 3.6，速度提升范围从1.1倍到2.7倍，具体数据详见下表，针对H800 SXM5配置。
DeepGEMM性能指标
    • 社区影响：提供了一种轻量级的高性能矩阵运算替代方案，对于神经网络计算至关重要。

4. DualPipe：双向管道并行算法

  • 描述：DualPipe是一种用于AI模型训练中计算与通信重叠的算法，旨在减少管道气泡并提高效率。
  • 技术细节：在DeepSeek-V3技术报告（DeepSeek-V3）中有详细说明，能够实现前向和反向阶段的完全重叠，实际应用中需要PyTorch 2.0+及自定义的overlapped_forward_backward方法。
  • 社区影响：通过最小化空闲时间，提高了大型模型（特别是DeepSeek-V3和R1）的训练速度。

5. 3FS：高性能并行文件系统

  • 描述：3FS（Fire-Flyer文件系统）专为AI工作负载设计，提供高吞吐量和强一致性的共享存储层。
  • 技术细节：采用解耦架构，在180节点集群上实现了6.6 TiB/s的总读取吞吐量，支持数据准备、数据加载器、检查点保存和推理中的KVCache，峰值读取吞吐量可达到40 GiB/s，用于KVCache查找。
  • 性能指标：在GraySort基准测试中，110.5 TiB数据在30分钟14秒内完成排序，在25节点集群上实现了3.66 TiB/分钟的吞吐量，具体数据见文档图示.
  • 社区影响：简化了AI训练中的数据管理，为大规模数据访问提供了稳健的解决方案。

用Bitdeer AI助力人工智能的未来

随着DeepSeek通过其开源贡献不断推动创新，对强大基础设施的需求变得愈发关键。Bitdeer AI提供了一个强大的GPU云平台，为高性能AI工作负载量身定制了可扩展、无服务器的解决方案。从裸机到容器化部署的多种选择，Bitdeer AI使开发者能够在不担心硬件限制的情况下，突破项目的边界。他们的AI Studio简化了整个机器学习生命周期，支持TensorFlow和PyTorch等框架，并确保基础设施与所支持的模型同样先进。

DeepSeek的突破性更新周与Bitdeer AI的前沿服务相得益彰，为AI开发的新纪元奠定了基础。通过这些创新，既简化了复杂的工作流程，又为人工智能领域下一波颠覆性突破铺平了道路。