2025-03-17ai02门户网
DeepGEMM是一个专为高效FP8通用矩阵乘法（GEMM）设计的库，具有细粒度缩放功能，支持普通和混合专家（MoE）分组GEMM。
CUDA编写：DeepGEMM使用CUDA编写，无需编译，采用轻量级即时（JIT）模块在运行时编译所有内核。
细粒度缩放功能：支持普通和混合专家（MoE）分组GEMM，适用于不同的矩阵形状和计算需求。
性能优化：采用CUDA核心两级累积（提升）解决不精确的FP8张量核心累积问题，利用Hopper TMA功能加速数据移动。
性能优异：尽管设计轻量，但其性能匹敌甚至超过了各种矩阵形状的专家调整库。
易于访问：作为一个干净且易于访问的资源，DeepGEMM是学习Hopper FP8矩阵乘法和优化技术的理想选择。
灵活性：支持自动选择块大小、warpgroups数量、最佳流水线阶段和TMA集群大小，以适应不同的计算需求。
DeepGEMM适用于需要高效矩阵乘法操作的场景，特别是在深度学习ai模型训练和推理中，能够显著提高计算效率和性能。
github：https://github.com/deepseek-ai/DeepGEMM
1.DeepSeek开源周第二天开源项目：Deepep
2. DeepSeek开源周第一天开源项目：DeepSeekFlashMLA
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表本站立场。文章及其配图仅供学习分享之
新品榜/热门榜
