梁文锋发文：DeepSeek二度发布论文

DeepSeek论文提出了一种跨硬件架构与模型设计的双重视角研究方法，旨在探索软硬件之间的复杂交互关系，从而实现高效的大规模AI训练和推理。

该研究主要围绕以下三大方向展开：

• 硬件驱动的模型设计： 分析硬件特性对DeepSeek-V3架构选择的影响机制。
• 硬件与模型间的相互依赖： 探讨硬件功能如何推动模型创新，以及大模型需求演变对硬件升级的驱动力。
• 未来硬件开发方向: 研究未来硬件与模型架构的协同设计路径，目标是打造高扩展性、低成本的AI系统。

DeepSeek模型设计原则解析：

论文重点关注内存效率、成本控制和推理速度三个维度。

内存优化策略： 针对内存资源需求，源头优化成为关键。多头潜在注意力（MLA）通过压缩键值（KV）缓存显著降低内存占用。具体而言：

• FP8混合精度训练使内存消耗减半。
• 除MLA外，还采用共享KV、量化压缩等方法进一步缩减KV缓存规模。

KV缓存机制通过存储先前处理的token键值向量，避免了后续token的重复计算。

成本控制措施： DeepSeek开发了混合专家（MoE）架构。其优势在于：

• 降低训练成本：通过选择性激活专家参数，减少计算消耗。DeepSeek-V3模型拥有6710亿参数，但每token仅需激活370亿参数，实现250GFLOPS/Token的训练效率。
• 硬件兼容性：MoE架构能够很好地适配现有硬件环境。

推理速度优化： 通过技术手段提升模型运行效率，确保在实际应用场景中的性能表现。

软硬件协同优化：

论文提出了多项创新性优化措施：

• 低精度计算: 引入FP8混合精度训练和LogFMT量化方案，有效降低内存占用和计算成本。
• 互连技术突破: 提出精准低精度计算单元和智能网络硬件加速方案，显著提升通信效率。
• 网络拓扑优化: 采用DRAM堆叠和晶圆级集成等先进存储技术，解决内存带宽瓶颈问题。

未来AI基础设施探索：

论文展望了下一代硬件发展方向，并提出六项关键创新方向：

• 鲁棒性增强: 通过内置顺序保证和容错机制提升系统可靠性。
• 计算架构优化: 推动纵向扩展/横向扩展（Scale-Up/Scale-Out）收敛架构的发展。
• 智能网络升级: 开发低延迟智能网络硬件，支持自动分组复制和归约功能。
• 内存技术突破: 采用高带宽存储技术和DRAM堆叠方案应对模型规模增长挑战。
• 通信压缩: 倡导硬件原生支持通信压缩技术，提升数据传输效率。
• 网络计算融合: 将计算能力内置于网络硬件中，降低整体系统开销。

这些研究成果为下一代AI系统的软硬件协同创新提供了实践指导，标志着AI技术向复杂场景规模化应用迈出了重要一步。