-
日期: 2025-03-01 | 來源: 極客公園 | 有0人參與評論 | 字體: 小 中 大
GitHub地址：
https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md
壹、每日總成本為87072美元，利潤率理論上最高545%
DeepSeek V3和R1的所有服務均使用H800 GPU，使用和訓練壹致的精度，即矩陣計算和dispatch傳輸采用和訓練壹致的FP8格式，core-attention計算和combine傳輸采用和訓練壹致的BF16，最大程度保證了服務效果。
此外，由於白天的高服務負載和晚上的低負載，DeepSeek在白天高峰時段跨所有節點部署推理服務。在低負載的夜間時段減少了推理節點，並將資源分配給研究和訓練。
在過去的24小時內（2月27日24點到2月28日24點），V3和R1推理服務的合並峰值節點占用率達到278，平均占用率為226.75個節點（每個節點包含8個H800 GPU）。假設壹個H800 GPU的租賃成本為每小時2美元，則每日總成本為87072美元。
▲推理服務的H800節點計數
在24小時統計周期內（2月27日24點到2月28日24點），V3和R1：
總輸入Token 608B，其中342B Token（56.3%）命中KVCache硬盤緩存。
總輸出Token 168B，平均輸出速度為每秒20-22 tps，每個輸出Token的平均kvcache長度為4989個Token。
每個H800節點在prefill期間提供約73.7k token/s輸入（包括緩存命中）的平均吞吐量，或在解碼期間提供約14.8k token/s輸出。
以上統計數據包括所有來自web、APP、API的用戶請求。
如果所有Token都以DeepSeek-R1的價格計費，每日總收入將為562027美元，成本利潤率為545%。
*R1的定價：0.14美元輸入Token（緩存命中），0.55美元輸入令牌（緩存未命中），2.19美元輸出令牌。
然而，DeepSeek的實際收入並沒有這麼多，其原因是DeepSeek-V3的定價明顯低於R1；網頁端和應用程序免費，所有只有壹部分服務被貨幣化；夜間折扣在非高峰時段自動適用。
▲成本和理論收入
贰、EP增加系統復雜性，叁大策略應對
DeepSeek的解決方案采用了跨節點的專家並行（EP）。
首先，EP顯著擴展了批處理大小，增強了GPU矩陣計算效率並提高了吞吐量；其次，EP將專家分布在不同GPU上，每個GPU只處理專家的壹小部分（減少內存訪問需求），從而降低延遲。- 新聞來源於其它媒體，內容不代表本站立場！
-
原文鏈接
原文鏈接:
目前還沒有人發表評論, 大家都在期待您的高見