<汇港通讯> DeepSeek(深度求索)於知乎开设官方账号发布《DeepSeek-V3/R1推理系统概览》技术文章,首次公布模型推理系统优化细节,并披露成本利润率关键讯息。
文章表示,假定 GPU 租赁成本为每小时2美元,每天的总成本为近8.71万美元,如果所有 tokens 全部按照 DeepSeek R1 的定价计算,理论上一天的总收入为约56.2万美元,成本利润率545%。
文章又称,DeepSeek-V3/R1 推理系统的最佳化目标是更大的吞吐,更低的延迟;为实现这两个目标,其方案是使用大规模跨节点专家并行(EP),但方案亦增加了系统复杂性。文章的主要内容就是关於如何使用 EP 增长批量大小(batch size)、隐藏传输耗时、以及进行负载平衡。 (BC)
#DeepSeek #深度求索
新闻来源 (不包括新闻图片): 汇港资讯