3月19日|英偉達正式發佈Dynamo,號稱是“AI 工廠的操作系統”。Dynamo是一個“分佈式推理服務庫”。本質上,它是一個針對用户需求token而無法生產足夠token之間問題的開源解決方案。黃仁勛展示了一張關於推理的圖表,X軸顯示用户每秒的Token數,Y軸顯示工廠每秒的Token數。在Dynamo、Grace Blackwell NVLink72超級芯片的加持下,Blackwell相比Hopper可實現25倍的性能提升。而在推理模型中,Blackwell的性能是Hopper的40倍。黃仁勛還打趣道,有了上述最新技術加持,搭建AI工廠的廠商“買得越多、省得越多”。
新聞來源 (不包括新聞圖片): 格隆匯