NVIDIA 的「溫水」冷卻:提高溫度如何降低能耗並節省用水
重點
NVIDIA 的次世代 Rubin 伺服器採用一種違反直覺的 45°C 溫水冷卻 方案,消除了傳統冷卻機組並使用乾式冷卻器將熱量排放到戶外。藉由提高冷卻劑溫度,設計避免了基於壓縮機的冷水機組,大幅減少冷卻能耗和用水量。NVIDIA 引述的結果顯示,相較於傳統空氣冷卻和蒸發式系統,冷卻效率可提高約 25–30 倍,水效率約提升 300 倍,轉化為顯著的 PUE 改善以及超大規模設施的年度巨大節省。
情緒分析
- 本文整體對 NVIDIA 的熱設計創新持正面且樂觀的態度。文章強調可見的營運與永續效益──降低能耗、巨大的用水節省與改善的 PUE 指標──將該技術定位為 AI 級資料中心的重要進展。語氣著重於實際利益與產業相關性,指出更高的機櫃功率密度使空氣冷卻超出可行範圍,液冷成為必要。文章也強調財務誘因,引用大型設施每年可能節省數百萬美元。風險與權衡(場址氣候適配性、基礎設施變更)被隱含提及但未深入探討。
文章內容
隨著 GPU 密度與每機櫃功率消耗快速上升,傳統空氣冷卻系統已達到物理與經濟極限。幾年前典型機櫃可能只消耗約 20 kW,且可由風扇和機房空調輕鬆冷卻,但現今以 AI 為重點的機櫃可超過 135 kW。在這些密度下,風扇驅動的空氣冷卻無法可靠地移除熱量,促使系統轉向直接液冷,與處理器本體做更緊密的熱交換。
NVIDIA 的 Rubin 系列伺服器採用一種非傳統但實用的策略:讓冷卻劑以相對溫暖的 45°C 運行,而不是盡量保持越冷越好。溫水方式將冷卻劑循環通過與晶片相連的冷板或熱交換表面。流體進入時約 45°C,吸收熱量後離開時接近 55°C。迴路保持密閉,並消除了機櫃層級熱傳的內部風扇,在簡化機櫃機械複雜度的同時保留運算效能。
關鍵在於,提高允許的冷卻劑溫度就移除了對能源密集型離心式冷水機組的需求──這類壓縮機驅動的機器佔據資料中心冷卻電力的一大部分。產業經驗表明,冷水機供水溫度每提高一度,機組能耗可下降數個百分點。透過以溫水為核心設計並採用乾式冷卻器將熱量排放到環境空氣,NVIDIA 的解決方案在許多氣候下完全避開了壓縮機階段。乾式冷卻器以被動或少量風扇輔助方式散熱,避免了蒸發式冷卻及其巨大的用水足跡。
實際結果甚為顯著。NVIDIA 的公開數據指出,GB200 NVL72 架構相較於傳統空冷設計約有 25 倍的能源效率提升,而後續的 GB300 設計進一步擴大該優勢。用水節省更為驚人:與蒸發式冷卻塔相比──其每 MW 每年可能蒸發損失數百萬加侖──封閉迴路液冷加上乾式排熱在適合的氣候下可減少或幾乎消除補水需求。對於大型 50 MW 場址,將冷卻基礎設施改為液冷加乾式排熱,可在能源與用水費用方面每年節省數百萬美元。
從營運角度看,液冷的直接熱傳讓緊湊且高密度的運算托盤與機櫃成為可能,而不犧牲熱控能力。這對於在有限機殼中堆疊大量 GPU 的超大規模 AI 部署尤其重要。透過液路將熱量移出機櫃並在外部排放,設施能維持更高的 PUE(能源使用效率)並降低整體基礎設施開支。此方法也簡化了設施設計的部分元素——冷水機房、大型蒸發冷卻塔及相關管路在許多部署中可以減少或省去。
然而,這種方法並非在任何場域都可即插即用:場址氣候、乾式冷卻器所需的可用空間,以及改造或部署封閉液體配給網路的成本,都是重要考量。在潮濕或極熱的氣候中,單靠乾式排熱全年可能較不理想,可能需要採用混合策略,僅在環境條件需要時結合適度的機械冷卻。儘管如此,對於許多溫帶地區與現代綠地(greenfield)資料中心,考量壽命週期營運節省後,溫水設計往往是有利的。
總結來說,NVIDIA 有意將冷卻劑運行在約 45°C 的決策代表了對長期存在的資料中心冷卻假設的一次重新思考。透過接受較溫暖的液體並以乾式戶外排熱取代壓縮機式冷水機組,營運者可以在能源與用水使用上實現大幅降低。這一轉變有可能為 AI 級設施降低營運成本與環境影響,同時促進現代 AI 工作負載所需的機櫃層級計算密度持續成長。
關鍵見解表
| 面向 | 描述 |
|---|---|
| 冷卻方式 | 封閉迴路液冷,冷卻劑進入機櫃約為 ~45°C,離開時約為 ~55°C。 |
| 能量影響 | 報導指出相較於傳統空氣冷卻設計冷卻效率約提升 ~25–30×;PUE 大幅降低。 |
| 用水影響 | 用水效率最高可提升約 ~300×;封閉迴路加上乾式冷卻器可在適合氣候下幾乎消除蒸發用水。 |
| 營運權衡 | 需要液體分配基礎設施並考量當地氣候;在炎熱/潮濕地區可能需要混合系統。 |
| 商業影響 | 在大規模下,由於較低的冷卻能耗與用水成本,年節省可能達數百萬美元。 |