液冷是一種用液體來冷卻電子設(shè)備的散熱技術(shù)，能夠顯著提高數(shù)據(jù)中心散熱效率。液冷技術(shù)根據(jù)冷卻液與發(fā)熱器件的接觸方式不同，可以分為間接液冷和直接液冷，其中間接液冷主要包括冷板式液冷，直接液冷包括浸沒式液冷和噴淋式液冷。冷板式液冷和浸沒式液冷是目前主流的液冷形式，冷板式液冷應(yīng)用最為廣泛，在改造成本、可維護(hù)性、兼容性方面具備優(yōu)勢(shì)；浸沒式液冷冷卻效果最好，節(jié)能性上優(yōu)勢(shì)明顯，但可維護(hù)性和兼容性一般，多用于高功率密度機(jī)柜。
控制當(dāng)前數(shù)據(jù)中心溫控方式仍以風(fēng)冷為主，液冷方案中冷板式技術(shù)更為普及。2022年數(shù)據(jù)中心液冷技術(shù)的滲透率大概在5%~8%左右，風(fēng)冷仍然占據(jù)90%以上的市場(chǎng)份額。按照服務(wù)器出貨量口徑統(tǒng)計(jì)，2023H1我國(guó)冷板式液冷服務(wù)器比例為90%左右，浸沒式液冷滲透率為10%。
數(shù)據(jù)中心算力與能耗水漲船高，逐漸超出風(fēng)冷散熱閾值，液冷散熱已是趨勢(shì)所向。Chatgpt為代表的生成式人工智能模型拉升算力需求，百億參數(shù)成為模型涌現(xiàn)門檻，算力成為大模型性能提升的關(guān)鍵。大模型帶來大算力，大算力帶來高功耗，Intel的多款CPU芯片的TDP已突破350W，NVIDIA 的H100系列GPU芯片TDP更是達(dá)到700W。這也導(dǎo)致單服務(wù)器和單機(jī)柜功率均顯著上升，已經(jīng)逐漸超出風(fēng)冷散熱的覆蓋范圍，液冷散熱已成為必然趨勢(shì)。
PUE限制是現(xiàn)階段液冷技術(shù)發(fā)展的核心驅(qū)動(dòng)力。PUE代表數(shù)據(jù)中心能源使用效率，等于數(shù)據(jù)中心總耗電/IT設(shè)備耗電，比值越接近于1，說明能源越接近全部都用于IT設(shè)備負(fù)載上。我國(guó)數(shù)據(jù)中心平均PUE為1.49，仍有半數(shù)區(qū)域的數(shù)據(jù)中心PUE位于1.5以上。近幾年，國(guó)家與地方出臺(tái)了一系列針對(duì)新建與老舊數(shù)據(jù)中心PUE的管控計(jì)劃，明確要求東、西部樞紐節(jié)點(diǎn)數(shù)據(jù)中心PUE分別控制在1.25、1.2以下。而傳統(tǒng)風(fēng)冷方案的數(shù)據(jù)中心PUE一般在1.5左右，高于政策要求的范圍；液冷方案能夠有效降低冷卻系統(tǒng)的能耗水平，從而將數(shù)據(jù)中心整體PUE降低到1.05-1.2左右，滿足相關(guān)的政策要求。
數(shù)據(jù)中心TCO是液冷技術(shù)規(guī)模應(yīng)用的關(guān)鍵因素。數(shù)據(jù)中心總成本（TCO）包括建設(shè)成本（Capex）和運(yùn)營(yíng)成本（Opex）。根據(jù)奕信通科技在2022年數(shù)據(jù)中心標(biāo)準(zhǔn)峰會(huì)發(fā)布的報(bào)告進(jìn)行測(cè)算，以華東地區(qū)數(shù)據(jù)中心建設(shè)情況為例，現(xiàn)階段冷板式液冷方案的TCO甚至Capex已經(jīng)低于風(fēng)冷，浸沒式液冷方案的TCO也將在運(yùn)行五年左右之后出現(xiàn)低于風(fēng)冷方案的拐點(diǎn)。但是該測(cè)算結(jié)果依賴于一定的前提條件：如機(jī)柜功率達(dá)到30KW、不計(jì)算服務(wù)器折舊和服務(wù)器運(yùn)營(yíng)支出、水電費(fèi)與房租等運(yùn)營(yíng)成本按華東地區(qū)情況計(jì)價(jià)、采用集中式大型IDC機(jī)房且IT設(shè)備在12個(gè)月線性上架后實(shí)現(xiàn)80%負(fù)載率、外界氣溫對(duì)制冷系統(tǒng)的能耗需求較高等。因此在西北部地區(qū)、較小型數(shù)據(jù)中心等場(chǎng)景下液冷技術(shù)的經(jīng)濟(jì)性尚沒有完全體現(xiàn)。但在數(shù)據(jù)中心發(fā)展的大型化、集約化的趨勢(shì)下，且液冷方案仍存在每年降本5-10%的空間，再考慮到液冷方案能夠有效延長(zhǎng)服務(wù)器使用壽命，未來液冷數(shù)據(jù)中心TCO的優(yōu)勢(shì)將更加明顯。
控制數(shù)據(jù)中心液冷未來市場(chǎng)規(guī)模估算：到2025年，中國(guó)數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到359億元左右，CAGR達(dá)到72.4%；AI數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到280億元左右，CAGR達(dá)到71.4%；通用數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到79億元，CAGR達(dá)到76.2%。
液冷是一種用液體來冷卻電子設(shè)備的散熱技術(shù)。液冷的工作原理是以液體作為冷媒，利用液體的高熱容和高熱傳導(dǎo)性能，通過液體流動(dòng)將IT設(shè)備的內(nèi)部元器件產(chǎn)生的熱量傳遞到設(shè)備外，使IT設(shè)備的發(fā)熱器件得到冷卻，以保證IT設(shè)備在安全溫度范圍內(nèi)運(yùn)行（本文主要討論數(shù)據(jù)中心應(yīng)用場(chǎng)景下的液冷技術(shù)）。根據(jù)冷卻液與發(fā)熱器件的接觸方式不同，可以分為間接液冷和直接液冷。間接液冷是指服務(wù)器熱源與冷卻液之間沒有直接接觸的換熱過程，以冷板式液冷技術(shù)為主。直接液冷是指將發(fā)熱部件與冷卻液直接接觸的冷卻方式，包括浸沒式和噴淋式液冷技術(shù)。其中又可以根據(jù)冷卻液是否會(huì)發(fā)生液態(tài)到氣態(tài)的轉(zhuǎn)變，將浸沒式液冷分為單相浸沒式液冷和雙相浸沒式液冷。當(dāng)前，冷板式液冷和浸沒式液冷為液冷的主要形式。
數(shù)據(jù)中心PUE管控日趨嚴(yán)格，針對(duì)老舊與新建數(shù)據(jù)中心均出臺(tái)強(qiáng)力約束措施。國(guó)家與地方出臺(tái)了一系列政策對(duì)數(shù)據(jù)中心能耗管理進(jìn)行規(guī)范，不斷強(qiáng)調(diào)數(shù)據(jù)中心綠色高質(zhì)量發(fā)展的重要性。2021年7月，工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃（2021-2023年）》，要求到2021年底，新建大型及以上數(shù)據(jù)中心PUE降低到1.35以下；到2023年底，新建大型及以上數(shù)據(jù)中心PUE降低到1.3以下，嚴(yán)寒和寒冷地區(qū)降低到1.25以下。2022年8月，工信部等七部門印發(fā)《信息通信行業(yè)綠色低碳發(fā)展行動(dòng)計(jì)劃（2022-2025年）》，要求到2025年，全國(guó)新建大型、超大型數(shù)據(jù)中心電能利用效率(PUE)降到1.3以下，改建核心機(jī)房PUE降到1.5以下。除此之外，地方也出臺(tái)了一系列數(shù)據(jù)中心PUE要求相關(guān)的政策文件，其中北京針對(duì)數(shù)據(jù)中心的年能源消耗量設(shè)立了多層次PUE要求，年能源消耗量越高的數(shù)據(jù)中心PUE要求越高，此外還針對(duì)PUE超過1.4的數(shù)據(jù)中心實(shí)行電價(jià)加價(jià)措施。
機(jī)電部分包括制冷系統(tǒng)、配電系統(tǒng)、機(jī)柜系統(tǒng)、布線系統(tǒng)和監(jiān)控管理系統(tǒng)的購(gòu)置和安裝成本，不考慮IT設(shè)備成本。
液冷方案與風(fēng)冷方案相比：1）其機(jī)電部分的Capex可以節(jié)省掉冷凍水機(jī)組/冷凍水精密空調(diào)，減少UPS和開關(guān)設(shè)備的容量等；2）需要增加密封機(jī)箱、冷卻液、冷板、熱交換器、防滴漏連接器和機(jī)架式分液器等液冷設(shè)備方面的成本；3）液冷方案下同樣外電體量的數(shù)據(jù)中心內(nèi)空間利用率更高，能承載更多IT設(shè)備，每ITkW（IT設(shè)備功率）下的分?jǐn)偝杀靖?。根?jù)假設(shè)條件測(cè)算，風(fēng)冷、冷板式液冷、浸沒式液冷方案的機(jī)電部分Capex分別為16000-18000元/ITkW、15000-17000元/ITkW和23000-28000元/ITkW左右。冷板式液冷方案下分?jǐn)偟矫縄TkW下的機(jī)電部分Capex與風(fēng)冷方案基本持平甚至更低；浸沒式液冷方案所需增加的機(jī)電設(shè)備較多，分?jǐn)傁聛砻縄TkW的Capex相比于風(fēng)冷仍有7000-10000元/ITkW左右的上升。
土建部分主要包括建筑物成本。風(fēng)冷和液冷方案的土建成本差異主要在于同樣體量的數(shù)據(jù)中心內(nèi)，液冷方案下建筑所需的建筑面積更小。根據(jù)奕信通科技測(cè)算，風(fēng)冷、冷板式液冷、浸沒式液冷的土建部分Capex分別為5000元/ITkW，3000元/ITkW和3500元/ITkW左右。
外電和能評(píng)部分主要包括獲取外電資源，通過能評(píng)驗(yàn)收所需付出的成本。與風(fēng)冷相比，液冷方案的PUE更低更節(jié)能，獲取外電資源，通過能評(píng)驗(yàn)收的難度相對(duì)會(huì)小很多。根據(jù)奕信通科技測(cè)算，風(fēng)冷、冷板式液冷、浸沒式液冷的外電和能評(píng)部分Capex分別為4000元/ITkW，2000元/ITkW和2000元/ITkW左右。
Opex中占比最高的是電力成本，液冷技術(shù)可以有效降低電力成本。數(shù)據(jù)中心的Opex主要包括電力成本、固定資產(chǎn)折舊、房租、人工費(fèi)等等，其中電力成本占比最高，達(dá)到56.7%（風(fēng)冷情況下）。
浸沒式液冷方案的Opex最具優(yōu)勢(shì)。根據(jù)奕信通科技測(cè)算，風(fēng)冷方案的Opex為9360-9720元/ITkw/年左右，冷板式液冷方案的Opex為8040-8400元/ITkw/年左右，浸沒式液冷方案的Opex是7800-8160元/ITkw/年左右。
現(xiàn)階段選擇冷板式液冷的初始TCO已經(jīng)低于風(fēng)冷，浸沒式液冷的TCO將在5-6年之后低于風(fēng)冷。我們根據(jù)以上測(cè)算結(jié)果進(jìn)行10年期的TCO測(cè)算，那么風(fēng)冷的Capex和Opex分別為26000元/ITkW和9540元/ITkW/年，冷板式液冷的Capex和Opex分別為21000元/ITkW和8220元/ITkW/年，浸沒式液冷的Capex和Opex分別為31000元/ITkW和7980元/ITkW/年。根據(jù)TCO測(cè)算，現(xiàn)階段冷板式液冷方案的TCO從開始就已經(jīng)低于風(fēng)冷方案，浸沒式液冷方案也將在5年左右之后出現(xiàn)TCO低于風(fēng)冷方案的拐點(diǎn)。
液冷能夠有效降低服務(wù)器部件故障率，延長(zhǎng)使用壽命。液體具有比空氣更大的比熱容，散熱能力更強(qiáng)，使得服務(wù)器溫度更加穩(wěn)定，CPU和GPU計(jì)算部件可以長(zhǎng)時(shí)間穩(wěn)定工作在高性能頻率狀態(tài)。此外，浸沒式液冷將IT設(shè)備浸入封閉的液體環(huán)境中，與空氣完全隔離，并且不再需要高速風(fēng)扇進(jìn)行散熱，消除了空氣濕度、風(fēng)扇振動(dòng)以及灰塵帶來的可靠性影響，從而優(yōu)化了服務(wù)器的運(yùn)行環(huán)境，延長(zhǎng)了設(shè)備的使用壽命。根據(jù)阿里云的實(shí)驗(yàn)數(shù)據(jù)，與風(fēng)冷服務(wù)器相比，液冷服務(wù)器整體部件故障率下降約53%，其中電源、網(wǎng)卡、風(fēng)扇、網(wǎng)線等部件的故障率下降超過80%。隨著單服務(wù)器價(jià)值量以及數(shù)據(jù)中心運(yùn)營(yíng)成本的與日俱增，服務(wù)器的可靠性與使用壽命顯得尤為重要，液冷帶來的附加經(jīng)濟(jì)價(jià)值有望逐步顯現(xiàn)。
3.5 解耦交付模式成為未來發(fā)展趨勢(shì)，助力液冷產(chǎn)業(yè)規(guī)范化發(fā)展
目前冷板式液冷方案的交付模式可以分為兩類，包括一體化交付與解耦交付兩種。一體化交付是指液冷機(jī)柜的所有部分，包括機(jī)柜和服務(wù)器等，都按照廠商自行設(shè)定的標(biāo)準(zhǔn)進(jìn)行集成設(shè)計(jì)開發(fā)，然后再作為一個(gè)整體進(jìn)行交付。而解耦交付則要求液冷機(jī)柜與液冷服務(wù)器之間遵循用戶預(yù)先制定的通用接口設(shè)計(jì)規(guī)范，機(jī)柜與服務(wù)器可以分別由不同廠商負(fù)責(zé)生產(chǎn)和交付。
4 數(shù)據(jù)中心液冷未來市場(chǎng)規(guī)模估算
根據(jù)估算，到2025年，中國(guó)數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到359億元左右，CAGR達(dá)到72.4%；AI數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到280億元左右，CAGR達(dá)到71.4%；通用數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到79億元，CAGR達(dá)到76.2%。核心假設(shè)如下：
1）假設(shè)通用服務(wù)器的平均功率為0.7kW。以超聚變FusionServer 2288 V7（2U）作為通用服務(wù)器的代表型號(hào)，在超聚變服務(wù)器功耗計(jì)算器中測(cè)算得出其滿載功率約為0.7kW。
2）假設(shè)AI服務(wù)器的平均功率為3.8kW，其中AI訓(xùn)練服務(wù)器平均功率為8kW，AI推理服務(wù)器為2kW。根據(jù)產(chǎn)業(yè)調(diào)研數(shù)據(jù)，假設(shè)AI服務(wù)器中訓(xùn)練與推理的數(shù)量關(guān)系約為3:7，訓(xùn)練服務(wù)器中H系列和A系列所占比例約為4:6，推理服務(wù)器均為T4系列。以超聚變FusionServer G5500 V6作為AI訓(xùn)練服務(wù)器的代表型號(hào)，超聚變FusionServer G8600 V7作為AI推理服務(wù)器的代表型號(hào)，根據(jù)超聚變服務(wù)器功耗計(jì)算器，H系列訓(xùn)練服務(wù)器滿載功率約為10kW，A系列訓(xùn)練服務(wù)器滿載功率約為6.8kW，T4系列推理服務(wù)器的功率約為2KW。結(jié)合以上數(shù)量比例關(guān)系，可以估算出AI服務(wù)器平均功率約為3.8kW。
3）假設(shè)通用服務(wù)器平均功率每年提升10%，AI訓(xùn)練與推理服務(wù)器平均功率未來三年提升30%/20%/15%。根據(jù)近幾年CPU/GPU TDP的變化趨勢(shì)，CPU TDP每年提升10%左右，GPU TDP每年提升20%左右，我們假設(shè)通用服務(wù)器平均功率未來三年保持10%左右的增速，AI訓(xùn)練與推理服務(wù)器平均功率未來三年的增速為30%/20%/15%。
4）至2025年，假設(shè)通用服務(wù)器液冷滲透率由5%提升到20%，AI訓(xùn)練服務(wù)器液冷滲透率由70%提升到100%，AI推理服務(wù)器液冷滲透率由40%提升至70%。根據(jù)產(chǎn)業(yè)調(diào)研與曙光數(shù)創(chuàng)的信息，2022年我國(guó)液冷滲透率為5%-8%左右，預(yù)計(jì)2025-2028年時(shí)液冷滲透率能達(dá)到30%左右。我們假設(shè)通用服務(wù)器2022年液冷滲透率為5%，至2025年液冷滲透率上升至20%；AI訓(xùn)練服務(wù)器2022年液冷滲透率為70%，至2025年液冷滲透率上升至100%；AI推理服務(wù)器2022年液冷滲透率為40%，至2025年液冷滲透率上升至70%；整體液冷滲透率由2022年的8%上升至2025年的25.7%。
5）至2025年，假設(shè)浸沒式液冷滲透率由10%提升至30%，冷板式液冷滲透率由90%降低至70%。根據(jù)IDC《中國(guó)半年度液冷服務(wù)器市場(chǎng)（2023上半年）跟蹤》報(bào)告，按照服務(wù)器出貨量口徑統(tǒng)計(jì)，2023H1我國(guó)冷板式液冷服務(wù)器比例為90%左右，浸沒式液冷滲透率僅為10%。隨著未來浸沒式液冷技術(shù)逐漸成熟進(jìn)入加速推廣期，我們預(yù)計(jì)浸沒式液冷的滲透率由2022年的10%上升至2025年的30%，冷板式液冷的滲透率由2022年的90%下降至70%。
6）考慮到大部分?jǐn)?shù)據(jù)中心液冷廠商的產(chǎn)品只覆蓋數(shù)據(jù)中心液冷基礎(chǔ)設(shè)施中的制冷系統(tǒng)、機(jī)柜系統(tǒng)等核心部分，故估算數(shù)據(jù)中心液冷市場(chǎng)規(guī)模時(shí)只考慮數(shù)據(jù)中心液冷基礎(chǔ)設(shè)施中制冷系統(tǒng)、機(jī)柜系統(tǒng)等核心部分的市場(chǎng)規(guī)模，不考慮布線系統(tǒng)、土建、外電、能評(píng)等其他配套部分。結(jié)合產(chǎn)業(yè)調(diào)研數(shù)據(jù)，假設(shè)冷板式液冷基礎(chǔ)設(shè)施的價(jià)值量約為10000元/ITkW，浸沒式液冷基礎(chǔ)設(shè)施的價(jià)值量約為15000元/ITkW。
7）考慮到未來數(shù)據(jù)中心液冷市場(chǎng)競(jìng)爭(zhēng)逐步加劇以及技術(shù)逐漸成熟，液冷方案價(jià)格將呈逐年下降的趨勢(shì)；冷板式液冷技術(shù)目前更為成熟，未來價(jià)格的下降空間相對(duì)較小。我們假設(shè)冷板式液冷價(jià)值量逐年下降5%，浸沒式液冷價(jià)值量逐年下降10%。
文章節(jié)選自：財(cái)信證券研究
返回列表 
