美女斗地主胱衣服下载:詳解谷歌水冷服務器技術

閱讀  ·  發布日期 2019-03-11 10:27  ·  adminzcy

老玩斗地主易得啥病 www.rnpbr.com 前段時間谷歌公司第一次允許媒體記者進入其位于美國和歐洲地區的數據中心進行訪問與拍照,并公布了一批其數據中心的照片。通過照片,人們可以看到谷歌數據中心里面整齊地擺放著成千上萬臺服務器和錯綜復雜而又色彩繽紛的線纜以及冷卻管道。我們在驚嘆于其數據中心精彩的時候,也清醒認識到谷歌敢公開這些圖片,就說明它有下一代技術了,未來很可能會進一步大幅改變其現有的計算系統架構。谷歌也曾說“他們的同事看了未來的架構,都對現在的系統不太滿意”,這說明谷歌的新一代數據中心架構會有更大更好的改變。本文通過谷歌專利的水冷服務器技術,做最粗淺分析和最大膽猜測,和大家分享其尚未公開但有可能已在采用的數據中心技術。

水冷服務器其實也不是個全新的概念,比如圖1是IBM聯合瑞士蘇黎世聯邦理工學院共同研發了一種名叫Aquasar的水冷超級計算機,它可以降低40%以上的能源消耗,減少85%的碳排放,同時將收集來的熱能用于建筑上的需求例如地熱。從這個案例我們可以看到采用水冷服務器的主要好處是就近帶走熱量,可以有很高的節能效果,同時大大提高功率密度來縮小服務器的尺寸,減少風扇噪音,以及容易實現熱能回收等等好處?;謖廡┖么?,谷歌早在2006年之前就開始研究此技術,并于2009年得到其水冷服務器的專利。谷歌水冷服務器專利的主要技術特點是服務器主板兩兩成對安裝在散熱片的兩個外側,由散熱片內流過溫度較低的冷凍水來帶走熱量。其中高發熱的元件,比如CPU和南北橋芯片組等靠近散熱片內的冷凍水來安裝,從而發出的熱量被散熱片內的冷凍水就近帶走;而一些發熱量不高的器件,比如內存和硬盤等則直接安裝在稍遠離三明治散熱片中心的位置,部分案例中還有服務器風扇或電源風扇安裝在某側的服務器主板上,用于將內存和硬盤等的熱量帶走。

如圖2是谷歌水冷服務器的側視圖,其中中間的三明治結構部分為水冷散熱片114,散熱片的上下表面分別安裝了兩個服務器主板112a和112b以及CPU、內存等發熱元件。由鋁錠加工壓疊壓而成的散熱片114的內部有多個如122這樣的冷凍水通孔,用于帶走散熱片吸收的服務器熱量。散熱片114的表面則根據服務器器件的發熱程度還專門刻蝕出不同深淺的平臺,用于安裝發熱量不同的器件,比如標識為116的CPU和標識為118的芯片組等高發熱量器件,置于靠近冷凍水供水通道的平臺,而標識為120的內存、標識為124網絡和標識為130的低發熱量器件則可置于稍遠離冷凍水通道的平臺,部分設計中標識為126的服務器風扇等還仍然會用于給服務器表面的器件散熱,下面會更為詳細介紹。

采用水冷服務器來散熱有很多好處,比如發熱量大的器件可以高效就近在本地很快被散熱片冷卻,而不像傳統服務器發出的熱量散發到機房級,需要通過機房級大風扇、冷水機組、大功率水泵等較高能耗的傳統制冷方式來實現,還不用額外冷卻機房級大空間環境內的空氣等。由于采用了就近散熱方式,冷凍水就可以不再采用傳統的7/12度供水,而供水溫度可以提升到21攝氏度以上,基本就不再需要冷水機組了,大大節能還可節省設備投資。同樣服務器釋放出來的發熱量大大減少,氣流循環的風扇126也僅僅可以以較低的速度運轉,大大節省服務器風扇的能耗。

圖3是谷歌水冷服務器的俯視圖,主板201上有6個標識為202的CPU及標識為206的芯片組,中間橫向虛線部分為多根內存陣列,以及冷通道側的網絡控制器208和網絡RJ45接口214等。服務器的進風從右側進入,流經內存及周邊器件,然后被標識為204的服務器電源吸入,服務器電源的風扇203既作了電源的散熱風扇,同時還兼做了服務器的氣流循環風扇,進入服務器的風還可以被導風板205導入到風扇內,防止冷氣流短路直通。

圖4(a)是服務器散熱片114的內部結構圖,包括302和304這樣的冷凍水通孔,內部流經的冷媒除了普通冷凍水外,還可以是氟化劑、食用油、乙二醇、液氮等等非導電物質。冷凍水從靠近大發熱量CPU側的306口進入,帶走大部分熱量后,再從小發熱量的內存等附近308口流出。實際應用中,服務器機架內的水泵及閥門等提供冷凍水給到每套服務器,比如機柜內的冷凍水配水豎管(類似供電的配電PDU),通過快速連接軟管(類似于供電的電源線)以及每個服務器接入水閥門(類似于供電的空開)接到每套服務器的散熱片內。冷凍水豎管上級還有配水單元及供水閥門(類似于供電的配電柜及上級空開)。圖4(b)是散熱片的更詳細側視圖,可以看到散熱片400表面上有三個不同的散熱平臺層,用于不同發熱量的器件。散熱片400實際由三層鋁錠402、404和406壓疊而成,其中中間層的404可以為導熱好的金屬材料,也可以采用導熱不好的塑料材料等,甚至可以不用404層,直接由導熱性好的402和406壓疊而成。此外412作為冷凍水輸入口,而414作為冷凍水流出孔。

 

圖5是兩個服務器機柜502a和502b的簡化圖,兩層導軌的兩套服務器之間的部分存在一定空隙,用于機柜級氣流流通,這個氣流循環由每套服務器上安裝的風扇來帶走。由于服務器上的大部分熱量都被散熱片內的冷凍水帶走,風扇只用于循環內存和硬盤等低發熱器件的部分散熱氣流,因此風扇運行轉速很低功耗也很少。每個散熱器表面的兩個服務器上器件經過精心設計,以至于服務器密集堆疊部署時,相鄰兩套服務器上的器件也不會互相干涉。比如上一套服務器的底部主板上的器件不會和下一套服務器的頂部主板上的器件發生干涉。同時每套服務器頂部主板上的風扇可以巧妙地同時用于本服務器頂部主板以及上面一套服務器的底部主板上的器件散熱,即一套服務器的風扇可以同時用于上下兩個服務器主板的散熱。此外,如前面所述,這里的服務器風扇可能會單獨安裝較大的散熱風扇,但在谷歌的水冷服務器應用中,因為內存和硬盤等需要的散熱功率不大,這些風扇很可能只是服務器電源內的散熱風扇。通過這些電源風扇的運轉以及導風板設計,將內存、硬盤等器件的熱量帶走,同時兼做服務器電源的散熱,最后再送到熱通道內降溫。由于采用了雙U高的大電源風扇,可以得到更大的風量,在降低了風扇轉速和風扇能耗的同時,還可以大大降低機房的噪音,提供更好的現場人員工作環境,谷歌的機房也因為冷通道維護環境舒適和機房低噪聲大空間等考慮和設計,也于前幾年通過了OHS職業健康安全管理體系認證。

 

如前面所述,除了被冷凍水帶走的熱量外,主板上內存硬盤等由電源風扇循環的熱量,在熱通道內被熱通道頂部的制冷盤管重新制冷后,再被機房級的大風扇引導重新循環回服務器的冷通道側以及現場人員操作通道內,最后被服務器吸入重新開始新一輪循環。通過適當控制機房級熱通道內的服務器出風溫度以及冷凍水供水溫度,或者控制IT設備級的水冷服務器進水流量,以及服務器上氣流循環的風扇轉速,使得整個系統高效運轉在最佳節能狀態。

比如控制服務器的出風溫度,將散發出來的熱量有效控制在較小的熱通道內,得到較高的置頂空調盤管的delta T溫差,溫差越大盤管熱交換效率就更高。且熱氣流不會和冷氣流混合,就近被冷卻盤管散熱,風扇的功耗也更低。同時通過盤管頂部的機房級循環大風扇將冷卻后的空氣重新循環回機房的冷通道內,整個機房環境作為大的冷通道,不僅提供一個涼爽的現場運維人員工作環境,同時還兼作為整個大冷池,用于眾多服務器的風扇故障備份。

圖6是機房某個剖面示意圖,如前面介紹,整個機房環境是個大的冷通道,用于如下圖515的工作人員操作空間,兼做服務器的進風側,實際圖6右側機柜的右邊也是有類似冷通道用于服務器的進風,這里沒畫出來。兩排機柜間的通道516作為熱通道,用于匯集兩側所有服務器發出的熱量(當然主要發熱部分由服務器內部散熱片內的冷凍水帶走),熱通道頂部安裝著標識為514的置頂盤管,由風扇512和盤管514將熱通道516內的熱量制冷后再釋放到整個機房大環境冷通道內。雖然下圖的512風扇沒有和514盤管放在一起,專門做了個熱吊頂510,實際在谷歌的很多案例中512風扇會直接安裝在514盤管頂部,不再建設吊頂層來減少工程的復雜度。當然盤管514也可以不用直接安裝在熱通道的頂部,比如安裝在機柜底部等,減少盤管漏水或者冷凝水等對服務器的運行風險,總之,可以靈活安裝盤管和風扇的位置,滿足不同的應用和風險需求。

 

和谷歌的微??榧際躋謊?,谷歌的水冷服務器機房沿用了地板下供水的方案,由于需要保持水冷服務器的水質,因此主要通過板式換熱器528來隔離冷凍水內循環和冷卻水外循環。513a和513b是機房級主供回水管路(類似于供電主母排),而515a和515b為機柜級配水供回水管路(類似于機柜供電PDU),524a和524b為到每個服務器的供回水支管(類似于電源線),非常類似供電系統的供電路徑設計。其中524a和524b為快接軟管,考慮服務器故障檢修和搬遷等經常性維護操作,用于和服務器散熱片的快速插接。整個管路上還有很多的閥門用于防止漏水,比如豎管上的球閥527和支管自動截至閥等。而流到每個服務器的冷凍水流量則由流量計525a和溫度傳感器525b來控制,比如當監測到服務器溫度偏高的時候,可以加大水流量或者調低冷凍水供水溫度等。