谷歌在過(guò)去10年中一直在建設(shè)自己的數(shù)據(jù)中心。搜索巨頭的數(shù)據(jù)中心非常高效,利用了可再生能源,并盡可能保護(hù)環(huán)境。目前Google依舊大舉投資數(shù)據(jù)中心,最近三個(gè)月投資了16億美金,不得不說(shuō)科技真的是第一生產(chǎn)力。
其實(shí),很多年來(lái),谷歌都有其獨(dú)特的建造標(biāo)準(zhǔn),比如說(shuō)當(dāng)?shù)厥欠裼辛己玫膭趧?dòng)力資源,又或者有沒(méi)有一個(gè)強(qiáng)大的電網(wǎng)接入能力,這可能是一個(gè)很關(guān)鍵的資格審核標(biāo)準(zhǔn)。最近谷歌還增加了綠色問(wèn)題考量的比重,比如說(shuō)谷歌會(huì)考慮當(dāng)?shù)赜袥](méi)有提供可再生的能源供應(yīng)的能力。
谷歌運(yùn)營(yíng)副總裁Joe Kava表示,在谷歌的理念中,長(zhǎng)期效益不僅僅是指谷歌如何使用電力來(lái)供應(yīng)服務(wù)器,如何更快速的設(shè)計(jì)和建造數(shù)據(jù)中心同樣也非常重要。他指出,位于喬治亞州的數(shù)據(jù)中心歷時(shí)16個(gè)月完工,而不是耗費(fèi)2到3年的時(shí)間。谷歌已經(jīng)建立了一整套設(shè)計(jì)和建造數(shù)據(jù)中心的標(biāo)準(zhǔn)流程。谷歌通過(guò)模塊化、低成本的設(shè)計(jì)來(lái)縮短數(shù)據(jù)中心的交付周期。
6年前,谷歌在亞特蘭大建設(shè)一處數(shù)據(jù)中心耗費(fèi)了16個(gè)月時(shí)間。目前,在大樓建好之后,谷歌通常只需要不到1年時(shí)間來(lái)完成數(shù)據(jù)中心的建設(shè)。因此除了技術(shù)領(lǐng)先之外,我們還經(jīng)常感嘆于國(guó)外互聯(lián)網(wǎng)公司快速的數(shù)據(jù)中心設(shè)計(jì)建設(shè)交付能力。相比之下,國(guó)內(nèi)大規(guī)模數(shù)據(jù)中心從規(guī)劃設(shè)計(jì)到建成投產(chǎn),整個(gè)周期往往長(zhǎng)達(dá)2到3年。對(duì)于快速變化的互聯(lián)網(wǎng)行業(yè),很多業(yè)務(wù)可能在不到一年內(nèi)就爆發(fā),或者說(shuō)等機(jī)房建好之后就早已消亡,因此時(shí)間就是生命,效率就是金錢,兩三年的數(shù)據(jù)中心建設(shè)時(shí)間是不能接受的,因此非常有必要研究一下國(guó)外這些領(lǐng)先公司的數(shù)據(jù)中心建設(shè)方法,以滿足業(yè)務(wù)多變和快速需求的能力。本文謹(jǐn)以谷歌數(shù)據(jù)中心的特點(diǎn)以及建設(shè)方法做些最粗淺的分析,純屬拋磚引玉,目的在于讓更多同行來(lái)研究進(jìn)步。
一、建筑布局篇
圖1是谷歌比利時(shí)數(shù)據(jù)中心的全景圖,這是一個(gè)較為典型的谷歌特色數(shù)據(jù)中心,從空中俯視看到的龐大體量和氤氳升騰的水汽,絕對(duì)會(huì)讓人聯(lián)想到現(xiàn)代化的超級(jí)信息處理工廠,或者說(shuō)全力巡航的超級(jí)信息航母,雖然用航母來(lái)比喻不太恰當(dāng)。但正是這些散布在全球的超級(jí)數(shù)據(jù)中心,通過(guò)谷歌全球光纖和Spanner調(diào)度系統(tǒng)連接在一起成為超級(jí)航母戰(zhàn)斗群。據(jù)統(tǒng)計(jì)目前發(fā)送給和發(fā)送自谷歌服務(wù)器的流量如今占到了全美互聯(lián)網(wǎng)總流量的四分之一,全球月獨(dú)立訪問(wèn)用戶數(shù)超過(guò)10億,成為全球互聯(lián)網(wǎng)行業(yè)的超級(jí)巨擘。
從前面的照片上看,谷歌的數(shù)據(jù)中心建筑結(jié)構(gòu)非常簡(jiǎn)單,主體機(jī)房為寬而矮的單層或者雙層建筑結(jié)構(gòu),船體的中后兩艙為兩個(gè)長(zhǎng)寬形主體機(jī)房模塊;船頭為機(jī)房配套的功能區(qū)域,如安保辦公、設(shè)備拆包、接入弱電等;船體左側(cè)為模塊化變配電柴發(fā)區(qū)域,船體右側(cè)是模塊化空調(diào)散熱儲(chǔ)水區(qū)域,水電分區(qū),兩翼作為巡洋艦和護(hù)衛(wèi)艦等保障航空母艦的穩(wěn)定可靠運(yùn)行。
由于建筑建構(gòu)非常簡(jiǎn)單,因此機(jī)樓主體建筑的建設(shè)時(shí)間也可以大大縮短,特別是采用了框架式大開(kāi)間結(jié)構(gòu),以及整體墻板拼接模式,機(jī)房框架的建設(shè)時(shí)間非常短,只有不到兩個(gè)月的時(shí)間即可完成。大開(kāi)間結(jié)構(gòu)和墻板拼接模式不但建設(shè)進(jìn)度快,而且建筑材料可回收利用更為綠色環(huán)保,此外也便于大型設(shè)備搬遷進(jìn)出機(jī)房區(qū)域等,更為適合大型數(shù)據(jù)中心建設(shè)模式。我們一起來(lái)回顧一下2007年始建的Google Iowa州數(shù)據(jù)中心的一些施工圖片,2007年6月,Google在 Iowa 州 Council Bluffs 的數(shù)據(jù)中心啟動(dòng)建設(shè),經(jīng)過(guò)平整土地和簡(jiǎn)易樁基搭建起了如圖2(a)的數(shù)據(jù)中心支撐框架,再經(jīng)過(guò)圖2(b)中的工廠預(yù)制整體墻板吊裝拼接,以及其他道路防護(hù)等工程,整體機(jī)房建筑經(jīng)過(guò)7個(gè)周多的施工,即可完工。
機(jī)房主體建設(shè)的同時(shí)或者稍后,同步開(kāi)展的還有機(jī)房?jī)梢淼臋C(jī)電支撐設(shè)備安裝,前面我們提到了谷歌采用模塊化的供電和散熱模塊,因此其機(jī)電工程建設(shè)也可以采用模塊化分期按需建設(shè)。供電方面,通過(guò)室外型的變壓器和配電柜以及集裝箱柴油發(fā)電機(jī),按模塊分期建設(shè)。散熱方面,采用雙層鋼結(jié)構(gòu)框架,如圖3(a)空調(diào)系統(tǒng)建設(shè)過(guò)程和圖3(b)竣工階段的照片可以看出,鋼結(jié)構(gòu)上層用于安裝冷卻塔,下層用于分布式儲(chǔ)水罐,同樣可采用模塊化分期按需建設(shè)。由于谷歌機(jī)房多選址于氣候涼爽電費(fèi)便宜的偏遠(yuǎn)地區(qū),土地也較為便宜,因此建筑容積率不是很大問(wèn)題,但因國(guó)情不同,國(guó)內(nèi)市區(qū)的多層建筑結(jié)構(gòu)機(jī)房則難以采用此模式。
介紹完了機(jī)房外景,谷歌Council Bluffs數(shù)據(jù)中心的內(nèi)景則如圖4所示,一萬(wàn)多平方米的偌大機(jī)房空間內(nèi)密布著無(wú)數(shù)的IT機(jī)柜和服務(wù)器,以及頂部的供配電母線槽和架空地板下的冷凍水供水管,服務(wù)器散熱則由機(jī)柜熱通道頂部的置頂空調(diào)盤管完成。由于該數(shù)據(jù)中心只是單層建筑結(jié)構(gòu),整個(gè)機(jī)房大空間作為冷通道,除了部分支撐柱和少量功能間之外,基本沒(méi)有其他物理分隔。采用水消防技術(shù)沒(méi)有傳統(tǒng)機(jī)房的氣體分區(qū)限制,市電直供和母線槽技術(shù)也消除了傳統(tǒng)機(jī)房的專用電力和電池室需求,采用空調(diào)置頂散熱技術(shù)則不用傳統(tǒng)機(jī)房?jī)蓚?cè)的精密空調(diào)房,還有變配電和柴發(fā)外置以及冷凍站專門區(qū)域布置,使得機(jī)房空間內(nèi)變得非常簡(jiǎn)潔。這些具體的技術(shù)實(shí)現(xiàn),先按下不表,后面會(huì)再詳細(xì)展開(kāi)。
由于機(jī)房建筑結(jié)構(gòu)非常簡(jiǎn)單,且大型機(jī)電設(shè)備大多外置,因此谷歌數(shù)據(jù)中心內(nèi)的空間利用率很高,可以把很大部分的地板空間用于擺放IT機(jī)柜,因此每機(jī)柜容積比很低,大大提升了機(jī)房?jī)?nèi)的空間利用率。圖5是國(guó)內(nèi)外部分?jǐn)?shù)據(jù)中心的機(jī)房空間利用效率對(duì)比數(shù)據(jù),可以看到谷歌數(shù)據(jù)中心內(nèi)的空間利用方面有很大的優(yōu)勢(shì)。