Giriş
1U ve Blade sunucuların kabin içinde yoğun yer-leştirilmesi, kabin başı güç istemi ve ısı yoğunluğunu arttırmaktadır. Artan ısı yoğunluğu karşısında gelenek-sel soğutma sistemleri altyapısı yetersiz kalmaktadır. Bu yazı, bu artışın kaçınılmaz nedenini, geleneksel so¬ğutma yapısındaki sınırlamaları, geleneksel yapı kulla¬nılması düşünülen yerlerde nelere dikkat edilmesi ge¬rektiğini ve nelerden feragat etmek gerektiğini anlat¬maktadır.
Konu üzerinde tartışmak ya da daha detaylı bilgi al¬mak için yazara sgurvit@apc.com elektronik posta ad¬resinden ulaşabilirsiniz.
Yeni Bilgi Teknolojilerinde Önlenemez Isı Yoğun-luğu Yükselişi
Moore KuralıBilgi teknolojileri cihaz ve sistemlerinin her geçen gün hızlanması, tümleşik devre teknolojilerinin geliş-mesi ile doğrudan ilişkilidir. Morgan Moore daha 1965'te yazdığı bir makalede "tümleşik devredeki tranzistör yoğunluğunun her 18 ayda bir iki katına çık-tığını" Öne sürmüştür. Bu kural hala günümüzde de belirli bir toleransla geçerliliğini sürdürmektedir. Birim hacim içinde artan tranzistör sayısı, o hacim içinde gerçekleşen güç tüketiminin de aynı oranda artmasına neden olmaktadır.
Kabin Başı Güç Tüketim Yoğunluğu
Moore kuralının ortaya koyduğu bu gidiş, veri mer-kezlerinde daha önce sıkça görülen "tovver' tipi ya da 5-8U'luk kabin içi sunucuların yerlerini aynı uygula-maları daha hızlı gerçekleyebilen 1-2U'luk sunuculara bırakmasına yol açmıştır. Tümleştirilmiş tranzistörlerin artan yoğunluğu buna olanak tanımaktadır.
Bunun yanında yoğun tranzistörlü tasarım; ölçekle-nebilir, yedeklenebilir ve servis verilebilir özelllikleri ile Blade sunucuların da geliştirilmesini olanaklı kılmıştır. 6-7U'luk Blade kasalarına, 4-12 adet Blade sunucuların takılması ile bu yoğunlaşma daha da yüksek boyutlara çıkmaktadır.
Aşağıdaki tablo 2002-2003 yılların
ı kapsayan ve "University of California at Berkeley"' tarafından sunulan verilerle de desteklenen bir araştırma sonucudur. Görüldüğü gibi araştırılan tüm veri merkezlerinde kabin başı ortalama tüketim 1.7kW / kabin olup maksimum güç tüketilen kabinin güç yoğunluğu 3kW / kabin olarak bulunmuştur (sol baştaki sütün).
En uç değerlerde bulunan veri merkezlerinden alınan bilgiler ise sağ sütunda toplanmıştır. Kabin başı ortalama maksimum tüketim 4kW / kabin, maksimum güç tüketilen kabinin güç tüketimi 12kW / kabin olarak verilmektedir.
Kabin içi güç tüketim yoğunluğu, kabin başına güç dağılımı olarak ortaya konulduğunda aşağıdaki grafik görülür. 2002-2003 teknolojisi seviyesinde 1U'luk sunucu dolu bir kabin ve Blade sunucu dolu bir kabin güç tüketimi de grafikte gösterilmiştir. Bu iki uç değer, araştırmada rastlanan maksimum değerden büyüktür.Kabinlerdeki güç tüketimi ısı tüketimi olarak veri merkezinin içine hapsolmakta, ortaya çıkan ısı enerjisi soğutma sistemi ile bina dışında atmosfere atılmaktadır.
1 Mitchell-Jackson, J.D., Koomey, J.G.. Nordman, B., Blazek, M., "Data Center Power Requirements: Measurements From Silicon Valley", May 16,2001. Master's Thesis, Energy and Resources Group, University of California. Berkeley, California.
Bunun nedeni bu yıllarda henüz bu yeni teknolojilerin yaygınlaşmamasıdır.. Ama kısa sürede kabin başı güç tüketiminin hızla artacağı açıktır.
1 Mitchell-Jackson, J.D., Koomey, J.G., Nordman, B., Blazek, M., "Data Center Povver Requirements: Measurements From Silicon Valley", May 16, 2001. Master's Thesis, Energy and Resources Group, University of California. Berkeley,
California.
Geleneksel Veri Merkezi Soğutma Stratejilerinde Sınırlar
Bu başdöndürücü güç tüketim yoğunluğu yükselişinin tabii ki veri merkezlerinde kullanılan soğutma ve havalandırma sistemleri ile atılması beklenecektir. Ama aşağıdaki eğri geleneksel sistemlerin yetersizliği konusunda çok büyük tehlikenin habercisidir.
Mavi eğri yıllar ile değişen kabin içi güç yoğunluğunu gösterirken kırmızı eğri de geleneksel soğutma sistemlerinin kabin başı ortalama soğutma kapasitesini göstermektedir. Ara büyük bir hızla açılmaktadır. Mavi eğrinin 2003 yılında 20kW/rack değerinden geçerken 2005 yılında 30kW/rack değerini kesmesi de ivmenin boyutunu göstermektedir. Bu durum, yakın zamanda veri merkezlerinde soğutma konusunda çok büyük sıkıntılarla karşılaşılacağının belirtisi...
Bilgi teknoloji cihazlarının ve veri merkezi soğutma sistemlerinin esaslarına hakim olmayan kişiler için bu kabin başına soğutma kapasindeki sınırlama anlaşılması oldukça zor bir gerçektir. Herkesin düştüğü tuzak, ek soğutma üniteleri devreye alınarak kabin başına soğutma kapasitesinin arttırılacağı kanışıdır. Male-sef, bu bilinçsizce yapılan tip yatırımlar genelde yatırıma karşı getirişi çok az olan önlemlerdir.
İleri teknoloji kullanmada amansızca yarışan sunucu üreticileri de bu açılan ara ile ilgili endişeleri taşımaktadırlar. Önceleri geleneksel soğutma sistemlerinin bu sınırları, eski teknolojilerde bir sorun yaratma-sa da yeni güç yoğun sunucu modelleri uygulamalarında ortak sıkıntı haline dönüşmüştür. Bu yüzden gelecekteki perspektifi göz önüne alarak sorunları ortaya koyacak ve çalışmalara yön verecek bir örgüt olan "The Termal Management Consortium for Data Cen-ters and Telecommunications Room"2 ileri gelen sunucu üreticileri tarafından -kurulmuştur. IBM3, \-\P4 gibi bilgi teknolojileri lider uygulayıcıları geleneksel veri merkezlerindeki bu soğutma ile ilgili sınırlamayı uygulamalarında göz önüne almaya uzun süreden beri başlamışlardır.
2 2005-2010 Heat Density Trends in Data Processing, Computer Systems and Telecommunications Equipment. The Uptime Institute, Inc.
3 IBM Physical site planning and preparation
4 www.hp.co.il/events/Presentations/ BladeRS/Dri-vingDensityDataCenter.pps page 30
Veri merkezlerinde kullanılan geleneksel soğutma yapısı aşağıdaki şekilde görülmektedir. Kabinler soğuk koridor ve sıcak koridor olarak sırt sırta ve yüz yüze bakacak şekilde düzenlenmiştir. Yükseltilmiş tabanın altına soğutucu üniteler tarafından basılan soğuk hava, kabin önlerine konan perfore ya da ızgaralı karolarla dağıtılmaktadır. Kabin İçinde konumlandırılan sunucuların içindeki fanlar, kabin önüne gelen taze havayı içeri çekip arkadan sıcak hava olarak dışarı atarlar. Taze hava akımı, sunucu içinde başta mikro-işlemçiler olarak ısınan modüllerin ısı enerjisini üzerine alır, ısınarak sunucuyu terkeder.
2 2005-2010 Heat Density Trends in Data Processing, Computer Systems and Telecommunications Equipment. The Uptime Institute, Inc.
3 IBM Physical site planning and preparation
4 www.hp.co.il/events/Presentations/ BladeRS/DrivingDensityDataCenter.pps page 30
5 VVP-46 Cooling Strategies for Ultra-High Density Racks and Blade Servers - Rev 4 American Power Conversion
Sıcak havanın soğuk havaya daha az karışarak soğutucuya geri dönüşümü sağlamak üzere kat yüksekliği uygunsa alçaltılmış tavan da kullanılabilir.
Veri merkezi soğutma sisteminin verimli çalışması, aşağıdaki dört gerek şartın aynı anda sağlanma seviyesi ile doğrudan bağlantılıdır.
• Soğuk havanın en verimli şekilde her kabinin kendi gereksinimine göre dağıtılması.
• Sıcak havanın en verimli şekilde soğutucu üniteler tarafından geri toplanması.
• Soğuk hava ile sıcak havanın birbirlerine mümkün olduğu kadar karışmaması.
• N+1(x) yedeklilik isteminde her bir (x) ünite kapatıldığında diğerlerinin yukarıdaki üç kriteri azami sağlaması.
Soğuk havanın her kabine ihtiyacı kadar perfore ya da ızgaralı karolarla dağıtımının yapılması ile İlgili sınır aşağıdaki eğri ile5 özetlenmiştir.
5 VVP-46 Cooling Strategies for Ultra-High Density Racks and Blade Servers - Rev 4 American Power Conversion
Aşağıda daha geniş açıklanacağı gibi; 1-2U'luklar dahil olmak üzere klasik yapıdaki sunucular ile Blade
gun yerleşim stratejisi olarak düşünülebilir. Ama geleneksel soğutucu ünitelerinin maksimum giriş hava sıcaklığı 27 - 28 QC'yi geçemez. Bu soğutma ünitelerinde kompresör motor sargılarının soğutulması, bu sıcaklığın üzerinde prensipte olanaklı olmadığından ünite kendini korumak için kapatmak zorundadır.
Dolayısı ile tam bir kısır döngü içine girilmektedir. Bir taraftan Blade sunucu yüklü kabinlerin arkasından çıkan sıcak havanın diğer kabinler tarafından taze hava olarak kullanılmasını önlemek için karışmadan soğutucu üniteye dönmesi ile önlem alınması gerekmektedir. Diğer taraftan da soğutucu ünitenin emiş hava girişindeki sıcaklığın 27 - 28 QC'yi geçmemesi için 38 - 40 öC'ye varan Blade sunucu sıcak havasının soğuk hava ile karışıp kabul edilebilir bir sıcaklıkta geri dönüşümünü sağlanmalıdır.
Sonuç
Moore öngörüsüne göre birim alan başına düşen tranzistör sayısı her 18 ayda bir iki katına çıkmaktadır. Bu kuralın sunucu teknolojilerine yansıması, kabin başı güç tüketiminin son yıllarda büyük bir ivme ile artması şeklindedir. 1 U'luk ve Blade sunucular bu yansımanın ürünleri olarak veri merkezlerine yaygınlaşmaktadır.
Büyük bir hızla büyüyen kabin başına güç yoğunluğuna rağmen geleneksel soğutma sistemlerinin sağladığı kabin başına kapasite akışkanlar mekaniği ve yapısal pratik sınırlar nedeniyle yetersiz kalmaktadır.
Geleneksel veri merkezi soğutma sisteminin verimli çalışması, aşağıdaki dört gerek şartın aynı anda sağlanma seviyesi ile doğrudan bağlantılıdır.
• Soğuk havanın en verimli şekilde her kabinin kendi gereksinimine göre dağıtılması.
• Sıcak havanın en verimli şekilde soğutucu üniteler tarafından geri toplanması.
• Soğuk hava ile sıcak havanın birbirlerine mümkün olduğu kadar karışmaması.
• N+1(x) yedeklilik isteminde her bir (x) ünite kapatıldığında diğerlerinin yukarıdaki üç kriteri azami sağlaması
Gelecek yeni teknolojilerin baskın kullanıldığı veri merkezlerinde:
Soğuk havanın en verimli şekilde her kabinin kendi gereksinimine göre dağıtılması, hava akış dinamiğinin pratik uygulama şartları altında ortalama 3 -4 kW/rack sınırına kadar olanaklı olduğundan yeni teknolojilerin yüksek doluluk oranlarında kullanılması mümkün değildir.
Sıcak havanın en verimli şekilde soğutucu üniteler tarafından geri toplanması, geleneksel soğutma ünitelerinin emiş hava sıcaklığının yapısal olarak 27 - 28 QC'yi geçmemesi ve buna rağmen 1 U'luk sunucularda çıkış sıcaklığının 30-32 ÖC; Blade sunucularda ise 38 -40 eC'ye varabilmesi nedeniyle gerçeklenmesi olanaklı olamamaktadır.
Soğuk hava ile sıcak havanın birbirlerine mümkün olduğu kadar karışmaması, yüksek doluluk oranlı kabinlerin önlerine yükseltilmiş taban ve perfore karolarla aktarılacak hava akışı, sunucuların emiş istemlerine yeterli olamayacağından mümkün olamaz.
N+1 yedeklilik isteminde her bir ünite kapatıldığında diğerlerinin yukarıdaki üç kriteri azami sağlaması, yüksek güç tüketimi yoğunluklarında yukarıdaki üç kriterin de gerçeklenememesi dolayısı ile ön görülemez duruma gelecektir.
Bu gerçekler göz önüne alındığında veri merkezlerinde yeni teknoloji sunucular baskın olarak kullanılmak istendiğinde geleneksel soğutma stratejisi yeterli olmayacaktır. Halihazırda geleneksel soğutma sistemleri kullanan veri merkezlerinde yüksek teknoloji yenilemesi yapıldığında veri merkezi altyapısına göre sınırların belirlenmesi ve bu sınırları aşmayacak şekilde kullanım oranlarının belirlenmesi iş sürekliliği yönünden gerekli olacaktır.
Yeni kurulacak ve yeni teknoloji kullanarak yüksek güç tüketimi yoğunluğu hedeflenen veri merkezlerinde ise geleneksel soğutma sistemlerinin terkedilip yenilikçi strateji ve sistemlere ihtiyaç duyulacaktır.
sunucuların soğutma hava akışi açısından farklılıkları vardır. Dolayısı ile yatay eksende sunucuların bulunduğu kabin önünde olması gereken hava akışının kabin başı güç tüketimine dönüşümü, klasik yapıdakiler için kırmızı doğru ile Blade sunucular için ise mavi doğru ile yapılabilir.
Grafik, ulaşılabilecek geleneksel soğutma sistemi kapasitesi yönünden üç ayrı (dikey) bölgeye ayrılmıştır. Sol baştaki ilk bölme tipik veri merkezlerinde ulaşılabilecek ısı yoğunluğudur. Orta bölüm iki kısımdan oluşmaktadır. Soğuk hava akışının optimum şekilde kabin önlerine dağıtılması ile önlemlerin alınması (with effort) ve bu önlemlerin yüksek mühendislik düzenekleri ile desteklenmesi (extrem) durumlarını içermektedir. En sağdaki bölüm ise geleneksel veri merkezi soğutma sistemleri ile pratik olarak gerçeklenmesi imkansız ortalama ısı yoğunluğu seviyesini göstermektedir.
Geleneksel Yapı ile Nereye Kadar?
Tipik veri merkezlerinde sınır, klasik yapıdaki ser-verler için 2kW/rack, Blade sunucular İçin ise 3kW/racktır. Örneğin 400 W güç tüketen 2U'luk ser-ver ile 7U'luk toplam 2kW harcayan Blade sunucu şasesini karşılaştırma için göz önüne alalım. Baskın olarak 2U'luk sunucular kullanılırsa bu sınırın içinde kalmak kaydı ile her kabine en fazla 5 adet sunucu olacak şekilde dağıtılmalıdır. Bu da 42U'luk kabin standart olarak alınırsa kabinlerin doluluk oranı %24 olacaktır. Blade sunucular baskın olarak kullanılıyorsa her kabine 1 adet 7U'luk dolu şase ve 1 adet de yarım doluluk ile ikinci bir şase konumlandırabilir ve kabin doluluk oranı %25 olacaktır.
Eğer yukarıda bahsedilen soğutma sisteminin verimli kullanılması ile ilgili 4 gerek koşulu sağlayarak en optimum duruma ulaşıldığında klasik yapıda sunucular için 3.5kW/rack, Blade sunucular için 5.5kW/rack gibi sınırlara ulaşacaktır. Veri merkezinde baskın olarak 2U'luk sunucular kullanılırsa, bu sınırın içinde kalmak kaydı ile her kabinde en fazla 9 adet sunucu olacak şekilde dağıtılmalıdır. 42U'luk kabin standart ola
rak alınırsa kabinlerin doluluk oranı %43 olacaktır. Blade sunucular baskın olarak kullanılıyorsa her kabine yaklaşık 3 adet 7'luk şase tam dolu olarak kullanılabilir ve kabin doluluk oranı %50 olacaktır.Yukarıdaki sınırlar ancak daha fazla açıklık oranı olan perfore karo kullanmak, kabin altı kabloların hava akışını minimum düzeyde engelliyecek şekilde organizasyonu, yarım metre üstünde yükseltilmiş taban, 4 metre ve üstünde tavan yüksekliği, ek fanlar, ek hava kanalları, yönlendiriciler gibi yüksek mühendislik içeren önlemlerle arttırılabilir. Bu durumda bile klasik yapıda sunucular için 4.5kW/rack, Blade sunucular için 7kW/rack gibi sınırlardan daha yüksek kabin içi tüketim yoğunluğuna erişemez. Yani kabinleri ortalama 11 adet 2U'luk sunucularla ya da ortalama biri yarım dolu 3,5 adet Blade şasesi ile durdurulabilecektir. Doluluk oranı ise sırasıyla %52 ve <%60 olacaktır.
Bunun üzerindeki yoğunlukta soğuk havanın kabin önlerine gerektiği yoğunlukta iletilmesi olanaksız hale gelecektir. Soğuk havanın iletilmesi gerek şarttır ama yeter değildir. Sıcak havanın akışında karşılaşılan problemler genelde daha baskın olduğundan yukarıdaki sınırlar büyük veri merkezlerinde teorik denebilecek kadar erişilmesi zor değerlerdir.
Bu aşamada yanlış algılamaları önlemek için şunun altını çizmek yerinde olacaktır: Burada bahsedilen kabin başına tüketilen güç, veri merkezinin ortalaması olarak hesaplanan veridir. Veri merkezlerinde 1-2U sunucular ve Blade sunucuların kullanım oranı henüz yaygın değilse, yeni yeni az sayıda ama yüksek güç yoğunluğunda (örneğin 10kW/rack) kabinlere rastlanıyorsa odanın ortalama güç tüketimi doğal olarak sınırların altında olacaktır. Böyle bir durumda problem olmaz diyerek rahatlamadan önce aşağıdaki bölümde anlatılanları dikkatlice incelemek yerinde olacaktır.
1U ve Blade Sunucu Dolu Kabinlerin Sinsi Sabotajı
Başta sunucular olmak üzere bilgi teknoloji cihazlarının soğutması, fanlar kullanılarak cebri hava akışının kutu içinden geçirilmesi ile sağlanır. Bir başka anlatımla, aşağıdaki temsili resimde görüldüğü gibi, kabin önlerinde ulaşan taze (soğuk) hava, sunucularda bulunan fanlarla emilmekte ve kabin arkasında ısınarak dışarı atılmaktadır.
1 U'luk sunucular da dahil olmak üzere tüm geleneksel yapıdaki sunucular kVV başına 75.5 L/s'lik bir dava akışı ile soğutulur. Dolayısı ile fan karakteristikleri bu akışı sağlayacak şekilde seçilir. Bu hava akışı ile 1kW"lık bir güç tüketimi giriş hava sıcaklığı ile çıkış hava sıcaklığı arasında 10 derecelik artıma sebep olur. 22 derecelik bir hava girişi, çıkışta 32 derecelik hava sıcaklığına neden olur.
Buna karşın Blade sunucular geleneksel yapıya göre daha iyi form faktörüne sahiptir ve daha az hava akışı ile daha yüksek güç tüketimi sağlanmaktadır. Fakat bu durum rağmen 22 eC'de emilen hava sunucu çıkışından 38 QC gibi yüksek sıcaklığa ulaşır.
2U'luk sunucularla dolu bir kabininiz varsa bu kabin özellikle yüksek hava akışına sahip bir kabin olacaktır. Örneğin yukarıdaki örnekteki gibi içinde 400VV tüketimli 2U'luk sunucuyu gözönüne aldığımızda ve bunlardan 15 tanesinin bir kabine konumlandığını düşündüğümüzde kabin içinde 6kW tüketileceği açıktır. Yukarıdaki bilgiler ışığında bu kabinin içindeki sunu-culardaki fanlar ile 6kW x 75.5L/s/kW = 453 L/s hava akışı oluşacaktır. Örneğin sistem odasının soğutma sistemi tipik yapıda ise kabin önündeki perfore karodan sağlanacak taze hava akışı 150L/s ile sınırlı ise bu kabinin tüm odaya yapacağı gizli sabotaj girişimi kaçınılmaz olacaktır.
Yüksek cebri hava akışı, öncelikle yan kabinlerin taze hava akışını çalacaktır, böylelikle yan kabinlerin ısı değerlerini yükselticektir. Eğer bu hava da yeterli olmazsa -özellikle üst sıralardakiler- odada bulunan kullanılmış havayı emerek çıkış hava sıcaklığının daha da artmasına sebep olacaktır. 1 U'luk sunucu dolu kabin kendi sağlığı için oda içinde bulunduğu yerdeki tüm komşularının sıcaklık seviyelerini yükselterek sinsi sabotajını sürdürecektir. Genelde ağ kritik fiziksel altyapısında çalışan kişilerin "Biz tek kabine 10'larca 1 U'luk sunucu yerleştirdik, bir sorun çıkmıyor" türünde söylemleri bu sabotajın sinsi olmasındandır. 1 U'luk yoğun kabinler kendilerinden önce -şüphenilmeyen-diğer kabinlerde sıcaklık problemlerine neden olurlar.
Blade sunucularla dolu kabinin yarattığı sorunlar ise biraz farklı olsa da 1 U'luk sunucularla dolu kabinden pek aşağı kalmamaktadır. Yukarıdaki 15 x 2U'luk sunucu ile dolu kabin ile karşılaştırılması kolay olacak şekilde 4 adet 7U'luk şase bulunan Blade sunucu kabinini göz önüne alırsak, güç tüketimi 2kW x 7 = 14kW ve gerekli hava akışı ise 14kW x 49.6L/s/kW = 670 L/s olarak bulunacaktır. 2U'Iuk sunucu dolu kabinin yarattığı hava akışının 1.5 katı bu hava emişi yukarıda bahsedilen uygunsuzlukları da aynı oranda arttırıp problemlerin daha etkin olmasını sağlıyacaktır.
Blade sunucuların bir başka sabotajı da çıkan sıcak havanın yüksek sıcaklığıdır. Örneğin bir veri merkezinde yüksek doluluk oranlı Blade sunucu kabinlerini bir arada ve arkaları bir soğutma ünitesine dönük olarak konumlandığı durumu düşünelim. Bu ilk bakışta 38 - 40 QC'ye varacak sıcak hava akışının diğer hacme dağılmadan doğrudan soğutucuda ulaştırılması en uygundur.