În încercarea de a spori eficiența utilizării puterii și de a permite procesarea unui număr mai mare de date în condiții de spațiu mai mic, specialiștii din industria sistemelor de calcul au studiat soluții alternative la răcirea forțată cu aer. Metodele de răcire cu pereți reci și plăci de bază, ajutate de schimbătoare de căldură pe bază de lichid sau gaz, au fost utilizate decenii la rând, astfel încât, plecând de la un laptop, la centre de date și până la stații radio de bază, s-a ajuns la o tehnologie bine stabilită de extragere a căldurii din componentele disipatoare. Tehnologia a funcționat bine, dar pentru a face un salt de la 40 kW / rack la 250 kW și mai mult, chiar și această tehnologie și-a atins limitele.
Figura 1: PC răcit cu ulei mineral
(Imagine: PRBX / Prin amabilitatea Puget System) ▶
Modalitatea prin care se poate obține mai multă putere de calcul într-un centru de date în condiții de siguranță și eficiență a fost preocuparea multor ingineri, iar ideea de a obține toate avantajele răcirii cu lichid prin scufundarea sistemelor de calcul grele în fluid a devenit o opțiune interesantă. După mai bine de 10 ani de experimente, studii de caz și teste, haideți să vedem unde se situează această industrie în 2021 și cum se vor adapta și dezvolta sursele de putere pentru a se alinia acestei tehnologii.
De la acvariu la centrul de date de foarte mare densitate
Dacă sunteți un fan al jocurilor online, care necesită niveluri uriașe de putere de calcul, probabil că vă amintiți de întâlnirile dedicate PC-urilor, unde pasionații înfocați își expuneau calculatoarele scufundate în ulei într-un acvariu (figura 1). Oricât de anecdotic ar părea, începând din 2005, ideea de a beneficia de tehnologia de răcire cu lichid prin scufundare la mare adâncime a fost explorată de comunitatea de jocuri, dar cel mai mare interes pentru această tehnologie a apărut din partea mineritului Bitcoin, care necesită o putere de calcul masivă.
La originea mineritului Bitcoin, multe companii au profitat de mediul nordic rece și de energia hidroelectrică regenerabilă produsă la nivel local pentru a înființa centre de date. Țările nordice au demarat numeroase proiecte pentru a sprijini aceste inițiative.
Un exemplu este proiectul suedez, “The Node Pole”, care promovează o abundență de electricitate stabilă și la prețuri competitive provenită din energie regenerabilă, invitând operatorii de centre de date să benefi- cieze de acest mediu specific.
Multe companii de top au înființat centre de date în țările nordice, de exemplu, în Boden, Suedia. Am putea menționa compania de Bitcoin KnC Miner, care în 2014 a deschis un centru de date de 10 megawați plin de computere de mare putere pentru mineritul de criptomonede, valorificând beneficiile energiei hidroelectrice și ale răcirii naturale.
Figura 2: Centrul de date KnC Miner de 10 megawați plin de calculatoare de mare putere care efectuează operațiuni de minerit pentru criptomonede în Boden (Suedia) (Imagine: PRBX / KnC Miner-2014)
Deși sursa de energie care alimenta o fermă Bitcoin provenea din surse regenerabile, se pierdea, totuși, energia disipată și începeau să apară preocupări cu privire la “utilizarea energiei”. Numeroase centre de date de minerit Bitcoin din întreaga lume funcționau în hale uriașe, cu mii de unități de calcul răcite cu aer forțat, fără nicio reciclare a căldurii (figura 2).
Dacă centrele de minerit Bitcoin care funcționau în condiții nordice puteau să se “descurce” folosind răcirea cu aer forțat, metodologia nu era cu siguranță o soluție pe termen lung, iar în cazul unităților de calcul masive care funcționau în restul lumii − și care nu beneficiau de aer rece natural − nu era deloc o soluție.
Figura 3: Allied Control – răcire prin imersare în 2 faze – (Imagine: PRBX / Courtesy of LiquidStack)
În orice caz, având în vedere aspectul și impactul asupra mediului, risipa de energie a devenit o preocupare majoră și, chiar și în țările nordice, comunitățile locale au solicitat centrelor de date să îmbunătățească eficiența utilizării energiei (PUE − Power Usage Effectiveness) prin optimizarea și reutilizarea căldurii rezultate în timpul procesului de calcul, de exemplu pentru a încălzi apa pentru consumul public.
Pe lângă mineritul Bitcoin, cererea tot mai mare de arhitectură de calcul masiv pentru simulări și pentru viitoarele rețele de vehicule autonome a motivat operatorii din centrele de date să ia în considerare metode alternative pentru a furniza o putere de calcul extrem de mare în spații mai mici, cu un PUE apropiat de 1.0! Ideea de a scufunda în fluid părțile de calcul intensiv ale centrelor de date a prins contur în cadrul comunității de ingineri, iar sistemele funcționale au început să fie testate în 2010.
Drumul către răcirea prin imersare a fost deschis!
Când Bitcoin întâlnește Big Data
Am putea enumera multe experimente realizate în întreaga lume pentru a proiecta echipamente cu putere mare de calcul imersate în fluide, dar merită menționat centrul de date containerizat de 1,4 MW împreună cu rack-urile sale plate de 240 kW lansat de compania Allied Control din Hong Kong (acum LiquidStack) − soluție recompensată cu premiul “Best Green ICT Award” în 2014 (figura 3).
De la prima generație lansată în 2012 la cea de-a treia generație lansată în 2015, în cooperare cu 3M în cadrul unui proiect numit 2PIC (2-phase Immersion Cooling), Allied Control a crescut numărul total de wați pe ‘square foot’ de la 0.023 kW la 0.30 kW, menținând în același timp o eficiență a utilizării puterii (Power Usage Effectiveness − PUE) de 1,02. Acest lucru a fost posibil prin optimizarea tehnologiei de răcire prin imersare cu lichidul de răcire 3M Novec 7100.
Figura 4: Comparație între performanțele răcirii cu aer și cele ale răcirii cu fluide (Imagine: PRBX / Prin amabilitatea 3M)
Prezentată la numeroase conferințe, de exemplu Open Compute Project Summit (OCP Summit), răcirea prin imersare oferă beneficii fără precedent în ceea ce privește performanța. După cum se arată în figura 4, densitatea de putere per rack poate crește de la 40kW la 250kW (și chiar mai mult), puterea de calcul de la 10kW la 100kW pe metru pătrat, iar energia utilizată pentru răcire se poate reduce de la 2,0 pPUE (partial Power Usage Effectiveness) la sub 1,02 pPUE.
Pe lângă îmbunătățirea performanțelor, răcirea prin imersare este considerată de către managerii centrelor de date și ca o posibilă soluție pentru reducerea riscului de incendiu. Cu toții ne putem aminti de incendiul de la centrul de date francez OVH din Strasbourg și de daunele colaterale care au avut impact asupra clienților lor. În ciuda tuturor precauțiilor și a măsurilor luate pentru a preveni un incendiu, densitatea crescută de energie a centrelor de date existente, răcite prin metode convenționale, rămâne o mare preocupare pentru managerii centrelor de date.
Răcitoarele dielectrice utilizate în centrele de date imersate au o rigiditate dielectrică de mii de ori mai mare decât aerul, astfel încât, chiar dacă există un scurtcircuit în lichidul de răcire, nu există scântei sau aprindere, ceea ce reduce în mod clar și considerabil riscul de incendiu. De asemenea, cen- trele de date imersate folosesc un număr foarte limitat de ventilatoare, utilizate în principal în afara mediului de calcul, în schimbătorul de căldură.
Figura 5a: Principiul de bază al răcirii lichidului prin imersare într-o singură fază (SLIC) (Imagine: Powerbox (PRBX))
Luate în considerare toate acestea, centrele de date imersate oferă o mulțime de beneficii și, după Google, Alibaba și multe altele, anunțul recent al Microsoft de a utiliza răcirea prin imersare în două faze pentru centrul său de date Azure din Quincy, Washington, confirmă cererea pentru procesare Big Data, care înlocuiește faza inițială de experimentare Bitcoin.
A face centrele de date mai puternice și mai bune în ceea ce privește eficiența utilizării puterii este grozav, dar apar întrebări: Funcționează răcirea? Ce va însemna acest lucru pentru producătorii de surse de putere?
SLIC și TLIC!
Există două tehnologii utilizate în mod obișnuit pentru răcirea prin imersare:
Figura 5b: Centru de date cu răcire prin imersare SLIC DUG din Houston, care găzduiește peste 40.000 de servere (Imagine: PRBX / Prin amabilitatea DUG Technology)
Răcirea prin imersare cu lichid într-o singură fază (SLIC − Single-phase Liquid Immersion Cooling) și Răcirea prin imersare cu lichid în două faze (TLIC − Two-phase Liquid Immersion Cooling). Ambele tehnologii fac posibilă obținerea a peste 200 kW per rack cu un PUE impresionant. Decizia de a utiliza una sau alta dintre tehnologii depinde de condițiile operaționale și de cele mai bune practici aplicate în anumite industrii.
Au fost publicate numeroase lucrări de specialitate cu privire la ambele, dar, în termeni simpli, iată cum funcționează:
Răcirea prin imersare în lichid într-o singură fază (SLIC)
Serverele cu răcire prin imersare într-o singură fază (figura 5a) sunt de regulă instalate în poziție verticală în container și sunt răcite cu un fluid dielectric pe bază de hidrocarburi, similar uleiului mineral, așa cum era folosit de către împătimiții de jocuri în trecut.
Căldura este transferată de la componentele de disipare la lichidul de răcire, care este apoi răcit prin intermediul unui schimbător de căldură într-o unitate de distribuție a răcirii (CDU − Cooling Distribution Unit).
Operarea și întreținerea tehnologiei într-o singură fază este foarte simplă. În afară de centrele de date la scară mare (figura 5b), SLIC este soluția preferată pentru sistemele de calcul industriale care operează în medii dificile și care necesită un nivel foarte ridicat de siguranță.
Răcirea prin imersare în lichid în două faze (TLIC)
Într-un sistem de răcire prin imersare în două faze (figura 6a), serverele sunt scufundate într-o baie de lichid pe bază de fluorocarbon special creat. Deoarece lichidul are un punct de fierbere scăzut (adesea sub 50°C față de 100°C pentru apă), căldura de la servere fierbe cu ușurință lichidul din jur.
Fierberea lichidului provoacă o schimbare de stare din lichid în gaz, dând astfel numele răcirii prin imersare în două faze.
Apoi, vaporii sunt condensați și aduși din nou la forma lichidă prin serpentinele condensatorului răcit cu apă, acestea fiind amplasate în partea superioară a rack-urilor etanșe. Lichidul condensat se scurge înapoi în baia de lichid pentru a fi reciclat prin sistem (figura 6b).
Figura 6a: Principiul de bază al răcirii cu lichid prin imersare în două faze (TLIC) (Imagine: Powerbox (PRBX))
Sursa de putere în cazul aplicațiilor de imersare
Marea majoritate a echipamentelor din centrele de date sunt alimentate de un redresor care convertește tensiunea alternativă (AC) în tensiune continuă de 48V DC. Unele utilizează o distribuție de înaltă tensiune în curent continuu – HVDC − (de exemplu, 400 VDC). În cazul echipamentelor imersate, sursele de putere se află adesea în afara rezervorului, acestea fiind disponibile din comerț; totuși, o serie de unități de calcul de înaltă densitate și înalt integrate implementează o soluție de putere completă.
Utilizată inițial în medii dificile în care siguranța este importantă, iar răcirea complicată, tehnologia de imersare a echipamentelor electronice se practică de mulți ani. Odată cu creșterea cererii de rețele mici cu capacitate de calcul ridicată, a început dezvoltarea unei noi generații de servere imersate, înalt integrate, care includ o sursă de putere AC/DC (figura 7).
Figura 6b: Servere TLIC la centrul de date Microsoft Quincy, Washington (Imagine: PRBX / Prin amabilitatea MICROSOFT)
Deși majoritatea componentelor sursei de putere sunt compatibile cu diferitele lichide de răcire utilizate în SLIC și TLIC, proiectanții de sisteme de alimentare trebuie să selecteze cu atenție condensatoarele electrolitice. Acestea sunt proiectate pentru a suporta umiditatea, însă proprietățile capsulei lor de etanșare pot fi afectate atunci când sunt imersate permanent. Întrucât operarea unui astfel de condensator în condiții de scufundare poate fi în afara specificațiilor sale normale, este important să se simuleze, testeze și să se verifice durata de viață a condensatoarelor atunci când sunt imersate pentru a fi utilizate ca atare. Un alt parametru important de luat în seamă este legat de condițiile termice, care, în cazul unui lichid de răcire, acestea diferă foarte mult față de cele de funcționare în condiții normale de temperatură. În ambele cazuri, prin recirculare (SLIC) sau prin evaporare (TLIC), căldura este evacuată din componentele disipatoare mult mai rapid decât în aer. La unele componente, astfel de coeficienți pozitivi de temperatură (PTC) sunt dependenți de tempe- ratură, iar în cazul aplicațiilor imersate, decalajul dintre temperaturile scăzute și cele ridicate este mult mai mic. Proiectanții de sisteme de putere trebuie să ia în considerare acest lucru. Lichidul de răcire are proprietăți dielectrice ridicate și nu există nicio problemă în operarea topologiilor în comutație la tensiuni înalte în cazul surselor de alimentare imersate, deși este important să se mențină o izolare fizică ridicată, de exemplu prin utilizarea unei acoperiri de protecție pentru a preveni coroziunea din cauza efectului electrolitului care ar putea apărea atunci când acestea sunt scufundate în lichid.
Majoritatea principiilor de amplasare utilizate în cazul răcirii cu aer se aplică și în cazul aplicațiilor imersate, dar este important să se asigure că circulația fluidului este optimizată în ceea ce privește sursa de putere.
Nu în ultimul rând, atunci când se operează în condiții de imersiune, măsurarea temperaturii poate fi o provocare.
Deși se folosesc frecvent senzori de temperatură convenționali cu o racordare specifică la componentele disipatoare, adesea se apelează și la alte variante de monitorizare prin măsurare digitală. De asemenea, tehnici precum analiza ripplului și a anvelopei de zgomot ajută la monitorizarea performanței totale și la aplicarea unei întrețineri preventive atunci când parametrii sunt în afara limitelor critice.
Figura 7: Sursa de putere AC/DC PRBX OFI600A-12 proiectată pentru aplicații de răcire prin imersare (Imagine: Powerbox (PRBX))
Care este următorul pas?
Ceea ce a început demult, cu împătimiții de jocuri electronice, care își scufundau computerele în acvarii și ajungând acum la centrele de date de calcul masiv, la scară, lumea sistemelor de calcul imersate este menită să crească rapid. Izbucnirea COVID-19 stimulează atât cererea de servicii de centre de date, cât și noile tehnologii, cum ar fi vehiculele autonome și 5G, aflate în fază incipientă. SLIC și TLIC vor continua să îmbunătățească nivelurile de performanță, la fel ca și producătorii de surse de putere care lucrează la topologii foarte eficiente folosind semiconductoare Wide Band Gap (SiC și GaN). După 10 ani de experimente și inițiative locale, lumea sistemelor de calcul imersate se deschide frumos. Proiectanții de sisteme de putere iubesc provocările, iar dezvoltarea unor surse de putere imersate, de mai mulți kilowați, este o provocare căreia nu-i pot rezista.
Referințe:
• The Node Pole: https://www.nodepole.com
• LiquidStack (Allied Control): https://liquidstack.com
• 3M Novec: https://www.3m.com/3M/en_US/novec-us
• DUG Technology: https://dug.com/dug-cool
• Microsoft: https://news.microsoft.com/innovation-stories/datacenter-liquid-cooling
• Powerbox (PRBX): https://www.prbx.com/2019/11/powerbox-announces-industrys-first-power-supply-for-immerged-computing-applications
Autor: Patrick Le Fèvre, Director Marketing & Communication
Powerbox – A Cosel Group Company| www.prbx.com
