深圳市穹明科技有限公司
新闻资讯

新闻资讯

不吹不黑!年均PUE 1.1的百度首个自建超大型数据中心是什么水平?

2018-10-10   作者:admin



在百度上搜索“百度”会搜到什么,搜索、网盘、地图、百科、知道、图片等等,这些C端的应用构成了普通用户对百度的固有印象,但少有人了解,支撑百度等大型互联网公司数以亿计用户使用的C端应用背后,互联网数字底层基础设施不啻于另一条更激烈的竞争赛道,这其中遍布全国甚至全球的数据中心是最重要的一环。




百度第一个自建数据中心位于李彦宏老家山西阳泉,命名为百度云计算(阳泉)中心,园区占地约360亩地,总建筑面积约12万平方米,包括8个高标准模组,我们走进了百度云计算(阳泉)中心,获悉百度甚少展示的另一面。



PUE 1.1如何炼成?

出北京沿京昆高速一直走,经过保定、石家庄即到山西阳泉,从地理位置、气候条件、网络设施和电价等因素上考量,阳泉不是传统意义上受青睐的数据中心选址地,百度第一个自建超大型数据中心定在此地很大程度是因为阳泉为李彦宏老家。

不过这并不是唯一的因素。一方面,技术的演进扩大了数据中心的选址范围,减少了对一些硬性指标的需求,阳泉的各项条件整体过硬;另一方面,由于李彦宏的缘故,阳泉并不失为最适合百度的数据中心选址。

PUE(数据中心总设备能耗/IT设备能耗,越接近1表明能效越高)是数据中心领域衡量能源效率的权威指标,记者了解到,百度云计算(阳泉)中心单模组PUE低至1.1,1.1是什么概念?

目前国内PUE比较低的数据中心大多在1.3以下,之前参观的大多较为先进的数据中心也是这个水平,在国内PUE在1.2左右的数据中心表现已经算很不错。坦白说,听到百度阳泉数据中心整体年均PUE是1.1时,我们还是有一些怀疑的。其一,阳泉没有特别得天独厚的的气候条件,其二,其他不少顶级互联网公司的数据中心PUE也没有到这个水平,何况PUE 1.1是百度阳泉数据中心单模组年均水平,而不是最低值。


百度云计算(阳泉)中心负责人、百度系统部高级经理顾鹏



如建筑图所示,百度云计算(阳泉)中心整体外观设计既可以说是百度的经典熊掌标志,也可以视作一个绿色节能的灯泡样式,和百度云计算(阳泉)中心的文化衫映衬,8个模组示例特别用了绿色,这些小细节也体现出百度技术文化。

在实地探访过程中,百度数据中心负责人顾鹏告诉雷锋网,百度云计算(阳泉)中心能做到1.1的PUE主要包括两点,一个是电气架构的改变,一个是空调末端的改变,另外配合高温服务器和调优等措施使PUE低至1.1。


百度阳泉数据中心机房



在电气架构层面,传统数据中心的建设基本上采用双路UPS的设计,现在越来越多的新建数据中心采用电力效率更高的架构。如上图所示,电力架构的改变带来的是电源效率的层层提升,PUE在1.2和1.3左右的数据中心很多采用市电+HVDC在线、市电+UPS ECO架构。

早在2010年,百度M1数据中心就率先在国内使用了一路市电+一路UPS架构,效率能达到95%。百度在阳泉数据中心采用了四种架构,市电+UPS、市电+HVDC在线、市电+UPS ECO、市电+HVDC离线,也体现了其电气架构经历的四代改进,从二期项目开始采用的都是电源效率高达99.5%的市电+HVDC离线架构,也是数据中心行业内世界首例采用这种供电架构的数据中心。

了解到,所谓离线(Offline),是指正常情况下市电直供IT设备,HVDC仅为蓄电池提供浮充,市电中断后,转由蓄电池供电,在这种架构下,正常情况为IT设备供电的电能不经过HVDC转换,此部分损耗几乎可以忽略,因此节能效果显著。

“打个比方说,我们原先如果100度电,可能实际上有10度电是由UPS损耗掉了,但是现在我们只有0.5度电被损耗,所以效率还是相当高的”,顾鹏说道。不过离线架构要求定制IT设备电源,所以百度阳泉数据中心基本上都采用的是整机柜服务器。


水冷背板机柜

百度阳泉数据中心的另一个节能大改进在于暖通架构,据顾鹏介绍,阳泉数据中心采用了高温服务器及新型的气流组织结合的零功耗的新型空调末端,充分利用了天然的冷源,冷却模式分为机械制冷、预冷和自然冷却三种模式,阳泉数据中心全年免费冷却能达到96%,相当于每年全部用冷机的时间只有两周,即三百多个小时,剩下的大部分时间都是免费冷却状态。

百度阳泉数据中心采用水冷精密空调(CRAH)、AHU、OCU和IDEC这四种空调末端形式,经过不断实践,阳泉数据中心5个模组采取了OCU制冷模式。

百度自研置顶冷却单元OCU(Overhead Cooling Unit)新型空调末端,与预制模块技术结合,冷却模块垂直安装在机架上方,空调末端无风扇、零功耗,利用空气对流原理,抽走“热通道”热空气的同时,送出冷空气给“冷通道”;AHU(Air Handle Unit)风墙冷却技术,通过与高温耐腐蚀服务器配合,采用全新气流组织方案,解决了空气污染及腐蚀难题;IDEC即间接风侧制冷,抽取室内空气和部分新风以控制出风温度和风量来维持室内温度。

除此之外还了解到,传统服务器要求环境温度为5~35℃,服务器一般运行在25℃左右,百度特别研究的高温服务器耐温设计高达45℃,从而大幅提高自然冷却时间。




百度AI时间



自2017年7月5日百度开发者大会起,百度正式进入了AI时间。“百度将All in AI,我们在AI时代的核心战略就是开放赋能,我们的将来必须建立在与每个开发者共赢的基础上”,李彦宏彼时如是说。

阳泉数据中心是百度AI的一个重要底座,8个模组满载可容纳16万台服务器,记者了解到,百度阳泉数据中心已经承载了百度的搜索、地图、网盘、人工智能、智能云、自动驾驶等技术,每天数据处理量近100PB,百度阳泉数据中心提供着AI训练所需的大量计算能力。

顾鹏表示,百度GPU集群针对大数据、人工智能等场景设计,广泛应用于语音、图象、搜索、无人车、加速计算等业务,百度率先采用引入深度学习和异构计算集群,成为百度大脑的动力引擎。



百度阳泉数据中心液冷机柜



百度X-MAN2.0服务器就部署在阳泉数据中心,用于加速云端人工智能训练,X-MAN2.0服务器为百度自研的AI计算机,实现了GPU和CPU资源物理解耦按需配比,更是全球首个将液冷技术应用到高功耗AI计算系统中的实例,能够提升45%的散热效能。

百度阳泉数据中心不仅提供AI基础,自身也在实践AI。顾鹏表示,阳泉数据中心在实现自动化的基础上,已经在向智能化进行转化,阳泉数据中心全部采用无纸化智能巡检,将相关数据上传到远端电脑,专家系统通过对现场运行数据分析来保障系统稳定性。

百度把AI技术引入了数据中心,通过建立数据中心深度学习模型,比如冷水机组三种模式的运行就通过AI自动判断,根据室外天气湿度、温度和负荷,切换制冷模式、预冷模式和节约模式,此外AI还能实现智能预警,通过负载预判设备运行情况,给出维护策略。

“AI的智能化是后续数据中心运营的一个方向,最终将实现无人值守”,顾鹏表示。

绿色是百度阳泉数据中心的另一个标签,百度阳泉数据中心充分利用了模组屋顶剩余空间,安装太阳能电池板,光伏发电即发即用,阳泉数据中心也是国内首个应用光伏发电的数据中心,阳泉数据中心还大量采用风电清洁能源。“2017年百度阳泉数据中心的风能和太阳能一共将近用了2600万度,占比整个用电量的16%,2018年使用风能和太阳能可以达到5500万度,预计占比可能达到23%以上”,顾鹏介绍道。

百度阳泉数据中心还采用了污水回收再利用技术,数据中心既是耗电大户,也是耗水大户,百度将排污进行收集,应用超滤和反渗透技术,除去水中的氯钠钙镁等离子,顾鹏表示,污水回收系统全部投产以后,每年的回收能达到48万吨水的量,相当于四千户家庭一年的用水量。



百度阳泉数据中心锂电池机柜



百度阳泉数据中心可以说是整机柜服务器数据中心,约96%服务器均采用了百度北极2.0整机柜服务器,北极2.0采用了共享电源和风扇的架构,供电实现标准化、模块化、一体化,总成本降低了15%左右,北极2.0自研服务器平均每台耗电量比普通的服务器下降的12%,交付率提升了20倍,每天交付能达到一万台左右,传统服务器一天最多交付数百台。

阳泉数据中心的参观让我们见识到一个数据中心上的百度,也可以说AI上的百度。当然了,阳泉数据中心新建时百度还没有完全转向AI,还是“移动优先”,不过正如百度新战略“夯实移动基础,决胜AI时代”,移动时代让百度积累了先发优势,在发令枪已经响起的AI时代,百度正把其技术一面逐渐展现,数据中心只是具象之一。(文章转载于IDC圈)