下一步我的自建数据中心设计思路之第二种设计思路

The second design idea of my self built data center.

之前我发表过一片关于下一步我的数据中心设计思路第一种方案,文章详情点击这里查看我的下一步自建数据中心机房设计思路

但是之前的那种设计方案发现了一些弊端:

  1. 占地面积较大。由于布局了多排的机柜,每排之间都需要预留气流通道和运维通道,所以空间利用率损失了一部分。
  2. 并不是最佳的能效比布局方案,主要问题在于还需要单独的轴流风机将热气流吸入制冷区域,而这个轴流风机也需要消耗一定的能量。其次是冷气流到达设备机柜需要一定的距离,众所周知,气流路径越长,效率损失越高。
  3. 扩建性能不佳,前期需要一次性建设好场地空间,后期在场地的空间内进行扩建。当场地利用率满了之后,只能单独建设第二数据中心。

综上所述的几点问题,于是我就在脑海中构思一个更简单更高效的方案。所以自然而然的,我也根据之前第一种方案延伸设计出了第二种的布局方案,可以解决上述主要问题。首先发几张图片,大概看一下第二种设计方案的布局:

首先来一张侧视图。相信一些做过流体力学运算的朋友们,看到这张图应该会非常眼熟。没错,一目了然就能分辨出冷区域和热区域。下面我会用一张更详细的介绍图来说明:
  • 简而言之:
  • 简单粗暴的布局,直接通过服务器自身的气流,将热量排放到热气流区域。
  • 由于热量在机柜后方的热气流区域聚集,所以热气流区域温度会比较高。
  • 高温热气流进入空调的进风口,通过换热器将热量带到室外。
  • 冷却后的冷气流从空调出风口排出。
  • 冷气流只需要1米至2米的距离即可循环进入服务器机柜。

尽管如此,这种方案仅适合我,因为我采取了如下的方案和策略:

  • 全正面维护服务器和模块化的设备,完全不需要后面维护。
  • 统一的机柜标准,我们完全采取的是定制产品,因此无需考虑第三方机柜和产品的兼容性。
  • 超高密度,我的服务器机柜,每平方米密度大约是100~120个节点。
  • 超高功耗与热量聚集,我的服务器机柜,每平方米耗电量平均约为18~26Kw/h,峰值30Kw/h以上。如此恐怖的热量,传统的机房制冷条件无法满足需求。

当然我也想出了一些更进一步的建设方案,例如苹果的总部:

采取横向布局后,由于可以无限延伸。如果场地空间足够大的话,可以排列布局呈环形,闭环设计。

热量可以统一朝内排放,同时环形内部可以建造一座巨大的热电厂蒸汽烟囱。由于所有热量处于中心,会在自然对流情况下向上蒸腾,产生气流动力,通过安装轴流电机。如果方案不错的话,还能实现数据中心废热发电,或者加强热气流排出,like this:

for fun only

我的下一步自建数据中心机房设计思路

My next step in self-built data center computer room design ideas.

昨晚躺在床上在意识中构思了许久:关于如何简化设计并且高效的运用热管理来建设下一个机房布局。而且设定的前提是:着重要进行热管理,冷热气流分流独立通道。今早用了一个简易软件设计了一下效果图和布局图,比较满意。

这是效果图总览,我花了几分钟做了个快速草图的设计。
一个局部近景查看

灵感是参照这种世界目前现有的模块化数据中心机柜布局:

给我主要灵感的是这种数据中心布局。


但是我的方案要简单粗暴许多:统一气流通道,有独立热风收集通道、制冷间、IT运营通道、回冷通道。兼顾了设备维修、热管理、运维便利性的多方位因素。


很早之前我就有想法往北去发展,因为我目前是在河南,河南这边的电费是全国中游水平,而我的目前自建机房规模已经达到了100多台机器。服务率超过70%。这样每个月下来,电费大概需要两万元左右(电价恒定0.62元)。

关于为什么我想去内蒙那边:
其实我很早就了解到内蒙古那边的电价比较便宜,内蒙古的电价是全国第二低的,仅次于新疆。
第二点好处就是内蒙古地广人稀。东西跨度大,沙漠,戈壁,草原,山地都纳入了版图,以后想要去哪里游玩也都很方便。
第三点是内蒙古对云计算高科技产业扶持比较好,有相关扶持政策,所以从这一点来推算,内蒙古那边的网络建设应该也不错,托内蒙古已有的数据中心的福。

最近半个月,我一直在同城平台搜寻内蒙古各个城市的场地和价格方面,最终在同城平台包头、鄂尔多斯预选了几个还不错的地,有部分已经和地主联系了。后面抽时间去实地考察。在这里祝自己一切顺利。

最后说下我给自己设的一个人生小目标:30岁时资产达到千万级别。
目前我手头总资产已经上百万了,通过有头脑有智慧的运营和规划还是相信自己能实现这样一个自我挑战小目标的。

但我也不会忘了一步步实现自己的同时,去贡献社会和造福世界。做个有头有脑的人。

2千元DIY出2万元价值,改造性DIY 8卡GPU专业双路服务器并投入使用

2,000 RMB to create 20,000 RMB value, transformative DIY 8 card GPU server and put into server room use.

自从我购买了3d打印机之后,各种各样富有创造性的设计和创作层出不穷,真的是大大方便了我的工作和创意的实现。因为我从事的工作是服务器机房的维护,所以我3d设计并打印了许多和服务器扩展性相关的零件,久而久之,我就对各种各样的扩展设计游刃有余。真的就如同那句话:没有做不到,只有想不到。3d打印机的确帮助了我,实现了许多的不可思议的创意和梦想。就比如这次我分享的这一个:

这个平台只有2000多元,但是能实现与2万元的专业8卡GPU服务器一样的性能和功能。
This platform is only 2,000 RMB, but can achieve the same performance and features as the 20,000 RMB professional 8-card GPU server.

这应该算是有史以来,我玩的‘最大’的一次。我之所以能够实现这个创造,首先还要感谢生产这款服务器的厂家,刚好就恰到好处的设计成了这种样子,所以才给了我机会,能够让我来实践改造性的DIY。

这个主板包括主板上面的处理器,内存,然后还有周边的电源连接线,总共的成本也就两千多块钱。但是它所能实现的功能却和售价两万元左右的专业8卡GPU服务器一样。

最重要的是我所设计和创造的这个平台,它的扩展性能更好,主要是不限制安装的GPU的规格和尺寸,同时在性能上和专业的8卡服务器没什么区别,所有的GPU都采用了质量上乘的延长连接线,能够工作在PCI-E全速的3.0 16/8X带宽。

最后放一张benchmark的截图,是我用这个平台进行3DMAX VARY的多GPU渲染跑分测试,有关网上其他人所提交的8卡同型号GPU服务器相比,差距不大。

8 card 1080ti gpu server benchmark

有了3D打印机后就仿佛拥有了一个小型零件工厂

自从我购买了一台入门级3D打印机之后,我设计并打印了许多实用的小零件。而这在几年前甚至十多年前,是想都不敢想的。

想曾经为了寻找合适的小零件,或者改造方案,往往需要绞尽脑汁想办法,并且需要暴力改造。而如今,有了3D打印机,只需要量身进行设计,就能完美契合所需要的位置。大大方便了应用,而且也提高了附加价值。

下面这个就是分享一下我的众多设计中的其中一个,也是最近两天我设计的一个服务器零部件。实现把节点化的服务器改造成为可以扩展安装一个GPU的能力。

视频分享

跟随自己的兴奋,购买了一台入门级的3D打印机,开始创意无限之路

前几天,我为自己购买了一台3D打印机,关于购买这台3D打印机的故事也是充满风趣。一直以来,我都喜欢模块化改造、设计、拼装一些东西,来形成新的应用。

我自己的服务器机房里许多东西都是我花了许多心思和脑筋改造应用的,但是久而久之,我发现光利用现有的材料和资源并不能满足我的应用需求。我需要一些足够‘个性化’的东西来帮助我实现我的应用和需求。

很早之前我就知道3d打印机的存在了,于是我就开始在脑海中构建各种利用3d打印机打印和设计出来的零件,我发现如果有一台3d打印机的话,能够帮助我很好的实现许多应用。

其实我本来不想买的,但是每当我在脑海中开始构建各种各样的设计,越发的我开始觉得购买一台3d打印机是非常有必要的。于是我就跟随自己的兴奋,买了一台。

前些日子,我花时间浏览了一些3D打印机。经过一段时间的精挑细选,我最终决定先购买一个入门级的3d打印机。我购买的是创想三维的ender-3S

我购买的入门级3D打印机,创想三维ender-3S,花了一千元出头。
第一次看到3d打印机工作的样子,还是非常兴奋的。简直就是一种享受。

打印机购买回来之后,第一件事就是仔细阅读说明书,我发现3d打印机其实原理非常简单,但是想要更好的去利用它,最重要的事情就是要调平,其次是3d模型的设计也是个关键。不过最终决定打印质量的还是切片软件,切片参数的设计直接决定打印出来的质量如何。

由于我主要是玩硬件为主,软件方面不是我的强项,更别说3d设计了。不过我还是找到了一个非常简单容易上手的3d设计软件,严格来说,这并不是一个软件。他很特别,因为它是由像素块组成的,也就是像素建模。不过正是这种简单粗暴的软件,满足了我的3D设计小白,而且是恰到好处的满足了我的需求。

这款像素建模软件非常简单好用,在这个软件里边虽然只能设计棱角鲜明的模型,不过还是满足我一般设计模型的需求。我设计的时候一个像素是按照1mm来计算的。

我第一个设计的模型是GPU运算卡的风扇整流罩,给机房里边的GPU服务器,运算卡做涡轮风扇转接用。其实这也是我购买3d打印机的最主要原因之一。

经历了三四次反复的设计,最终我设计出了一个完美的转接器。

正如我所说的那样简单粗暴。但是非常实用。
这是最终的应用效果,完美契合,还挺不错。