Appearance
机房折腾日志
记录一下折腾日志
需求
计院毕业，爱好折腾。需要一台长期开机的电脑跑个人开发的各种服务、提供存储
- 必须
- CPU：性能足够强，大概 cpuz 单核超过 800，多核超过 10000 就行。不需要太大规模
- 内存：虚拟机部分大概需要 96g 的内存，Docker 服务大概需要 32G 内存
- 存储：至少 6 个 3.5 盘位，4 个 U2 做数据盘，一个 Nvme 做存储
- 网卡：高速互联，超过万兆
- 电费：一个月电费低于 400
- 期望
- UPS：需要一台能够提供 30 分钟待机时间的 ups（有时候会断电）
- 存算网分离，最少网络要单独的
选址
虽然说家里能塞得下机柜的位置不少，但是考虑到其他环节有各种限制，唯一的选择只有杂物间的一个小空间。但即使是优中选优的天选机房，机架折腾起来也非常的费劲
| 位置 | 电 | 网 | 空间 | 其他 |
|---|---|---|---|---|
| 杂物间 | 插座 | 弱电箱 | 32ux60cm | 最远离居住区域 |
| 小房间 | 插座 | 铜缆断了，飞线 | 不限制 | 还有其他杂物，腾不出来 |
| 北阳台 | 飞线 | 杂物间飞线 | 不限制 | 暴雨全淋湿了，对着三个厕所 |
| 书房阳台 | 无 | 书房飞线 | 不限制 | 南向，更可怕 |
| 客厅 | 有 | 铜缆 | 2-3 个小设备 | 噪音和空间不好解决 |
实际上，这个超小的位置也是我一点点折腾出来的。原本的设计师把这里设计成了工人房，有一个厕所。毫无疑问，工薪阶层家庭完全承担不起这个负担，因此这个位置停水后就被当成了杂物间。由于之前是父母收拾的屋子，也疏于管理，我对这里除了日常反臭以外也没什么映像
后续买了一些服务器设备，寻思找个地方安置的时候才发现了这里。发现这里堆得东西基本都是不要的杂物，分类后终于腾出来了。终于有个位置可以塞东西了。但可惜的是拆除的工作量太大，只能密封了蹲便器后勉强使用
首先评估一下体积，这个小房间的深度大概是一米左右，左右宽度约为 80cm，高度到天花板为 2 米多。看上去是能够塞得下 42U 1 米深的机柜的，实际上太异想天开了。房屋顶部的空间被玻璃挡板、房梁和吊顶侵占，实际可用空间大概是 170cm 左右。排除脚垫空间，也就能塞得下 32U 的机柜。而且后部的冲水设备也会侵占一定的空间，因此机柜的深度也就是 60
而且底部的蹲便器因为无法拆除，只能搞一个亚克力板子进行密封，这就导致了机柜底部的支架间距必须大于 45cm
货架状态
而且，从大门进入房间需要经过厨房两道门（宽度 65cm）和杂物间的门（55cm）。正经的机柜是完全没办法塞进来的
因此我一开始就选择了简单省事的货架方案，小型的需要上机柜的设备直接塞了一个 tplink 的 5u 网络机架当替代品
最后选择了一个 60x40x150 的货架用来放各种机器，然后顶上由于房梁限高所以塞了个 5U 的网络机架用来放一些需要机架的交换机设备
其实在当时的计算密度是空前的巨大，我塞了一个正经的 2U 64 核 512g 内存的霄龙服务器，H3C 4950G5。还有一个 5900X 的 NAS
后续由于当时机房没有做散热优化，夏天日常 40 多度，进风温度直接被拉爆，于是服务器的风扇直接原地起飞，声音震耳欲聋到隔着两层楼板都听得起，光风扇就 70W 了，最后丢到公司机房里了
裸奔机架
后面觉得货架还是不太对劲，60 的宽度，45 的深度实在是太浅了，于是就买了一个所谓的功放机架。这玩意没有外层的框架，只有大概 50cm 宽，勉强可以过阳台门
其实这个功放机架我有个小巧思，因为网络设备比较多，如果白白占用 5U 空间其实很亏，而 tp 的 5u 网络机架体积小巧，正好可以从空隙中塞到功放机架的顶上，这样就节约了大量的空间
后续有了机柜开始正经的进行规划，机柜高度正正好好的有 32U，按照三层结构进行划分
- 最底下的 16U 空间很闷又被水箱挡住了，当成了置物架
- 中间的 8U 空间是最精华的位置，大概能支撑 80 深的服务器，旁边又是负责通气的风扇阵列，所以我就留给了风冷的服务器
- 上面的 8U 空间就比较复杂了，我把 UPS、跳线架、PDU、小主机全放上去了
虽然这个机柜非常逆天的很容易松动，底下和顶上的位置又被托盘占用了，但是不管怎么样总比没有好
正经机柜
后面发现积年累月之后裸奔机柜居然会松了，加上开放式机架漏风导致整个房间的温度都被拉爆了，因此考虑了过后还是上点正经机柜吧
且慢，正经的机柜都是 60cm 宽的，那该怎么塞进不足 55cm 的门内呢？答案也很简单，拆！
而且由于之前使用热熔胶+平板亚克力的密封方式实在是完全没法密封，所以这个机柜时不时的会反味出来，多少有点恶心了。什么恶臭机柜，哼啊啊啊啊啊啊啊啊啊啊啊啊
于是研究了半天新的机柜配置，最后选择定制了一个亚克力盒子然后用整整一罐玻璃胶密封了整个蹲便器。终于不反味出来了
然后机柜也需要跟着变化，因为底下多了一个 60x50 的凸起区域需要考虑如何避让。最后定制了一个和机柜底部差不多的货架托盘撑起机柜，这样也能勉强起到散力架的作用
然后机柜在正经机柜厂家里选型，最后选中了图腾的 60x60 的 32U 机柜，为了密封选择了玻璃门版本的
拆解这个机柜是真的恐怖啊，发货方式是货拉拉直接把整个机柜拉到楼下的。整个机柜结构堪称里三层外三层的复杂
机柜最外层是四面外壳组成的铁皮框架，然后内部四个巨大的立柱负责承载设备的重量并传递到底壳，立柱由四根横梁连接组成一个骨架
而且各个部件之间的连接不像功放机柜逆天用固定设备的小螺丝直接固定，而是设计了类似榫卯结构的传力结构并且用巨大的螺丝固定。我当时为了将机柜拆卸成可搬运的状态费了九牛二虎之力，用扳手+锤子猛敲才把螺丝和螺母拧紧
最后装进去也是非常的困难，毕竟这个机柜的尺寸太过于极限了，我不得不先用货架垫平和台面的距离，然后再在这个稍大的平面上完成机柜的组装
最后发现这个机柜的支撑安装位置拉的比较开，而且在重量上也不会像满载的机柜一样离谱，所以可以直接在这个大平面上塞进去，而且后续也有拉出来的需求，最后我还是把脚撑换成了轮子塞了进去
接下来就轮到了把机柜拉出来的操作需求了，这玩意是真的折磨。之前的 5U 机架由于空闲位置比较大因此可以通过摇一下顶部机柜直接撞上去，但是就现在的正经机柜不仅没有位置更没法通过倾斜的方式腾位置
由于机柜已经预先安装好了几个层板，5U 机架没法通过窗户和机柜侧面直接放入，所以我不得不把机柜先往外拉出来，然后再抱着 5U 机架从底下钻进机架和墙面之间的空位，把 5U 机架放到机柜顶上再钻出来把机柜推回去
动环更新
由于这回一步到位上了最顶的机柜，因此机柜是不会再更新了，就轮到了更换设备和环境改造上
风扇更新
其实我选择图腾的机柜也是看中了机柜的一个好处，就是顶部有 4 个 120mm 的风扇，我寻思着说不定能够起到意料之外的散热效果，结果把风扇通上电一看，基本没风，塞到机房里测试结果也是发现开了和没开一样，还白加了 40W 的功耗，实在是非常难绷
然后我实在是越看越崩不住，决定研究一下有没有合适的散热方案。但是当时的预计方案是把机柜侧移一下然后塞个机柜空调，但是比较合适的机柜空调这个功率范围只有 600W 的，没法满足后续把主力机和服务器都放进机柜的需求（这俩一个就能拉满 1200W）而且机柜空调的制冷效率很低，最多最多也就是 1.3 的 PUE（制冷 600W 需要 200W 的电）
而且最大的问题是没有位置外挂空调机柜，窗户也就差不多 70*36 的宽度，没有位置给 40CM+宽度设计的机柜空调的位置
然后我寻思了一下，不对啊，36=12x3 or 18x2，我直接拿风扇进行散热不就完事了，考虑到散热基本上是一寸大一寸强，最后在挑挑拣拣又测试了一堆不同的风扇后，选择了分型工艺的 18038 进行散热，GP18 是真的猛，可惜没有后续卖的了。原装的扇子性能非常的恐怖，风扇只有 2W 功耗但是风量大的一批又非常安静
C3KE
由于这会机柜是有正经的条件放 PC 和服务器了，因此原本 850VA，600W 的 TG BOX850 UPS 肯定是不顶用了，那么找一个合适的 UPS 就非常的重要了
UPS 分为很多种，后备式是断电了才会进行切换，有个 10ms 的空隙。而在线式会时刻不停的进行转换可以实现 0ms 切换，但是缺点是因为要过一手变压器所以会有 10%的额外功耗。这对我这个抠门小王子肯定是不行的
不过后续找了找，其实有些大功率的 UPS 也有 ECO 模式，在这个模式下机器的表现的后备式一样省电
其实也没什么可以选的，海鲜市场可以选的一般也就是华为、APC、山特这三家的 UPS 然后自己换电池。由于华为的 UPS 比较封闭而且机架式的会占据整个 Unit 的空间，所以最后只能选择塔式的 UPS，然后看一看有 ECO 模式的 UPS，只有山特的 C3KE，海鲜市场还没有这么新的货。得，京东直接下单吧
实际上用起来还挺麻烦的，需要搞一个串口转 USB 的线然后用 powerbox 配置才能配制成后备模式
设备升级
NUC9
之前的中控电脑是 RK3588 的香橙派 5plus，有个问题是 ARM 环境的 docker 不好找然后单核又非常低，所以 MC 和各种大型服务都跑不起来，然后穷则思变，想起来之前用来做测试机台的 NUC9，就把服务器塞了上去
后面发现这玩意还是太废物了，毕竟是四核的 9 代笔记本 I5，性能相当于两根 N100(3588)叠在一起，但是功耗直逼 100 瓦，我实在是绷不住就准备换掉了
100G 交换机
搞了个 100G 的交换机，MikroTik 的 100G 交换机，CRS504。我的要求很低，能满足三台机器的互联和 RDMA 就好了，这机器有四个口速度还可以，最重要的是功耗很低，虽然我对 25W 的待机功耗并不满意就是了
PC
PC 也是一个非常逆天的东西，把之前的 4090 卖掉之后在 5090 的高点接了盘，血亏。这会考虑到之前装机水冷的痛苦经历，以及无时无刻被风扇噪音折磨(就在床头，800 转都很吵)，所以我用 30 米的光纤把台式机拉远
HX370 小主机
后续考虑到选型买了零刻的 SER9，改装底盘外置了一个 PCIE 100G 网卡凑合着用。单核比起以前翻倍，多核翻了 4 倍，终于不再是开机 JVM 初始化的时候卡半天了
3D 打印机
其实这个机柜的底部空间非常有限，我一直在思考有什么合适的设备可以放进去，拿来放些纸盒子实在是太过于奢侈了，最后决定拿来放置 3D 打印机，带通风的机柜和 3D 打印机简直绝配
这并非为了这碟醋包了顿饺子，实际上我有很强烈的定制化零件生产需求，由于机房的体积特别的狭窄，所以我需要非常多的异形结构件进行装配，尤其是云台因为配重需要必须定制一个固定长度的卡扣，嘉立创的三维猴看了下报价太贵了，于是决定拉倒，不如自己打印一个
由于我的打印件的需求是精度大于一切，当前拓竹最合适的只有 X1C 和 A1 mini。A1mini 的热床只有 18x18x18，远不如 x1c 的 25.6x25.6x25.6，但是 X1C 由于是老旗舰，很多设计不如新的 A1 系列省事。我就一直在等新的 X2C 或者大一点的 G1
结果拓竹出了个 32x32x32 的 H2D，体积也超级巨大，原本的 12U 预留高度是不够了。其实以上问题还算好说，大不了继续研究一下偷体积的方案，但是 H2D 由于是双头设备，打印的精度存在很大问题，很难让我花 1W2 的价格去买这样一套设备
所以我就购买了个 A1 mini 拿来打样，一开始需要打印很多测试组件，所以不吸水的 PLA 表现的很好。但是后续节奏放缓了之后用吸水的 PETG 打样就发现打出来的表面效果堪称垃圾，耗材中的水汽被高温加热后爆裂把耗材丝搞的坑坑洼洼的
于是不得不考虑怎么烘干耗材了，但是加上附加设备的 A1 就逆天起来了，由于 X1/P1 系列的打印机上 Core XY 结构，热床上下移动，需要的体积小。12U 的高度就够 256 的平台打印了。而 A1 系列就牛逼了，开放式的 3I 结构，热床前后移动，所以 A1 mini 的 180 热床由于需要前后移动的关系，加上电源和耗材线是竖直着走线，所以 A1mini 的需要的空间比原本计划塞进去的 X1CC 还大，非常难搞
由于机柜的宽度大概是 48CM 左右，在把设备垫高 10cm 避开热床电源线大概还有 40cm 的高度空间，大部分的多盘位设备都是 48x30x25 这样的高度，适配四个 20cm，7cm 左右的拓竹料盘。但是由于位置有限，我找了半天只有差不多 50x30x20 的三绿 S4 可以购买
然后测试烘干，效果确实是还好，但是湿度最低最低也就 25 左右，我买了个第三方的米桶测试加上分子筛的情况下能压倒 10%的湿度。原本计划是塞 4 个加上 BMCU 做第三方的。烘干直接用买个干果器也行
然后又听说干果器可能有问题，做工不行，我很担心自燃。三绿 S4 和干果器最后都没退货，血亏
总结
现在想想看，还是有亿点点折腾的。在整套机柜系统上应该花了超过 1W。简化一点换成铭凡那个 4m2 的 14900HX，然后 两个 CD6 + 6 个 hc550 在存储和总性能方面和现在差距不大，还可以省掉 100g 交换机和大功率 UPS（PC 不接入也行）。把功耗预算降低 200W 左右，一台 PC，一台节点，剩下的功耗预算可以移给新服务器
后续需要研究下怎么把整体的功耗压低到 300W 左右就节约了大量的空间
正经机柜
后面发现积年累月之后裸奔机柜居然会松了，加上开发机架漏风导致整个房间的温度都被拉爆了，因此考虑还是上点正经机柜吧
且慢，正经的机柜都是 60cm 宽的，那该怎么塞进不足 55cm 的门内呢？答案也很简单，拆！
总结
现在想想看，还是有亿点点折腾的。在整套机柜系统上应该花了超过 1W。简化一点换成铭凡那个 4m2 的 14900HX，然后 两个 CD6 + 6 个 hc550 在存储和总性能方面和现在差距不大，还可以省掉 100g 交换机和大功率 UPS（PC 不接入也行）。把功耗预算降低 200W 左右，一台 PC，一台节点，剩下的功耗预算可以移给新服务器