Appearance
某倒霉催的服务器搭建指南
事情的开始,只是我想换个主板和 CPU 而已
在我大学的时候,我装了一台小 ITX,配置是经典的 3700X+微星 B450i+2070S。当工作了之后,我的桌面空间宽裕了很多,于是我就筹划着更换一套平台,不再被 ITX 系统所局限。换下来的部件还正好能整一台小服务器玩玩
预计的更换内容很简单,换一个更大的电源为更新后的显卡做准备(40 系改成新的插头,等于白买了),然后买个便宜的 b550 迫击炮+APU 5600g 回来。这样主机的配置是 3700x+b550 迫击炮+2070s,小服务器则是 5600g+b450i。给小服务器再买个便宜的内存和机箱就能使用了
如果事情到这里就结束,那事情确实是皆大欢喜。主机更新了配置,还多了个小服务器。而且 b450 平台不支持 pcie4.0,5000 系列 APU 正好只支持 pcie3.0x16,而且 5600g 的 CPU 及核显不仅性能强劲,功耗还低
服务器升级经历
那么最早期的服务器配置如下
CPU:5600g
主板:微星 B450i gaming plus ac
内存:铭瑄 16GBx2 2400MHZ
硬盘:英特尔 P4510 1T
硬盘:西数 4T WD40PURX x 1
散热器:利民 AXP90X47
电源:海韵SX650G
机箱:超频三 蜂鸟1
这个机箱的搭配可以说是非常的完美,体积小巧、性能强劲。还预留了一个全高全长的双槽半的显卡插槽,可以拿来装一个 3.5 寸机械和各类固态等东西,或者是后期把淘汰的 2070s 换上去
我测试了一下服务器的性能数据,cpuz 单核 550,多核 4500。烤机功耗大概是 100W,CPU 温度 86 度左右
但是,接下来就是折腾至今的服务器升级过程
PART I 来点硬盘
在安装服务器,搭建系统环境期间。我给主机装了一个 8T 的 SSD,考虑到文件备份的要求,我就寻思给服务器升级个硬盘吧
经过一系列的技术选型后,我选择了乔思伯的 N1 机箱。支持 7cm 散热器空间、5 个热拔插 3.5 寸盘位、若干个 2.5 寸盘位(取决于盘体厚度和你的动手能力)以及我的 SFX 电源。而且体型小巧,做工解释、颜值很高
如果是对电脑知识有点了解的朋友可能会有点疑惑,一般的 ITX 只有 4 个 sata 盘位,如何填满这个机箱的 5+n 盘位呢?这就要讲到一个冷知识了,主板的很多部件的功能都是走的 PCIE 通道,而无线网卡正好可以拔下来,插入专门的 sata 扩展卡转换出两个端口
于是这台电脑的硬盘搭配就变成了 一个 1T 的 P4510 当系统盘、一个 500g 的 mx500 当缓存盘,5 个 4T 机械组 raid6 做文件存储,兼顾存储容量和数据安全
PART II 来点 CPU
当然,装的这台小主机既然我称呼为服务器,就说明他不是用来简单的放点文件的,不然我塞进去一个 5600g 干什么呢?当然是为了挂机 GTAV 了!这个服务器设计的目标是提供文件存储服务+双开虚拟机挂机 GTA+文件转码+开一个 MC 服务器+跑数据库和我开发的一些软件
这么多功能叠加下来,对于一颗 6 核 12 线程的处理器来说压力还是大了点。其实主要还是 GTA,一个虚拟机就需要 8G-10G 的内存,40%左右的 CPU 性能。这样子分配给其他虚拟机的性能就不太够了,尤其是我想要开个 MC 服务器和在本地镜像一个数据查询服务器。剩余 20%的 CPU 性能可能是不够的
那么,问题的解决办法就很简单了,换!来一颗 5700G 当 CPU 就正好合适,8 核 16 线程@4.6ghz 的旗舰规模,性能足够暴打当时的 i 家旗舰 i9 11900k。而且功耗更低,性能更强
于是乎,我就在咸鱼上花了 1700 买了个盒装 5700g。买回来之后我肯定是要好好的把玩一下,不然怎么对得起我那颗折腾的心呢。测试结果十分优异,双开 CPU 也就占用了 60%的性能。但是烤机功耗飞升到了 120W、使用换了个 9225 的台达暴力扇的 axp90,CPU 温度也频频破 95 度
这就有点尴尬了,从原来的环环相扣,紧密配合变成了小马拉大车
PART III 多来点内存
虽然 CPU 的性能的足够了,但是我又发现了更大的问题。那就是内存又不够了。winserver 默认需要大概 8G 的内存空间,然后两个 GTA 虚拟机 16G、一个工作用虚拟机 8G、一个开发用虚拟机 8G。32G 的内存空间是绝对不够的,于是乎我咬咬牙,花了 2200 又买了两个 32G 的 3200mhz 的三星纯 ECC 内存(自带奇偶校验,稳定性远胜于常规内存)
这下在高频 64G ECC 内存的加持下,总该无忧了吧?可惜,再一次的,事与愿违
我非常喜欢 AMD 的原因不仅是因为逆袭的故事励志与强劲的性能,AM4 接口的连续支持 6 代 CPU 和不阉割 ECC 内存支持做强行分级更是让我好感大增
可问题就出在这个 APU 上,虽然 APU 的 CPU 和显卡性能双优,非常适合组一个精简又性能强大的小钢炮。但是物理学极限摆在那里,在本来就寸土寸金的 CPU 空间里塞下一个性能不错的核显非常麻烦
在 4000 系列 APU 出现以前,APU 长期被延迟一代更新的 CPU 性能和只有 x8 的 PCIE 通道所困扰。虽然在 4000 系列之后的 APU 终于用上了和普通 CPU 同代的架构和完整的 PCIEx16 的通道,但是对于 ECC 内存的支持却需要购买专门的 PRO 系列 CPU 才行
而且要想启用 ECC 的支持,不光 CPU 的内存控制器需要支持 ECC。主板厂商也需要多拉 8 根内存连接线和进行专门的 ECC 认证。在消费级主板能做到这一点的厂商就只有华硕及分公司华擎
不过买都买了,看在 ECC 内存更好的做工上,就凑合着用吧。毕竟 64G 的内存,开虚拟机是真的快乐
PART IV 再多来点硬盘
购买了新机器总是会给自己创造新的需求,而对于本来就有仓鼠党倾向的我来说更是如此。有了 NAS 之后想要玩什么?当然是私有云和 PT 了!
我将 5 块机械硬盘按照微软的镜像加速奇偶部署推荐校验划分为了两部分,大约 1.5T 的三副本镜像性能存储和 7.5T 的双奇偶校验容量存储。数据会先写到“快速”的镜像缓存中,缓存写满后,系统自动调度不常用的数据到速度慢的容量层中。不仅保证在掉任意两块硬盘的情况下数据依然可用,同时还能享受到镜像加速的高速度、奇偶校验的大容量
一块 4t 裸盘的存储空间在 GB 和 GiB 以及系统分区的盘剥后只剩下 3.64TB 的实际可用空间,5 块盘就只有 5x3.64=18.2TB 空间了。而且由于做了 Raid,所以存储空间实际可用也就只有9T
这个操作看起来完美,不过 PT 上传这种随机读取对于机械而言实在是过于为难了,而且动辄就是几百 G 甚至是几个 T 的可重复下载资源对于为了安全性而损失了 4 成的容量的存储空间也太大了
那还能怎么办?加硬盘!
PART V 动力强劲的 NAS
可能记忆力较好的读者已经发现了,我的乔思伯机箱已经塞满了全部 5 个 3.5 寸的机械硬盘,要怎么操作才能实现支持更多的磁盘空间呢?
于是在我的苦思冥想下,我决定换一个机箱。选择一个能完整利用上 PCIE16 条通道+6 个 SATA 接口加原有 SFX 模组线和电源的机箱。而且考虑到 5700G 的高发热,还需要 CPU 能支持一个塔式散热器以及良好的硬盘风道
市面上合适的机箱还真不多,要么是相对太大、要么是不支持 SFX 电源、要么是硬盘设计不合理、要么是不支持全高全长 PCIE 接口
在找遍市面上的所有 NAS 机箱后,还真让我发现一个冷门的好选择。分型工艺的 NODE304,一个方方正正的小机箱。支持双槽全高全长 PCIE 通道、大概 16CM 的散热器高度(正好我有一个 15cm 高的空闲塔式散热器)、6 个带风扇直吹的吊装硬盘架、ATX 或 SFX 电源支持,以及良好贴心的外形和易用性设计。那么 just buy it!
于是乎,我就又多买了一块 3.5 寸硬盘。当然,如果按照原先的配置,这块硬盘也就能增加 2TB 的存储空间,这毫无疑问的是杯水车薪。但是,我有一个 GREAT IDEA!既然打算做镜像加速奇偶校验,那么镜像层为什么要局限于无潜可挖的机械呢?
按照微软推荐的 3:7 的容量比例推荐,在研究了一圈的固态硬盘市场后,我决定搞个大的(字面意思)。我打算买两个 3.84T 的企业级 PCIE4.0 固态硬盘来当性能层,以后升级服务器的时候还能用得到
市场上合适买到的 U2 固态有两种。一种是数据中心常见的铠侠 CD6,2.5 寸 15mm 厚盘,25W 的功耗,速度稳发热高。另一种是工作站用的更多的三星 PM9A3,2.5 寸 7mm 薄盘 15W 功耗,4k 高发热低。考虑到咸鱼二手的购买良品难易度和影响企业级固态寿命的主要因素是主控固件和发热。因此我选择了 PM9A3
然后,受限于 B450 芯片组原生只有一个满速 M2,正好 5000 系列 APU 又有 16 条 PCIE 通道。因此我决定使用 PCIE 拆分卡将主板通道拆成 8+4+4 的形式,实现支持 40g 兆网卡及双 m2 的配置
简单的开启了 BIOS 的拆分和重新配置磁盘阵列。现在的磁盘变成了一块 18T 的高性能类固态硬盘了!
于是乎,重新升级的 NAS 现在有了性能非常强劲的 40g 网卡(4000MB/S)、同样强劲的磁盘性能以及性能够用的万兆交换机
但是有个小问题,我的 B550 迫击炮插了两个 NVME 固态后已经没有空间给万兆网卡了。而且 4.0 的 PM9A3 只能跑在 PCIE3.0 上,速度只有一半
当然,这都是小问题。最大的问题还是在于我依旧使用了原有的 ITX 主板+SFX 电源组合,这给后面的扩展升级带来了巨大的困扰
PART VI 不如,把 CPU 和主板也换一换吧
由于我研究虚拟化时发现主板的不支持某些特性,加上对系统的进阶配置导致无法排查是操作系统还是硬件的配置/稳定性问题。因此我决定将平台更新为支持 ECC 的 5750g 处理器,以及选择采用面向服务器及工业领域更多的华擎 b550i phantom gaming 主板。这个主板不仅支持最高 5950X 的处理器供电和双 m2 插槽,还没有 x570 芯片组烦人的芯片组风扇和挡空间的主板扩展卡(说的就是你,华硕)
更换至新平台后,系统的稳定性有所提升,可是又发现华擎主板的主板也有不少的问题。BIOS 的设置混乱,不像是微星那样的按功能分类、CPU 超频设置需要在两个不同的地方调整。而且 5750G 系列官方是不支持超频的,所以无法使用便捷高效的 PBO2 来提升性能降低功耗
总之,又是一番折腾
PART VII 功耗好像有点高啊,压一下吧
服务器接了小米的智能插座,能看见服务器的具体功耗。由于服务器塞了三个暴力扇、三个企业级固态、6 个机械硬盘、两根大容量内存和一个高性能 CPU。因此待机功耗有 90W 之多,一个月下来的电费不少
为了降低噪音和功耗,我换掉了两个意义不大的服务器暴力扇并降低了整体的风扇功耗、进 BIOS 关掉了一些没有意义的选项。一同操作下来,系统只降低了 10W 的功耗
于是我又尝试着拔掉存储用的磁盘阵列,看看具体功耗能压低到多少。实测下来最多只能降到 50W 的工作功耗,这还是再拔掉硬盘后的测试。按照网上的分析报告和自己的实测,5750G 的待机功耗只有 10W、主板和散热器功耗在 10W 左右、内存可能只有 3-6W。即使是算上转换率也还有大约 20W 功耗不知道被哪里占用了
推测应该是新的 b550 芯片组由于采用了 pcie4.0 的连接方式导致功耗增加,而且 650W 的金牌电源在低负载下的效率应该不高。但是由于 SFX 电源的高昂价格和定制线的高成本,我也是无力更换电源了
更离谱的是,不知道是不是功耗压过头了。后来电脑出现了一次不知原因的死机,于是我只能关掉原有的节能设置
PART VIII 还是换个新平台吧
由于大部分的 ITX 主板都是只有 4 个 sata 接口的,想要六个 sata 接口就需要把 wifi 接上 m.2 a+e key 转 sata 的转接卡。这个实际上非常的不稳定。而且比较麻烦的是由于 DDR4 UDIMM 单根内存最大 32G,这个内存容量实际上是不太够的
这里其实还有一个别的问题,5750ge 用的是 vega8,性能超过 1030,理论上对于我的需求是够了的。但是由于 VGEA 架构的核显直通非常不稳定,带崩虚拟机后,宿主机也需要重启。所以需要一个独显
结合 pcie 插槽只有一个的问题,还是考虑换一套设备吧。思来想去,御夫座这个机箱就很不错,官方支持 ATX 电源+mATX 主板,有六个 sata 接口。非常适合我之前买来就考虑给 NAS 用的 B550 迫击炮
然后省略掉亿点点的采购和组装和升级过程
自上而下的说吧。首先是电源,御夫座虽然是支持 ATX 电源的,但是这样子只能用 AXP90-53。我测试过,最多开放式能压 AMD120W。于是我就加装了一个 SFX 转 ATX 的支架,腾挪出来的位置塞下了一个 AXP120-67 换扇利民 B12E,再加上一个防尘网来防电源线剐蹭
剩下的槽位也全部利用上了。B550 迫击炮的第二个 M2 和第四个 pcie 是冲突的,但是 CPU 直连一个 M2,第一个 PCIE 可以拆 844,然后分两个给 M2。完全够用了
所以 CPU 槽位拆分成了 844,然后给了 40g 网卡和两个 8T 的 CD6 使用,CPU 自带的 M2 原本是考虑从闲置的两个 9A3 上扣一个下来塞上去当系统盘,后来还是单买了一个 2T 的 M2 7450PRO
第二个 PCIE 给了一个万兆网卡,这个是之前安装 ESXi8 发现不支持主板自带的 8125B 和 40g 网卡(FLR544+是 CX3 PRO 核心)的时候用来亮机用的
第三个 PCIE 槽位给的是一张特斯拉 P4,性能比 1650 强点,然后有 8G 内存。这个主要是用来拆分多张虚拟显卡后给需要显卡的虚拟机用的
第四个槽位给的是一个 1650 刀卡。由于这个机器目前还没有一张能亮机的卡,这个卡用来亮机和给游戏挂机用(还惦记你这 B GTA 干什么,后续,碧蓝真香)
然后剩下 6 个 sata 正好拿去给了 6 个 18T 的 HC550
其实后面还买了个 ipkvm,用来远程安装监控和编辑 bios
PART IX 电源承受不住折磨了,换个正经点的平台吧
其实之前的那个 B550 迫击炮已经换了一张,因为之前不知道为什么,1650 和第四个 pcie 通道同归于尽。显卡给了盈通去翻修,主板卖了再买一个。这个应该是电源寄了的预兆
后面机器时不时的死机,我也不知道为什么,因为当时机房差不多 40 度了,确实有点危险。后面维修的时候发现,电源连接主板接口的位置烧了,怪不得电源会不稳
那没办法了,正好我受够了目前的拓展性,换个靠谱的平台吧。其实正好有一个比较靠谱机电平台,国鑫的 RMC4212-670-HSE。标准 4U 机箱,前面般 24 盘位带 Expender 拓展槽,做工和硬盘托架外形都很美观。自带一套 1300W 冗余白金电源,还只要 750。堪称超值
之后的配置和以前的小有区别,主要区别是散热器限高没那么严格了,换回了小银箭+B12E。然后 pcie 槽位 1 换成了拆分 4444,给两个 CD6 和两个 9A3。万兆网卡换成了 3008 直通卡,Expender 背板什么都好,就是不能用 sata 去连接
然后还有一个区别就是 1650 换成了 2070s,这个倒霉卡原本是自用的,换了 5K 屏,实在是带不动,显存又太小,不能跑一些大的 AI 模型,就换成了 4090。原本这个卡淘汰下来后是给我爸炒股用的,后面考虑箱子能装下大显卡了,就拿回来了
PART X 受不了这个扩展了,换个平台吧
之前发现网卡速度只有百兆了,重新打了半天的网线没找到问题。最后才发现是主板网口针断了一根,勉强挑出来能连上 2.5G
虽然说 128G 内存看起来够用,实际上也勉强够用。但是日常 80+的内存占用还是让我头痛,尤其是跑一些大应用 CPU 和内存都会爆
目前机器稳定性OK,连续运行60天都没有问题。但是功耗存在问题,常态运行400W左右。分析后主要是18盘+显卡导致的(200W)。目前临时解决方案是未阵列部分开启待机,CPU显卡降频
目前考虑分两台机器,高频136k限制TDP,100W内整机运行现有任务足够了
服务器主板考虑寄家的MZ32-AR0,只有这个合适且便宜,H12贵还容易坏BMC
PART XI 功耗有亿点点高
目前整机平台的功耗在350W左右,由于还插了一堆杂七杂八的设备,功耗很难低的下来。目前是拔掉了不要的硬盘并对CPU限制了TDP。但是300W的功耗还是感觉高了
所以下一台机器我可能考虑不再分成服务器+家用平台,并减少扩展。8盘位应该是一个合理的选择,64G单根的内存也即将出来了,家用平台的扩展也不用太担心。但是新一代的intel处理器可能在单核提升25%的同时小核增加到32个,家用直接有40核,8000的内存频率可能成了新的常态。所以更新还是再等一等吧
最终服务器配置
再改是狗!
最终服务器可以说是能换的部件都换了一遍,而且体积也越来越大了
CPU:5600g -> 5700g -> 5750g -> 5900x
主板:微星 B450i -> 华擎 b550i -> 微星 B550M 迫击炮 -> 微星 B550M 迫击炮 MAX
内存:铭瑄 16GBx2 2400MHZ -> 三星 32GBx2 3200MHZ -> 光威 32GBx4
硬盘:英特尔 P4510 1T -> 镁光 7450 pro 1.92t
硬盘:三星 PM9A3 4T x2 -> 凯侠 CD6 7.86T x2
硬盘:西数 4T WD40PURX x1 -> 西数 4T WD42EJRX x6 -> 西数 18T HC550 x6
散热器:利民 AXP90X47 -> 利民 小银箭 -> 利民 AXP120-67 -> 利民 小银箭
电源:海韵SX650G -> 国鑫 1300W 冗余电源
机箱:超频三 蜂鸟1 -> 分型工艺 Node 304 -> 御夫座 -> RMC4124-670-HSE
感言
实际上被 ITX 折磨的离谱,这个价格完全可以上二代的 EPYC 处理器了。随随便便 32 核、8 通道内存、12 盘位、128 条 PCIE4.0 通道。除了单核 CPU 性能略低、噪音和体积比较感人。其余可以说是乱杀这台小机器
还是一步到位来得好