0x01 前言
我的T620原本是3.5寸8盘位的配置,装着8块3TB的硬盘,组件Raid5。因为项目的关系,磁盘空间紧张,同时我觉得Raid5太不安全,所以决定升价硬件,提升数据安全性与增加硬盘容量。
其实更换的工作很简单,只需要更换硬盘背板,加装一个硬盘笼即可。但我遇到一个很严重的问题,这个硬盘笼国内并没有卖的!所以我只好求助于美国亚马逊。
我身处广东深圳,这里夏天的温度超过30℃,而我服务器放置的地方并不通风,而没人在家时的温度高达35℃。所以我决定购置一个散热模块,而这个模块也遇到和硬盘笼一样的问题,只能在美国亚马逊购买。
0x02 散热模块
Dell T620的前置散热模块是选配件,而且这个散热模块并不便宜,以下是目前最新一代的塔式服务器T640散热模块的价格:
而我的T620并没有加装这个模块,搜索了众多网点和咨询各类渠道商也没有发现这个模块。最后我在美国亚马逊找到了:
114.48美元换算为人民币约768.47元,但还需要通过转运公司转运回国。因为我是第一次使用转运公司,经过多番比较,最终选择EMS全球购,也正是因为这是我第一次使用转运公司,所以并不知道转运价格是否划算,以下是这个散热模块转运的费用:
因为汇率波动的关系,实际换算的价格有点区别。加上运费和关税,这个散热模块的总价值和T640的相差无几。而我买的这个也是全新的,经过一个月的使用,目前一切正常。
另外,我下单的时间正值春节假期,所以配送时间也稍有延长,以下是转运的时间节点:
EMS全球购每周五才有飞机回国,如果没赶上只能下周五,因为我在深圳,而飞机也是到广州,总体来说还是挺快的。在这里要吐槽下美国的UPS,真是太慢太慢太慢了,同一个国家的快递居然需要一周才能送达,也是不得了。
其实只是这个散热模块的架子值钱,上面的4个风扇在淘宝上有卖的,而且非常便宜,60块即可买到一个:
这个散热模块的安装过程请移步至本文底部的Bilibili链接观看。
0x03 硬盘背板
T620服务器的硬盘背板有以下几种选择:
- 3.5 英寸 x8 SAS/SATA 背板
- 2.5 英寸 x4 Dell PowerEdge Express Flash (PCIe SSD) 背板
- 3.5 英寸 x12 SAS/SATA 背板
- 2.5 英寸 x16 SAS/SATA 背板
因为年代久远,我在下面贴上T640服务器各个硬盘背板的价格:
上面有些背板是可以相互组合的,比如:
- 1块 3.5 英寸 x8 SAS/SATA 背板 和1块 2.5 英寸 x4 Dell PowerEdge Express Flash (PCIe SSD) 背板 组合
- 2块 2.5 英寸 x16 SAS/SATA 背板 组合则可以支持多达32块2.5寸硬盘
以下是更详细的的官方文档:
但2块 2.5 英寸 x16 SAS/SATA 背板 需要2块阵列卡,而 2.5 英寸 x4 Dell PowerEdge Express Flash (PCIe SSD) 背板 则需要SSD/PCIe SSD 控制器卡,如下图:
而 2.5 英寸 x4 Dell PowerEdge Express Flash (PCIe SSD) 背板 是长这样的:
至于我的12盘位背板上面的结构是这样的:
安装非常简单,只需要一块阵列卡即可,目前我使用的是Dell H710。
0x04 RAID
我只有8盘位背板的时候,我的磁盘阵列级别为5,也就是RAID5;升级到12盘位后,我立刻将其重新配置为RAID6。
一般情况下,硬件的阵列卡都支持RAID级别迁移和扩充,比如我需要将RAID5迁移至RAID6;如果我有额外的磁盘插槽,则可以实现在线扩充,同样的,迁移过程也不需要停机。
- 在 RAID 级别 10、50 和 60 上不能执行 RAID 级别迁移和扩充
迁移和扩充的过程中会导致IO性能急剧下降,而且过程及其漫长,尤其在空间特别庞大和磁盘数量特别多的情况下。
例如我的12盘位、3TB、共计25TB的RAID中,大约使用了10天才完成RAID级别迁移工作;另外还需要约一周的时间完成RAID级别钱以后的初始化工作:
没错!RAID级别迁移完成后还需要进行后台初始化工作(BGI,Background Initialization)。后台初始化 是创建和写入奇偶校验的自动操作。另外,BGI 不能在 RAID 0 虚拟磁盘上运行。
因为我服务器中的服务可以中断,而且我也忍受不了低IO的磁盘,所以我关闭了除软路由以外的所有虚拟机,并对阵列卡作出以下调整:
阵列卡允许管理员对一些参数进行配置,增加其中的重建率(%)、BGI 率(%)与 重新构建率(%)可以有效减少阵列级别迁移所需的时间。这个值是调整对应动作时的速率,如果调整的数值较大,会对业务IO造成影响,如果数值过小,会导致需要的时间加长。这需要管理员预判并配置,以上数值默认为30%。配置完成后需要重新引导才生效。
另外还需要注意!虽然在idrac中有终止初始化的选项,但请不要进行中断的操作,尤其是进度过半,甚至快完成的时候终止,要不然会后悔的。
因为BGI操作可以中断,但必须完成,也就是说它会自动重新启动,而且是在中断后的5分钟内。但热重启系统是允许的,不会导致进度中断。因此可以调整阵列卡的参数并重启,已达到适合自身的性能。
另外,还可以调整以下参数,提升机虚拟磁盘的性能:
请注意:如果你所处环境的电力系统故障率较高,建议不要将写策略设为“回写”,除非你有UPS供电,否则可能会导致未写入硬盘的数据丢失。
针对上面两个设置项的解释如下:
- 直写:数据写入硬盘后再向主机返还传输完成的信号
- 回写:阵列控制器的缓存接收到所有数据后将向主机返还传输完成的信号,而后将缓存内的数据写入磁盘
关于预读部分则比较复杂,以下为官方说明:
0x05 硬盘笼
硬盘笼则没什么特别的,就一块铁的笼子,但有2.5寸和3.5寸之分,购买的时候需要区分好,最后还得买硬盘架。以下是硬盘笼的样子:
安装过程请留意文末的Bilibili链接。
以下是转运的费用:
这里要吐槽EMS,把我硬盘笼背后的卡扣压弯了,还好能掰回来。另外我还要吐槽派送员,送这个硬盘笼的派送员和派送硬盘背板的是同一位,而且第一次派送的时候还能打通我电话,而第二次派送则说打不通,直接标记为“电话非本人”,要不是我及时关注派送情况,这硬盘笼已经被送回美国了。以下为派送的时间节点:
因为是国际件,在派送的时候需要查验身份证和本人签收,这我能理解。从上图中可以看到第一次派送的时候是工作日,我不在家,故协商次日派送。但第二天缺派送失败,原因是查无此人???那第一天是谁接的电话?另外,银田营业中心郑敏丽的电话根本没人接,连续打了十几通电话均无人接听。最终我得通过邮政投诉中心才将我的快件在机场拦截下来。
硬盘笼的安装非常简单,只需要拆掉原有的堵头,将其推入即可。但在安装背板的时候需要特别小心卡扣,别让卡扣挂掉背板上的元器件。
0x06 结语
以下是我服务器的正面近照:
以下是服务器近2天的功率情况:
以下是近1天的IO情况:
经过测试和观察,发现读取峰值为310m/s,写入峰值280m/s。这并不是压测的结果,而是正常使用的结果。另外读取和写入的延迟分别为10ms和1ms,看来阵列卡的回写模式还是有用的。
另外,加装散热模块后配合IPMI调整风扇转速会有奇效,非常适合将其放置在家里使用。
因为大爱Dell,如果有深圳的朋友愿意提供你的Dell服务器供给我测试、学习和录制视频,烦请您联系我,我会飞奔去找你。