一元网络论坛

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 274|回复: 0

Hetzner固态服务器的网络速度探讨,同时警示各位以此为参考

[复制链接]

2万

主题

2万

帖子

8万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
84845
发表于 2024-7-15 08:03:20 | 显示全部楼层 |阅读模式
在探讨之前,我想先描述一下我的状况。我拥有一台配置为5950x处理器和五个3.84TB NVME驱动器的Hetzner德国独立服务器,型号为MZQL23T8HCLS,对应的是三星PM9A3型号。
记得去年9月19日,有些朋友可能在MJJ论坛见过我对这款服务器的提及。作为一个PT种子保存者,我的技术水平有限,通常未经深思熟虑就会直接在新机器上用软RAID0安装系统。
然而,没过多久,我发现大约10TB的数据填满后,服务器的负载经常异常升高,远超正常水平,尽管IOWAIT不高,某个(抱歉,记不清是哪个)进程消耗了大量的CPU资源。此时,PT客户端qb的传输任务并不多,可以肯定不是由于保种压力导致的CPU或IO瓶颈。
这种情况反复出现,然后又自行消失。
之后,我想起朋友曾提到,某些固态硬盘在频繁使用后,格式化或TRIM操作都无法恢复性能,唯有全盘写零操作可能解决问题。于是,我进入Hetzner的救援模式,对所有磁盘执行了此操作(这需要很长时间,建议使用screen或tmux):
```bash
mdadm --stop /dev/md/*
wipefs -fa /dev/nvme*n1
blkdiscard -z -f -v /dev/nvme0n1
blkdiscard -z -f -v /dev/nvme1n1
# 等等
```
完成写零操作后,我重新用软RAID0安装系统,但问题依然存在。
这时,我开始怀疑RAID可能是问题所在。于是,我再次进入Hetzner的救援模式,不使用RAID,将系统安装在第一个磁盘nvme0n1上。安装完成后,我创建了一个大的挂载分区,将剩余的磁盘以JBOD形式组合起来:
```bash
mdadm --create --verbose /dev/md0 --level=linear --raid-devices=4 /dev/nvme1n1 /dev/nvme2n1 /dev/nvme3n1 /dev/nvme4n1
mkfs.ext4 /dev/md0
blkid /dev/md0 |awk '{print $2 " /md0 ext4 defaults 0 0"}' >>/etc/fstab
mkdir /md0
mount /dev/md0 /md0
```
随后,问题神奇地消失了,至今近三个月,无论是一分钟、五分钟还是十五分钟的负载,都未超过1。
至此,可以确定之前遇到的问题与软RAID有关,但具体原因还需进一步探究。
某天,我想起朋友提到SX133型号的服务器使用扩展卡连接内部的12个磁盘。于是,我在我的SX133服务器上做了如下检查:
```bash
ls -l /dev/disk/by-path/
```
结果显示:
```bash
# 输出省略
```
我发现:
04:00.0扩展卡连接了一个固态硬盘
b3:00.0扩展卡连接了一个固态硬盘
00:17.0扩展卡连接了六个HDD
07:00.0扩展卡连接了四个HDD
接着,我查看了HDD的SATA速率和NVME的接口速率,发现SX133服务器的两个固态硬盘速度为PCIE 3.0x4。
转回我的5950x服务器,我使用相同方法查看,结果如下:
```bash
ls -l /dev/disk/by-path/
```
结果显示:
```bash
# 输出省略
```
NVME接口速率的检查显示:
```bash
# 输出省略
```
从中得知,nvme0n1的速度是PCIE 3.0x4,而其他四个是PCIE 4.0x4。这可能解释了为什么所有固态硬盘组成软RAID0后,服务器的负载会飙升。
在帖子发布后,我遵循朋友的建议向Hetzner客服提交了工单,申请更换降速的硬盘线。客服回应已更换了相关线缆和适配器,我通过救援模式确认问题已解决。不过,我的系统无法正常启动(网络故障)。经过排查,我发现PCIE设备编号发生了变化,这导致了网卡名称的更改,而我的系统是Debian 12,非DHCP配置的网卡信息会导致网络无法自动启动。
解决方案是,在救援模式下挂载原有系统并修改网卡名,或者直接在远程控制台操作启动系统并修改网卡名。此外,我还提到了去年9月26日在MJJ论坛提及的另一台5950x服务器,它有六个NVME硬盘都被降速到PCIE 3.0x4。然而,由于5950x只有24条PCIE 4.0通道,所以无需更换硬盘线。
至此,问题圆满解决。我仍然建议,不同速度或型号的硬盘不应进行RAID组合。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|一元网络论坛

GMT+8, 2024-11-8 16:46 , Processed in 0.098963 second(s), 19 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表