在 2024 年的年底,为了奖励自己于是买了一台洋垃圾服务器玩玩,到现在也两个月有余了。具体配置如下:
名称 | 配置 | 数量 | 价格 | |
---|---|---|---|---|
1 | R730 | 3.5 寸硬盘 | 1 | 799 |
2 | 电源 | 750W | 1 | - |
3 | H730 | 1 | - | |
4 | SM863 | 960G | 1 | 319 |
5 | 硬盘托架 | - | 8 | 40 |
6 | 内存 | 64G | 2 | 660 |
7 | E5-2680V4 | 14C/28T | 2 | 126 |
8 | Tesla V100 | 16G | 1 | 3299 |
9 | 运费 | 57 | ||
10 | 合计 | 5300 |
我一直都想要一个机架式服务器,于是就买了。
其实原本是打算选择戴尔的 14 代产品的,但是价格居高不下无奈只能降级。这套配置基本上也是拿来过渡的,后续可能会增加内存和存储盘,除了主板和配套 U 以外的其他东西基本都能拿给下一代主板用,该省省该花花,以后再便宜出了旧主板。
店家提供免费更换 OCP 网卡到万兆光或电口,但是我没想到 X540 不支持 2.5G 和 5G 这个问题,难受死我了。原本我是想用一块 SAS 固态来当系统盘的,但是发现不太好找于是使用了一块 SATA 企业固态。由于硬盘位比较少而且企业级产品比较可靠就不对系统盘做 RAID 了。
等了几天终于发货了,由于是大件发的德邦物流,下单到收货前后快一个星期了。一开始拿到之后发现没有画面输出,还以为店家给我装了一个没桌面环境的 Windows,随后询问还以为要买一个八十块巨款的 VGA 显示器才能玩,结果第二天上班摸鱼的时候突然发现这种服务器应该和我的云服务器一样都是支持直接输出服务器画面的,还能进 BIOS 什么的。于是回家之后开始刷机,可以直接在网页中上传镜像,连显示器和刷机盘都不需要了,对个人而已服务器为数不多的优点。
一些小问题
Linux 下 Chrome 打不开虚拟控制台,后面了解到在 Windows 下也会有浏览器问题,开 Guest 模式就好了。
固件版本太低:需要逐级升级,否则有变砖可能。大概就是从 2.60.60.60 到 2.70.70.70 这样进行,详细点每次 release 会写明不兼容的版本更新。虽然官方提供了很多不同版本的固件包但本质是一样的,不管是 exe 还是 bin 都是封装完全相同的二进制文件进去。
其他固件也是如此,我手上这台大部分都停留在 2017 年,虽然我要求店家更新但是没有做,不过也无所谓了。
功耗太高:无解。我的配置待机大约 140W,如果显卡拉满要再加两百多。
显卡驱动:由于是特斯拉所以和一般的显卡打的驱动不是同一种,虽然有些折腾但最后总算装上了。
风扇性能太好了:R730 风扇最低速度是 20%, 隔壁 R730XD 则是 35%, 这也是 XD 高了十分贝的原因之一。经过几天搜寻最后找到了 Dell_iDRAC_fan_controller_Docker 这个调速服务,可以通过网络和本地两种模式来进行风扇控制,这里选择直接安装到服务器上本地控制。但是安装显卡之后是不能调太低的,否则纯被动散热的显卡会出问题的。
说实话风扇调速软件不太好找,而且出来的好多还是戴尔的笔记本风扇控制。。。另外还找到了 C exe 版本和一个貌似没有开源的 Java docker 版本,而这个只是 shell 黑魔法。
安装系统
由于不知道刷什么好就先刷一个 Arch Linux 算了,一路基操安装完成没什么东西可跑就关机了,毕竟这个电费真的有点负担不起。。。
其实个人更倾向安装 FreeBSD,作为存储服务器来说很优秀还有原生 ZFS 支持,但是干活的时候会很麻烦。绝大部分开源项目都是以 Linux 环境为前提的,而且两边底层都不一样有一些涉及系统的操作直接无法进行。其次是 Proxmox,虽然这是正统 Linux 但是个人情感上并不想用虚拟机,再就是这东西开机太慢了我目前也没有 7/24 的打算,我有点受不了。
阵列卡模式
H730 系列不支持 IT 模式,但是同样可以实现类似的直通效果。商家给我的时候是 RAID 模式的,我传了大约 6T 数据后才发现,接下来要往回传然后改为 HBA 模式并重做系统。
存储池
其实这部分本来应该和阵列卡放在一起写的。
其实并非是不信任 Btrfs,而是因为我的内存很大并且现在也不知道有什么用,所以就选择了更稳妥的 ZFS。目前总共六个硬盘,上了两个存储池,还两个暂时没想法了,等占满了再说。
文件共享
做好上面的准备工作之后就可以开始搭建 ZFS 存储池了,这个比较特殊和其他的文件系统都不太一样,所以不能按照以往的 Linux 使用经验来。
虽然 sftp 也可以实现文件共享但还是用 NFS 这种专业点的更好,还能少一层加密开销,虽然我完全不在乎这点性能。根据 Arch Wiki 只需要开启两个服务就可以了,并不需要编辑 NFS 的配置文件。
配置好服务器之后客户端同样只需要一行命令就能挂载了,因为涉及到 fstab 所以这里需要 root 权限否则会失败。
sudo mount -t nfs -o vers=3 10.0.1.103:/mnt/RAID-Z /mnt/RAID-Z
这里指定了版本,但还是存在性能问题,上传文件容易卡住,所以我有需要的时候还是用 rsync 来进行,这个只是挂载到本地方便读取。
安装显卡驱动
这一部分折磨了我好几天,我觉得它配拿出来单独写。服务器主板和常见的 ATX/ITX 不同,例如会有一个板载独显而且 CPU 几乎不会带核显,想要使用自己的显卡需要进 BIOS 禁用这个板载显卡,并且打开相关选项。原本的系统是已经装好了驱动确认显卡本身没问题的,但是我刷自己的系统之后发现问题很大,甚至还会让系统崩溃,后台报错也全是显卡相关的信息。经过逐步排查后发现是由风扇引起的,这实在是有点离谱了。。。
解决的思路来自 NVIDIA
其他
遇到这么个商家真是我三生修来的福气呀,要他升级的 BIOS 没有升,要他改 HBA 模式的阵列卡也没有改,给我刷的系统还是只有 IE 浏览器的而且还设了个密码要我主动去问,iDRAC 也是我自己猜出来的,得亏有个液晶面板,如果是 XD 我还得搞个显示器来看被改过的 IP。
不过这些都没什么,最绝的是把显卡给插到了 Pcle3.0x8 上,而且显卡又不好拆,几千块的东西我怕弄坏,折腾了半个中午才搞定。
后续补充:
- 14T SAS 一个 650
- 10T SATA 三个 每个 450
- 机柜待定
- 全塔服务器机箱(打算给新 PC 用)
没有评论