NAS搭建

NAS搭建

其实很早的时候就想搞一台NAS玩了,毕竟有很多想收藏的高清视频,还有一些自己私人资料,不方便存在云盘里面的。之前HP Gen8机器还是不错,扩展性也非常不错,只是感觉有点小贵,然后就是风扇噪音问题比较严重,查了下说是HP虚拟的一个Raid卡造成的问题,在*nix下面无法获取到硬盘的温度,导致风扇会以最大转速工作。当然查Gen8的资料是最近正式想整一台NAS后才开始。之前是用蛮早的一台上网本,好像是三星N2600之类的型号吧,装了CentOS,专门下载PT和存照片。后来空间不够用,就想起还是组一台NAS吧,正好家里有6台笔记本(Surface Pro 4, Thinkpad T400, Thinkpad E330, Thinkpad E420 x 2, Samung N2600),2.5寸硬盘有6个,本着不能浪费的原则,就开始整NAS了。

技术选型

19年春节前就一直想着这个事情,老天也是“给力”,春节期间还真是没有出过一个太阳,就宅在家里想着怎么组这个NAS。

FreeBSD/ZFS/Jail

FreeBSD很稳定,port也非常好用。之前工作的主力系统是Gentoo,所以对FreeBSD很有好感。但是ZFS一直没有正式接触过,于是把FreeBSD Handbook好好地看了下,确实ZFS很强大,可以忘掉Raid,忘掉分区,不同目录设置不能参数适应不同用途(加密,压缩等等),快照功能。还有Jail可用,用途有点类似Linux下的Docker,可以把程序关到Jail里运行,不影响主系统。

但是真正用起来感觉还有好多东西需要深入研究,但又没那么多时间。

  1. ZFS很强大,但同时也是内存大户,推荐是1T配1G内存,然后建议是配ECC内存(这个作者原意思是关心数据的话,不管是什么文件系统,都建议ECC)。现在内存不是太贵,但是要自己组NAS的话,ECC内存好像不好搞定。
  2. ZFS优化比较麻烦。在虚拟机里用ZFS和UFS测试NextCloud/MySQL时,发现ZFS明显慢很多。放狗搜了下,关于ZFS优化MySQL这方面,有蛮多参数需要配置的。
  3. ZFS快照功能暂时好像用不上,没这需要。但蛮喜欢加密和压缩功能的。
  4. Jail配置NAT网络比较麻烦,不如Docker来得方便。而且PF与iptables又不一样,还要查不少资料,烦。
  5. 担心FreeBSD的硬件兼容性,不能够让NAS达到最节能的状态。

所以最后还是放弃了FreeBSD。

OpenMediaVault(OMV)

之前本来确实是想用FreeBSD来组NAS的,后来@kurtyan推荐使用OMV。然后就是虚拟机里搞了一把,有几个槽点吧。

  1. OMV镜像安装不支持UEFI,这个锅应该让Debian 8背吧。。。然后就是OMV镜像安装时,好像要选整个硬盘,这个有点恶心,后来干脆自己先装好Debian 9然后再装OMV。
  2. 感觉Web管理页面上有太多我不想要,也用不着的功能,看着比较浪费。

感觉OMV比较适合新手,界面什么的还是比较友好的。后来一想这个web管理界面,FreeBSD的webadmin也可以管理啊,一查Linux也可以用webadmin。但最后还是没有用webadmin,自己从基层组算了。

Debian/LVM/Docker

OMV是基于Debian的,还不如自己搭建想要的功能呢。刚开始有考虑CentOS,但本人不喜欢它的图形安装界面,好像比Debian耗资源一些,就pass掉了。

既然是自己用的NAS就需要考虑下数据的安全问题,以防硬盘突然挂掉,开始考虑的是软raid,重要数据raid 1,视频数据raid 0,后来考虑再三还是放弃了软raid的方案,买的是4盘位机箱,比较少,还是用USB3.0外挂硬盘,定时备份重要数据,特别重要的文件就GnuPG加密后传网盘。还有一个就是使用LVM管理分区,这样可以最大限度地使用硬盘空间,后面系统配置的时候再详细谈下。其实ZFS对于这两点很适合,send/recv备份很方便,分区根本不需要管,把不同硬盘加到不同pool就OK了。

还有一个选Linux的原因应该就是Docker了。这样可以很大程序减少应用程序对系统的干扰,把能在Docker下面跑的都放进去,各自跑各自的。

所以我最后选择了Debian开干。

硬件配置

硬件配置最开始设想的是4个SATA3接口,2个网卡,PICe接口进行扩展,CPU性能无所谓。网上搜了不少,候选方案有下面几个:

  1. HP Gen8。2个数据网口,1个管理网口。这点对于服务器管理非常重要,丢在某个角落完全不用管,可直接iLO进行所有操作。有4个盘位,还有内置的USB、SD卡插口。就是有点小贵,还有风扇噪音。
  2. HP Gen10。2个数据网口,4个盘位,AMD CPU。感觉也OK,风扇不吵了,但是少了iLO,而且低配价格也很高。
  3. GA N3160主板。2个数据网口,4个盘位,PCI插槽。刚开始是冲是它去的,最后PCI插槽放弃了,而且价格比J3455贵100多大洋。
  4. ASRock J4105/J3455。1个数据网口,4个盘位,PCIe x1插槽。两块板CPU有差别,内存一个是DDR4,一个是DDR3。但是J3455支持16G,J4105只支持8G。最后选择了J3455,因为它便宜 :)

其实最早是蛮想2个网口链路聚合的,这样多处同时从NAS存取数据的时候,网络不会成为其瓶颈,后来想了想,估计同时多处使用NAS的情况最近几年都不会有,后面如果确实有需要,可以PCIe转双网卡就OK。家里网线是六类双屏蔽(那个硬啊,现在有点后悔用双屏蔽的了),交换机Linksys SLM2008,路由器Buffalo WZR-HP-AG300H,光纤入户100M,所以暂时屋内1G局域网应该够用了。

这里给自己上了一课吧,当时查ASRock官网J3455的时候,就注意到SATA的第3,4接口是ASMedia ASM1061出来的,跟我后来买的PCIe转SATA接口是一样的。好像最高是400MB/s,就是如果这几个接口上SSD的话,可能会影响期性能。而且PCIe 2.0 x1的最高速度是500MB/s,这块也成了影响其性能的要点了。

电源选择方面,可以选小的DC转24针这种,完全没有噪音,功耗也低,但是但是贵啊。。。。最后选了一个ENP 7025B 250W的Flex电源,有噪音,功耗也比DC高,但是但是便宜啊 :(

开始机箱自带的风扇是12cm,直接从电源取电,也就是说一直是全速状态。看了下J3455板是CPU和机箱风扇电源接口都是3线的,所以可以调节风扇转速,后来又购了1个12cm 1500rpm的3线风扇。可惜板子不支持4线的风扇。。。

嗯,后面再详细记录下系统方面的配置吧。

软件配置

Debian

Debian安装比较简单了,将网络安装的ISO写入到U盘,安装就OK了。其实完全可以用PXE来搞定,后面再记录下PXE吧。

LVM

LVM里面有几个名词,PV物理卷(可以是硬盘,分区,文件),VG卷组(由物理卷组成的组,有点类似ZFS的Pool),LV逻辑卷(类似普通分区,可格式化,挂载)。

PV操作

1
2
3
4
dd if=/dev/zero of=/dev/xxx bs=512 count=1
pvcreate /dev/xxx
pvs
pvremove /dev/xxx

VG操作

1
2
3
4
5
6
7
vgcreate vg-nas /dev/xxx /dev/xxx
vgextend vg-nas /dev/xxx
vgreduce vg-nas /dev/xxx
vgchange -a y/n vg-nas # activating/deactivating vg
vgremove vg-nas
vgrename vg-nas-old vg-nas-new
vgs

LV操作

1
2
3
4
5
6
lvcreate -L 1T -n lv-data vg-nas # linar
lvcreate -l 100%FREE -n lv-other vg-nas
lvs
lvextend -l +100%FREE -n vg-name lv-name # /dev/vg-name/lv-name
resize2fs /dev/vg-name/lv-name
lvreduce --resizefs -L 500G vg-name/lv-name

LVM调整挂载点容量大小就比较方便了,不明白的时候可以看RedHat的在线文档,写得很详细。

sshd

默认SSHD是密码登录的,可以用sshkey-gen生成密钥后,再用ssh-copy-id将公钥复制到远程主机。NAS我需要internet也能访问到,这样SSHD默认配置就不太合适了,需要改几个地方,其实打开/etc/ssh/sshd_config就一目了然,从配置字面上就能知道啥作用了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Protocol 2

PermitRootLogin no
StrictModes yes
MaxAuthTries 6 #BAN IP的话可以用Fail2ban
MaxSessions 10

AuthorizedKeysCommand none
AuthorizedKeysCommandUser nobody

PasswordAuthentication no
PermitEmptyPasswords no

AllowGroups sshusers #将需要使用ssh的用户加入sshusers用户组

内网穿透

之前内网穿透使用的是ssh端口转发,NAS用远程端口转发-R 2222:127.0.0.1:22 VPS(VPS的2222端口转发到NAS的22端口),然后在终端机使用本地端口转发-L 4444:127.0.0.1:2222 VPS(终端机4444端口转发到VPS的2222端口),这样在终端机ssh -p 4444 localhost就可以访问NAS了,很方便不是?后来好像有时候网络不稳定,掉线后NAS不会自己进行端口转发,然后就找到了现在用的frpopenwrt frp

其中frp VPS Server端的配置如下。其实程序自带的说明文件里说得很详细,认真看下就可以配得很好了。

/etc/frp/frps.ini
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[common]
bind_addr = 0.0.0.0
bind_port = 7000

bind_udp_port = 7001

tcp_bind_port = 7000

dashboard_addr = 127.0.0.1
dashboard_port = 7500

dashboard_user = user
dashboard_pwd = pwd

log_file = /var/log/frps.log

log_info = info
log_max_days = 3

privilege_token = privilege_token

max_pool_count = 5
max_ports_per_client = 0

authentication_timeout = 900
tcp_mux = true
frps.service
1
2
3
4
5
6
7
8
9
10
11
12
13
[Unit]
Description=frps daemon
After=network.target
Wants=network.target

[Service]
Type=simple
User=nobody
Group=nogroup
ExecStart=/usr/bin/frps -c /etc/frp/frps.ini

[Install]
WantedBy=multi-user.targe

其中NAS的frp配置如下。OpenWrt的话,直接使用screen,sleep 30 && screen -dmS frpc frpc -c /etc/frp/frpc.ini,加到/etc/rc.local

frpc.ini
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[common]
server_addr = VPS_IP
server_port = 7000

log_file = /var/log/frpc.log
log_level = info
log_max_days = 3

privilege_token = privilege_token

admin_addr = 127.0.0.1
admin_port = 7400
admin_user = admin_user
admin_passwd = admin_pwd

pool_count = 5
tcp_mux = true
user = nas
log_fail_exit = true
protocol = tcp

[ssh]
type = tcp
local_ip = 127.0.0.1
local_port = 22
remote_port = 2222
frpc.service
1
2
3
4
5
6
7
8
9
10
11
12
13
14
[Unit]
Description=FRP Client Daemon
After=network.target
Wants=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/frpc -c /etc/frp/frpc.ini
Restart=always
RestartSec=20s
User=nobody

[Install]
WantedBy=multi-user.target

下载工具

NAS的话必须要下载片子咯,BT/PT使用的是transmission,普通其它下载用的是aria2。使用transmission需要下载几个包apt install transmission-{daemon, remote{,-cli}},平时使用的话我在bash里加了下载几个alias。

1
2
3
4
alias lcp='rsync -avhW --no-compress --progress'
alias t-remote='transmission-remote -n user:password localhost'
alias t-remote='transmission-remote-cli -c user:password@localhost:9091'
alias a-d='aria2c -x 10 -j 1 --http-user user --http-passwd passwd'

NextCloud

其中架NAS最重要的一点就是网盘,放一些家庭照片和视频,常跟老婆説,等以后崽结婚的时候,把小时候的照片拿出来看,哈哈哈。

之前家里用的是FreeBSD下面架设的,这次换成Debian,那肯定就用Docker来跑这些咯,以后迁移起来也是非常快的,打包带走。。。

docker-compose.yml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
version: '3.7'

services:
db:
image: mariadb
restart: always
volumes:
- ./db:/var/lib/mysql
- /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime:ro
environment:
- MYSQL_ROOT_PASSWORD=pwd1
- MYSQL_PASSWORD=pwd2
- MYSQL_DATABASE=nextcloud
- MYSQL_USER=nextcloud
nextcloud:
image: nextcloud:15-fpm-alpine
depends_on:
- db
volumes:
- ./html:/var/www/html
- /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime:ro
restart: always
nginx:
build: ./nginx
depends_on:
- db
- nextcloud
ports:
- "80:80"
volumes:
- ./nginx/default.conf:/etc/nginx/conf.d/default.conf:ro
- ./html:/var/www/html
restart: always

其中./nginx/default.conf可以直接参考官网文档,然后还有一点就是nginx和nextcloud的docker image中用户名ID不一致,这样共享的目录./html就不能同时使用。需要调整下,nginx的image很小,可以直接从它下手,nginx的Dockerfile如下。

nginx
1
2
3
4
FROM nginx:alpine

RUN sed -i 's/:100:/:82:/g' /etc/passwd; \
sed -i 's/:101:/:82:/g' /etc/passwd /etc/group

SAMBA

家里其他设备访问NAS估计用得最多的就是SAMBA了吧,直接在/etc/samba/smb.conf最后加上一些配置就OK了,也懒得再认真配置了,只要能访问到就OK。

smb.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
[public]
comment = public
path = /data/BTDownloads
browsable = yes
create mask = 0660
directory mask = 0771
writable = no
guest ok = yes
[videos]
comment = public
path = /mnt/videos
browsable = yes
create mask = 0660
directory mask = 0771
writable = no
guest ok = yes
[win7]
comment = public
path = /mnt/cdrom
browsable = no
create mask = 0660
directory mask = 0771
writable = no
guest ok = yes
[personal]
comment = personal
path = /mnt/nas/personal
browsable = no
create mask = 0660
directory mask = 0771
writable = yes
guest ok = no

NFS

家里还有一些其他设备,比如路由器(OpenWrt)和Raspberry Pi,它们可以很方便的使用NFS,这样NAS提供NFS服务就可以了。修改/etc/exports

1
/mnt/nas/Tools  *(no_subtree_check,ro,all_squash,insecure,async)

其它

硬盘多了,功率也大,安装包hdparm可以设置硬盘standby的时间,据説可以延长使用时间,减小功耗,前提是不要设置得太小,硬盘磁头一停一启动地可能更耗硬盘。修改/etc/hdparm.conf

/etc/hdparm.conf
1
2
3
/dev/sdb {
spindown_time = 250
}

安装hddtemp sensors来读取温度值。

BIOS设置

关闭非必要功能,节能设置等

WOL,需要开启PCIE power on

tips

  1. NAS下载了很多片片,要传到手机上看,之前都是iTunes通过WIFI读取SAMBA共享文件,再传到VLC,慢得1B,还得再多开台电脑。后来了解到可以直接用curl传,方便了很多。curl -F "filename='filename'" -F "files[]=@filepath" http://VLC_IP/upload.json,本来想写个shell脚本自动上传目录下的所有文件的,但是没有找到好的方法,干脆用python吧,直接造成shell脚本运行。 :(不会直接使用Python上传到VLC,POST传的东西跟平时有点不一样。。。

  2. 下载Dropbox文件,Bash脚本Dropbox Uploader,在VPS上面下载Dropbox的照片,然后再传回来。

  3. 下载OneDrive文件,用windows里面的客户端可能是最简单的,但没有在NAS里面安装虚拟机,也不想平时再开台机器。后来想了一条路,Chrome下载OneDrive的照片目录,zip文件,然后打开Chrome开发工具,直接将刚才那个请求Copy as cURL,这样可以直接在NAS下载照片了。

  4. Picasaweb。long long ago,那时候Google还没有被封,传照片就到Picasa,哈哈,里面好多年轻的照片啊。这里需要设置下,在Google Drive里面设置下,将Google Photos照片导入到Google Drive,然后使用rclone将里面的照片复制到本地。rclone copy remote:Google\ Photos /mnt/photos -P

  5. 照片存了这么多份,肯定有重复的。最开始写了脚本进行查重,思路就是找出所有图片文件,对md5码,发现效率不高,后来放狗搜发现一个好工具fdepesfind . ! -empty -type f -size +500k -size -50M -exec md5sum {} + | sort > ~/allfiles,然后再对allfiles文件用unique就能找出重复文件了。fdupes -r -S -1 Data Documents nextcloud Pictures Work > ~/allfiles,这个也是找出所有重复文件,还可以直接使用fdupes快速删除重复文件。

后期优化

家庭网络换成1G带宽,扩展链路聚合。路由器换成了Buffalo AG300H,交换机换成了Cisio SLM2008,这样家里千兆OK了,但是发现丫我的无线是100M的WAN和LAN,电视机是100M口,一口老血吐出来。电视机的话,使用Xbox One S看得了,1000M口。无线路由器有空再换个好点的吧。开始装修的时候就是考虑NAS链路聚合的,毕竟多设备同时访问NAS的话,不链路聚合的话可能会成为瓶颈。到时候NAS换了PCIe的双网卡,硬盘只要4口,全换成4T盘,这样也OK的。

PXE

PXE的方案我使用的是DHCP Server在OpenWrt,然后tftp server在NAS。

DHCP配置/etc/config/dhcp

1
2
3
4
config boot 'linux'
option filename 'pxelinux.0'
option serveraddress '192.168.1.222'
option servername 'Liangwu PXE SERVER'

tftp-hpa配置。这里我在NAS上面直接将tftp跑在docker里面的。下载Debian netboot,并解压到res目录。

1
2
3
4
5
6
7
8
9
10
11
12
version: '3.7'

services:
tftp-hpa:
image: jumanjiman/tftp-hpa
restart: always
ports:
- "69:69/udp"
volumes:
- ./res/debian-installer/amd64/boot-screens/syslinux.cfg:/tftpboot/pxelinux.cfg/default:ro
- ./res/debian-installer:/tftpboot/debian-installer:ro
- ./res/windows:/tftpboot/windows:ro

修改./res/debian-installer/amd64/boot-screens/syslinux.cfg,增加下面内容支持windows安装。制作PE镜像,加入网卡驱动,这些在Microsoft文档可以找到。

1
2
3
4
5
6
7
label 9
menu label Install Windows 7
KERNEL memdisk
INITRD windows/winpe_7.iso
APPEND iso raw
prompt 0
timeout 0