Seaweedfs有两种备份方式Data Backup
和Aysnc Backup
,下面分别对这两种备份方式进行实操演示。
操作环境:
- 系统:Ubuntu
- CPU:i5-7500
- 内存:64G
Data Backup 方式
详情可以通过官方wiki的解决来看下,下面我就我的理解与操作进行演示说明
里使用的是weed backup
的方式进行备份的。
Data backup的备份方式可以对seaweedfs下所有的volume的所有index进行备份,你所有volume的max
数量加起来,就是你Data backup的备份总和,如果index不存在,备份命令也会进行文件的创建,所以你只需要从1一直备份到max的最大数就可以了。
当然这个也不是必须把所有的都循环备份的,你可以按照实际情况,比如你只用到了10-17,那么就只备份10-17就可以了,建议都循环备份,空index不占空间,避免后续index自动增加导致备份不及时。
从下图可以看到我一共有两个volume,那这两个volume的max都是100,所以我就可以循环1-200来进行备份。
那么我们就可以执行如下命令进行备份(注意替换自己的server即master地址和weed执行文件的位置)
/application/seaweedfs/weed backup -server=127.0.0.1:9333 -dir /datahub/test -volumeId=1 /application/seaweedfs/weed backup -server=127.0.0.1:9333 -dir /datahub/test -volumeId=2 ... ... /application/seaweedfs/weed backup -server=127.0.0.1:9333 -dir /datahub/test -volumeId=199 /application/seaweedfs/weed backup -server=127.0.0.1:9333 -dir /datahub/test -volumeId=200
但是我不可能写200行命令,所以可以参考下面我编写的shell命令,来执行备份(注意替换自己的server即master地址和weed执行文件的位置)
#!/bin/bash for i in $(seq 1 200) do /application/seaweedfs/weed backup -server=127.0.0.1:9333 -dir /datahub/test -volumeId=$i done
我们可以看下备份完成之后的备份文件大小【193G】
如果filer使用了store,那么还需要备份下数据库,数据库的备份根据各种数据库类型备份不同,这里就不赘述了。
Async Backup 方式
详情可以通过官方wiki的解决来看下,下面我就我的理解与操作进行演示说明
这里使用的是weed filer.backup
的方式进行备份的,这个命令在2.30
版本之后才开始有的。
可以通过help
查看一下帮助文档
首先我们要通过scaffold
获取标准的replication.toml
weed scaffold -config=replication
现在次备份支持两种模式,一种是与filer同目录的,增量备份,一种是修改的单独文件夹。看下官方的说明。
我这里使用的增量模式,也就是第一种,所以配置is_incremental
为true
,部分有效代码如下
[source.filer] enabled = true grpcAddress = "localhost:18888" # all files under this directory tree are replicated. # this is not a directory on your hard drive, but on your filer. # i.e., all files with this "prefix" are sent to notification message queue. directory = "/buckets" [sink.local] enabled = true directory = "/backup/cdn_backup" # all replicated files are under modified time as yyyy-mm-dd directories # so each date directory contains all new and updated files. is_incremental = true
配置文件中的source.filer
中虽然已经配置了directory
,但也可以在执行命令的时候进行配置,如下所示
PS:这里我执行是在与replication.toml
同文件夹下进行执行的,你可以可以根据seaweedfs的官方说明,放到指定的位置./replication.toml
、$HOME/.seaweedfs/replication.toml
、/etc/seaweedfs/replication.toml
。
./weed filer.backup --filerPath /buckets/img1
此命令是连续的,也就是实时监控变化,如果你不自动终止,他会一直运行(可以做成service)
此备份方法是备份的源文件,所以不需要备份数据库。
我们看下备份之后的文件夹大下【44G】
两种差异分析
Data backup的方式比Async backup的方式数据差额很大,当前我的测试数据相差【149G】,对于我来说这些空间已经很奢侈了。
但是我们可以增加一个参数查看下占用的空间
可以看到有好多是31G的,但是我们实际的使用并没有达到这个值,原因是因为在启动master的时候,我们默认了volumePreallocate
,这个参数会预分配空间,所以致使如此的结果。
那如果我把Data Backup的备份文件使用ZIP普通压缩下(大文件的压缩,数据量小,层级少,一般情况下压缩比较快),可以看到文件的大小是【13G】,这比源文件备份是要小很多的。(当然源文件备份对于删除的在备份的文件下是不会删除的,但是我当前的测试是没有删除的文件的)
那既然这样,我们再把Aysnc backup的结果再压缩下(小文件的压缩,数据量大,层级多,一般情况下压缩比较慢),保证其对比基础是一样的。
从下图可以看到,经过漫长的压缩之后,体积依旧还是【44G】
归纳总结
从上面分析可以看出,第一种方式的压缩之后的占用还是比较小的,而且压缩速度也非常的快,在这之前也可以使用master的volumePreallocate
配置不预留空间,这样备份的文件也是小的,压缩之后的文件也是小的。
这种方式需要备份数据库,并且如果要还原的话,需要有相同的环境,包括weed的运行环境以及相关的配置文件及配置文件依赖的各种key。
第二种方法是把所有的文件都存储到本地,即使后续没有weed的环境,也可以查询到相关的文件,但是因为文件的数量比较多,所以备份的速度非常慢,后续越多越慢。
但是第二种可以用增量的方式进行备份,即第一次的时候比较慢,但后续可以通过只备份压缩增量的减少压缩的时间。