分享
 
 
 

通过rsync远程增量备份您的数据

王朝other·作者佚名  2008-05-19
窄屏简体版  字體: |||超大  

备份是写代码的人必不可少的一项工作,传统的备份,一般就是copy所有数据到一个地方,然后贴上标签,表示是什么时候备份的,这种备份被称之为“整体备份”。

如 果经常进行整体备份,对磁盘的空间占用需求就很大,尤其当你备份大容量的数据的时候,有时候,比如一个星期,只对其中一小部分的内容进行了修改,但是还是 需要全部重新备份一次,很显然,太浪费磁盘空间了;此时增量备份就派上用场了,增量备份,又叫做差异备份,意如其名,只备份修改过的部分。

好了,废话说完了,来看看如何实际操作,我们用到的软件是大名鼎鼎的 rsync,很多网站的镜像就是用它来完成的。

====================

环境介绍:

====================

备份服务器: 192.168.0.1

需要备份的目录:/data 和 /home/work

备份时验证用户名和密码: backup/secret

备份客户机(备份数据存放地):192.168.0.11

客户机和服务器均需安装 rsync 软件包

====================

服务器端配置:

====================

创建 /etc/rsyncd.conf 主配置文件:

## file of /etc/rsyncd.conf

motd file=/var/rsync/welcome.msg

pid file = /var/rsync/rsyncd.pid

lock file = /var/rsync/rsync.lock

log file = /var/rsync/rsyncd.log

### 需要备份的模块

[data]

comment = our data for service

path = /data

use chroot = no

max connections = 4

read only = true

list = false

uid = nobody

gid = nogroup

secrets file = /etc/rsyncd.secrets

hosts allow = 192.168.0.11

hosts deny = 0.0.0.0/0

ignore errors = yes

transfer logging = yes

log format = "%a %f %l"

auth users = backup

### 需要备份的模块

[work]

comment = our work information

path = /home/work

use chroot = no

max connections = 4

read only = true

list = false

uid = nobody

gid = nogroup

secrets file = /etc/rsyncd.secrets

hosts allow = 192.168.0.11

hosts deny = 0.0.0.0/0

ignore errors = yes

transfer logging = yes

log format = "%a %f %l"

auth users = backup

上面定义了2个备份点,只允许 192.168.0.11 连接,需要验证的用户名为 backup

然后创建密码文件,每一行格式为: 用户名:密码,都是明文的

### file of /etc/rsyncd.secrets

backup:secret

创建日志或运行目录: mkdir /var/rsync

好了,服务器端的工作完成了,只需要运行 rsyn --daemon 启动 rsync 服务即可

====================

客户端的配置

====================

客户端就不用创建什么配置文件了,可以直接运行命令来完成备份,但是为了方便操作,用脚本来完成似乎更理想。

备份要求: 所有的数据统一放到一个根目录下,主备份用每个备份点名字命名,增量备份目录为 Increment,每个备份点的增量备份数据,全部放到这个目录下面,目录为当前日期,格式为 2007-08-11_11-22

文件目录树如下:

/backup/ 备份根目录

|------- work/ 备份点1的主目录,这个目录里面的数据是备份完成后最新的

|------- data/ 备份点2的主目录,同上

`------- Increment/ 增量备份根目录

|

`----- work/ 备份点1的差异/修改备份数据

|

|--- 2007-08-11_10-22 从最开始备份到08月11日10点22分,所修改的数据

`--- 2007-08-11_11-22 从10点22分到11点22分,所修改过的数据

准备工作:

创建备份根目录: mkdir /backup,其他的目录备份时会自动被创建

创建密码文件(这样可以不用手动输入密码): echo "secret" > /backup/passwd

下面就是备份的脚本了

#****************************************************

# Author: Muddyboot - toobyddum@gmail.com

# Last modified: 2007-08-10 21:39

# Filename: rsync.sh

# Description: backup files via rsyn

#****************************************************

### 默认备份时没有任何输出

### 如果需要看到备份的详细信息或备份进度,加上 verb 和 progress

unset verb progress

for i in $*; do

[ "$i" = "verb" ] && verb=v

[ "$i" = "progress" ] && progress="--progress"

done

### 备份服务器地址

RSYNC_SERVER=192.168.0.1

### 备份时验证用户名

AUTH_USER=backup

### 备份根目录

BAKROOT=/backup

[ ! -e $BAKROOT ] && mkdir -p $BAKROOT

### 密码文件

PASSWD_FILE=$BAKROOT/passwd

### 检查密码文件的权限,因为是明文的,所以设为 0600 比较安全

PASSWD_PERM=`ls -l $PASSWD_FILE|awk '{print $1}'`

if [ "$PASSWD_PERM" != "-rw-------" ]; then

echo -e "\nWARNING: permission of passwd file changed to 0600 \n";

chmod 0600 $PASSWD_FILE

fi

### 备份日志

LOGFILE=$BAKROOT/backup.log

### 备份时需要排除的文件

EXCLUDES=$BAKROOT/exclude_file

[ ! -e $EXCLUDES ] && touch $EXCLUDES

### 备份点

BACKUP_MODULES="data work"

### rsync 的参数

OPTIONS="--force --ignore-errors --delete --delete-excluded

--exclude-from=$EXCLUDES $progress

--password-file=$PASSWD_FILE --backup"

### 删除以前的临时日志文件

rm -f $BAKROOT/log.*

log_id=0

for bakdir in $BACKUP_MODULES; do

log_id=`expr $log_id + 1`

SUBOPTS="--backup-dir=$INC_DIR/$bakdir/$BAKTIME -az${verb}"

rsync $OPTIONS $SUBOPTS $AUTH_USER@$RSYNC_SERVER::$bakdir

$BAKROOT/$bakdir | tee $BAKROOT/log.$log_id

done

### 合并临时日志到备份日志中

cat $BAKROOT/log.* >> $LOGFILE

rm -f $BAKROOT/log.*

##### end of rsync.sh

OK,脚本完成了,chmod 755 rsync.sh

开始备份: ./rsync.sh verb progress 就可以了,备份时,会自动从密码文件读取密码进行验证,备份的详细信息及进度会在当前终端输出,同时也记录到 backup.log 文件中。

两次备份后,如果数据在这段时间内有改动,会产生差异备份数据,用当前时间命名,便于以后查找

如果有些数据你不想备份,可以加入到 exclude_file 文件中,每条记录占一行,支持通配符,比如

/tmp ## 排除名为 tmp 的根目录

.[a-z]* ## 不备份以点开头的隐藏文件

====================

rsync 后记

====================

1. 备份时若需要考虑到传输数据的安全,可以通过 rsync over ssh 来完成,加入一个 -e ssh 参数即可,适用于远程备份机密数据的场合;内网备份或对数据安全没有什么要求,就不必了,通过ssh后备份速度会有所减慢。

2. 备份参数中需要注意 --delete 参数,意为:删除本地备份目录存在,但是远程备份服务器不存在的文件和目录,也就是说,如果备份点删除了某个文件,备份过后,备份目的地的该文件也将被删 除。还好有增量备份的存在,这个文件会移到增量备份目录中,如果没有增量备份,那么这个文件就永久被删除了。

3. 暂时没了,以后想到了再补充

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有