Xtrabackup

备份过程

  1. 非InnoDB表,进行短暂的锁表,然后Copy数据文件
  2. 对于InnoDB表,立即出发checkpoint,会立即记录一个LSN,COPY数据文件
  3. 将备份过程中产生的redo进行截取和保存,并记录此时最新的LSN

恢复过程

  1. 模拟了CSR的全过程,在恢复之前,将数据的LSN号和redo的LSN号追平
  2. 恢复方法就是直接复制到mysql的数据目录下即可

备份产生的文件介绍

  • xtrabackup_binlog_info : 记录备份时刻的二进制日志信息,可以作为binlog截取的起点
  • xtrabackup_checkpoints : 记录备份的版本信息和LSN号
  1. from : 备份中包含的LSN号的起点,全备:0,增量:上次备份的结束位置
  2. to : checkpoint时的LSN
  3. last : 备份结束时的LSN.下次增量备份的起始位置,该记录的数值减去9为结束时的LSN

使用Xtrabackup备份恢复

  • 创建模拟数据,修改多次数据,每次修改数据后创建一次增量备份.创建多个增量备份后,使用全备和增量备份进行恢复
  • 在进行第三次修改数据后,利用1次全备和2次增量备份配合binlog恢复数据

创建数据

create database full charset utf8mb4;
use full;
create table t1 (id int);
insert into t1 values(1),(2),(3);

进行一次全备

innobackupex --user=root --password=123456 --socket=/tmp/mysql.sock --no-timestamp /backup/full

第一次修改数据

create database inc1 charset utf8mb4;
use inc1;
create table t1 (id int);
insert into t1 values(1),(2),(3);

进行第一次增量备份

  • --incremental : 开关
  • --incremental-basedir=/backup/full /backup/inc1 : 基于/backup/full备份进行增量,增量备份目录为/backup/inc1
innobackupex --user=root --password=123456 --socket=/tmp/mysql.sock --no-timestamp --incremental --incremental-basedir=/backup/full /backup/inc1

检查备份的LSN,分别查看两个备份目录下的xtrabackup_checkpoints,inc1的from_lsn和full的last_lsn相差为9,说明inc1是full的增量备份

[root@home backup]# cat /backup/full/xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 2704491
last_lsn = 2704500
compact = 0
recover_binlog_info = 0
[root@home backup]# cat /backup/inc1/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 2704491
to_lsn = 2710297
last_lsn = 2710306
compact = 0
recover_binlog_info = 0

第二次修改数据

create database inc2 charset utf8mb4;
use inc2;
create table t1 (id int);
insert into t1 values(1),(2),(3);

进行第二次增量备份

innobackupex --user=root --password=123456 --socket=/tmp/mysql.sock --no-timestamp --incremental --incremental-basedir=/backup/inc1 /backup/inc2

第三次修改数据

create database inc3 charset utf8mb4;
use inc3;
create table t1 (id int);
insert into t1 values(1),(2),(3);

破坏数据后进行数据恢复

pkill mysqld
rm -rf /data/mysql/data/*

恢复思路

  1. 查找可用备份并处理备份:full+inc1+inc2
  2. 查找inc2备份记录的日志记录到故障时间点的binlog
  3. 恢复全备+增量+binlog
  4. 验证数据
  • --redo-only : 在准备基本完全备份和合并除最后一个增量备份以外的所有增量备份时，应使用此选项。这迫使xtrabackup跳过“回滚”阶段，只执行“重做”。如果以后备份将对其应用增量更改，则这是必需的。

一定要按照完整备份、第一次增量备份、第二次增量备份的顺序进行整合，在整合最后一次增量备份时不要使用--redo-only参数

合并和整理备份

#整理full
innobackupex --apply-log --redo-only /backup/full
#合并inc1到full,并整理备份,执行完该命令后可以对比两个目录下的xtrabackup_checkpoints中的last_lsn值
innobackupex --apply-log --redo-only --incremental-dir=/backup/inc1 /backup/full
#合并inc2到full,并整理备份
innobackupex --apply-log --incremental-dir=/backup/inc2 /backup/full
#最后一次整理full
innobackupex --apply-log /backup/full

截取二进制日志

#查看最后一个增量备份中的记录
cat /backup/inc2/xtrabackup_binlog_info

mysql-bin.000003        1997    192ae722-6e3e-11ea-9164-002170ee9a77:1-38,
4c79630e-7017-11ea-ac4f-002170ee9a77:1-9

#对比后mysql-bin.000003后获得当前剩余的二进制日志截取命令
mysqlbinlog --skip-gtids --include-gtids='4c79630e-7017-11ea-ac4f-002170ee9a77:10-12' /data/binlog/mysql-bin.000003 > /backup/binlog.sql

恢复备份数据

#复制所有数据
cp -a  /backup/full/* /data/mysql/data/
#修改数据的属主属组
chown -R mysql.mysql /data/
#启动mysql
systemctl start mysqld.service

恢复二进制日志部分数据

set sql_log_bin=0;
source /backup/binlog.sql
set sql_log_bin=1;

从mysqldump全备中获取库和表的备份

#获得表结构
sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q'  full.sql>createtable.sql
#获得INSERT INTO 语句，用于数据的恢复
grep -i 'INSERT INTO `city`'  full.sql >data.sql &
#获取单库的备份
sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql

mysql5.6 迁移至 mysql5.7

搭建5.6的测试环境

#创建目录
mkdir /data/mysql/data  -p
mkdir /application/ -p
mkdir /data/binlog -p
#建用户,改权限
useradd mysql
chown -R mysql.mysql /data /application/
#修改环境变量
echo 'export PATH=/application/mysql/bin:$PATH' >> /etc/profile
source /etc/profile
#初始化数据库
/application/mysql/scripts/mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/data/mysql/data
#准备配置文件
cat > /etc/my.cnf <<EOF
[mysqld]
basedir=/application/mysql 
datadir=/data/mysql/data 
server_id=99
user=mysql
log_bin=/data/binlog/mysql-bin
binlog_format=row
socket=/tmp/mysql.sock 
[mysql]
socket=/tmp/mysql.sock
EOF

mysql-5.6.44-linux-glibc2.12-x86_64.tar.gz

#解压后移动到指定目录下
tar -xf mysql-5.6.44-linux-glibc2.12-x86_64.tar.gz
mv mysql-5.6.44-linux-glibc2.12-x86_64  /application/mysql
#准备启动脚本
cp /application/mysql/support-files/mysql.server /etc/init.d/mysqld
#启动数据库
/etc/init.d/mysqld start
#设置root用户密码
mysqladmin -uroot -p password 123456

导出mysql5.6的数据

#导出数据后,将备份文件移动到mysql5.7的主机中
mysqldump -uroot -p123 -A --master-data=2 --single-transaction -R -E --triggers > /tmp/full.sql

登录mysql5.7并导入数据

source /data/full.sql
#5.7版本中的数据库结构和5.6版本不同,执行该命令进行兼容
#同步数据后,还需要持续追加binlog部分数据
mysql_upgrade -uroot -p123456 -S /tmp/mysql.sock