MySQL多线程备份工具 mydumper

数据库   mydumper  

Mydumper介绍

  • Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。
  • Mydumper主要特性:
    • 轻量级C语言写的
    • 执行速度比mysqldump快10倍
    • 事务性和非事务性表一致的快照(适用于0.2.2以上版本)
    • 快速的文件压缩
    • 支持导出binlog
    • 多线程恢复(适用于0.2.1以上版本)
    • 以守护进程的工作方式,定时快照和连续二进制日志(适用于0.5.0以上版本)
    • 开源 (GNU GPLv3)
  • 注意事项
    • mydumper采用多线程导出,所以无法保证导出顺序和使用mysqldump一致,可能会给某些依赖时间的特性(routine,event等)带来数据不一致,建议把mysql库和其他数据库分开导出导入。
    • mydumper提供的库提取和库合并功能依赖于分割符,所以要求用户数据库名不包含点号(.) ,表名不包含减号(-)。

Mydumper安装说明

  • 下载解压
    mydumper_v1.0.0.tar.gz
    tar xzvf cdb_mydumper_v1.0.0.tar.gz
  • 解压后,会出现mydumper文件夹,里面有2个二进制执行文件。文件说明如下:
    mydumper:云数据库数据多线程导出工具。
    myloader:云数据库数据多线程导入工具.
  • 无需安装直接加上执行权限即可以使用

mydumper参数介绍

-B, --database 需要备份的库 
-T, --tables-list 需要备份的表,用,分隔 
-o, --outputdir 输出目录
-s, --statement-size Attempted size of INSERT statement in bytes, default 1000000
-r, --rows 试图分裂成很多行块表
-c, --compress 压缩输出文件
-e, --build-empty-files 即使表没有数据,还是产生一个空文件
-x, --regex 支持正则表达式
-i, --ignore-engines 忽略的存储引擎,用,分隔 
-m, --no-schemas 不导出表结构
-k, --no-locks 不执行临时共享读锁 警告:这将导致不一致的备份
-l, --long-query-guard 长查询,默认60s
--kill-long-queries kill掉长时间执行的查询(instead of aborting)
-b, --binlogs 导出binlog
-D, --daemon 启用守护进程模式
-I, --snapshot-interval dump快照间隔时间,默认60s,需要在daemon模式下
-L, --logfile 日志文件
-h, --host
-u, --user
-p, --password 
-P, --port
-S, --socket
-t, --threads 使用的线程数,默认4
-C, --compress-protocol 在mysql连接上使用压缩
-V, --version
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2



mydumper输出文件:

metadata:元数据 记录备份开始和结束时间,以及binlog日志文件位置。  
table data:每个表一个文件  
table schemas:表结构文件  
binary logs: 启用--binlogs选项后,二进制文件存放在binlog_snapshot目录下  
daemon mode:在这个模式下,有五个目录0,1,binlogs,binlog_snapshot,last_dump。  
备份目录是0和1,间隔备份,如果mydumper因某种原因失败而仍然有一个好的快照,
当快照完成后,last_dump指向该备份。

myloader参数介绍

-d, --directory 导入备份目录
-q, --queries-per-transaction 每次执行的查询数量, 默认1000
-o, --overwrite-tables 如果表存在删除表
-B, --database 需要还原的库
-e, --enable-binlog 启用二进制恢复数据 
-h, --host 
-u, --user 
-p, --password 
-P, --port 
-S, --socket 
-t, --threads 使用的线程数量,默认4 
-C, --compress-protocol 连接上使用压缩
-V, --version
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

命令示例

  • 导出整个库
    ./mydumper -h 127.0.0.1 –P 3306 –u root -p 123 -G -R -E -l -A -o alldb
  • 导入整个库
    ./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -d alldb
  • 导出多个库
    ./mydumper -h 127.0.0.1 –P 3306 –u root -p 123 -G -R -E -l -B alarmDB,db_cms_logging,test -o dbs
  • 导入多个库
    ./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -d dbs
  • 导出单库多表
    ./mydumper -h 127.0.0.1 –P 3306 –u root -p 123 -G -R -E -l -B alarmDB -T alarm_history,alarm_strategy -o tbs
  • 导入单库多表
    ./myloader -h 127.0.0.1 –P 3306 –u root -p 123 –t 2 -d tbs
  • 提取库导入
    ./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -B alarmDB, db_cms_logging -d alldb
  • 提取表导入
    ./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -B alarmDB -T alarm_history,alarm_strategy -d dbs
  • 多库导入单库(合服)
    ./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -A newdir -B alarmDB -T alarm_history,alarm_strategy -d dbs