mydumper工作原理详解

发布时间：2023-07-28 15:10:53 所属栏目：MySql教程来源：

导读：mydumper工作原理解析

1、简介

逻辑备份小钢炮--mydumper是针对MySQL的高性能多线程备份工具。该工具是由MySQL、Facebook、skysql公司的开发人员一起开发的。是由轻量级C语言开发；执行速度据说比mysqldump快

mydumper工作原理解析

1、简介

逻辑备份小钢炮--mydumper是针对MySQL的高性能多线程备份工具。该工具是由MySQL、Facebook、skysql公司的开发人员一起开发的。是由轻量级C语言开发；执行速度据说比mysqldump快10倍；支持事务和非事务表的一致性备份；还支持导出binlog；支持多线程备份；支持以守护进程的形式工作，定时备份；并且是开源的，其协议为GPLv3.

2、使用方法

root@dd:~/mydumper-0.6.2# ./mydumper --help

Usage:

  mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:

  -?, --help                  Show help options

Application Options:

  -B, --database              需要备份的库

  -T, --tables-list           需要备份的表，用逗号分隔

  -o, --outputdir             输出文件的目录

  -s, --statement-size        生成插入语句的字节数, 默认 1000000，这个参数不能太小，不然会报 Row bigger than statement_size for tools.t_serverinfo

  -r, --rows                  分裂成很多行块表

  -c, --compress              压缩输出文件

  -e, --build-empty-files     即使表没有数据，还是产生一个空文件

  -x, --regex                 正则表达式: 'db.table'

  -i, --ignore-engines        忽略的存储引擎，用逗号分隔

  -m, --no-schemas            不导出表结构

  -k, --no-locks              不执行共享读锁警告：这将导致不一致的备份

  -l, --long-query-guard      设置长查询时间,默认60秒，超过该时间则会报错：There are queries in PROCESSLIST running longer than 60s, aborting dump

  --kill-long-queries         kill掉长时间执行的查询

  -b, --binlogs               导出binlog

  -D, --daemon                启用守护进程模式

  -I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下

  -L, --logfile               日志文件

  -h, --host                  The host to connect to

  -u, --user                  Username with privileges to run the dump

  -p, --password              User password

  -P, --port                  TCP/IP port to connect to

  -S, --socket                UNIX domain socket file to use for connection

  -t, --threads               使用的线程数，默认4

  -C, --compress-protocol     在mysql连接上使用压缩协议

  -V, --version               Show the program version and exit

  -v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

3、原理解析

mydumper工作原理解析

1）该工具在--daemo模式下支持以守护进行形式启动，默认每60s进行一次备份。间隔时间由--snapshot-interval控制。

2）首先会创建一个MySQL服务的连接

3）然后在MySQL上执行show processlist，根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;

4）根据是否有--lock-all-tables，进行锁表：LOCK TABLE tn READ或者FLUSH TABLES WITH READ LOCK；然后执行START TRANSACTION；

5）创建4个备份表的子线程

6）创建1个work thread后，g_async_queue_pop(conf.ready);此时conf.ready为空需要sleep等待。

7）work线程执行：连接mysql；设置隔离级别RR；start transaction；g_async_queue_push(conf->ready,GINT_TO_POINTER(1));然后main函数的g_async_queue_pop挂住的地方可以唤醒了，继续创建线程或者向下走。

8）work线程接着执行：进入死循环，从队列里pop出任务job=(struct job *)g_async_queue_pop(conf->queue);，根据任务类型进行dump。这里的并行是根据表并行的。先备份非事务表，然后备份innodb表

9）最后等所有work线程完成非事务表备份后唤醒g_async_queue_pop(conf.unlock_tables);，执行UNLOCK TABLES解锁

10）事务结束

（编辑：聊城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!