Canal是阿里巴巴旗下的一款开源项目，利用Java开发。主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费，目前主要支持MySQL。
GitHub地址：https://github.com/alibaba/canal
在介绍Canal内部原理之前，首先来了解一下MySQL Master/Slave同步原理：
MySQL master启动binlog机制，将数据变更写入二进制日志（binary log, 其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看）MySQL slave（I/O thread）将master的binary log events拷贝到它的中继日志（relay log）MySQL slave（SQL thread）重放relay log中事件，将数据变更反映它自己的数据中
Canal工作原理：
Canal模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议MySQL master收到dump请求，开始推送binary log给slave（也就是canal）Canal解析binary log对象（原始为byte流）
简而言之，Canal是通过模拟成为MySQL的slave，监听MySQL的binlog日志来获取数据。当把MySQL的binlog设置为row模式以后，可以获取到执行的每一个Insert/Update/Delete的脚本，以及修改前和修改后的数据，基于这个特性，Canal就能高效的获取到MySQL数据的变更。 Canal架构：
说明： server代表一个Canal运行实例，对应于一个jvm instance对应于一个数据队列（1个server对应1..n个instance)
EventParser：数据源接入，模拟slave协议和master进行交互，协议解析
EventSink：Parser和Store连接器，主要进行数据过滤，加工，分发的工作
EventStore：负责存储
MemoryMetaManager：增量订阅和消费信息管理器
Event Parser设计：
整个parser过程大致可分为以下几步：
Connection获取上一次解析成功的log position（如果是第一次启动，则获取初始指定的位置或者是当前数据库的binlog log position）Connection建立连接，向MySQL master发送BINLOG_DUMP请求MySQL开始推送binary Log接收到的binary Log通过BinlogParser进行协议解析，补充一些特定信息。如补充字段名字、字段类型、主键信息、unsigned类型处理等将解析后的数据传入到EventSink组件进行数据存储（这是一个阻塞操作，直到存储成功）定时记录binary Log位置，以便重启后继续进行增量订阅
如果需要同步的master宕机，可以从它的其他slave节点继续同步binlog日志，避免单点故障。 Event Sink设计：
EventSink主要作用如下：
数据过滤：支持通配符的过滤模式，表名，字段内容等
数据路由/分发：解决1:n（1个parser对应多个store的模式）
数据来1源gaodai#ma#com搞*代#码1网归并：解决n:1（多个parser对应1个store）
数据加工：在进入store之前进行额外的处理，比如join 数据1:n业务
转载请注明原文链接：详解监听MySQL的binlog日志工具分析：Canal
