canal-client's Introduction

canal-client

阿里巴巴数据同步组建canal的客户端封装，与spring无缝衔接，方便开发

功能介绍

阿里巴巴canal是数据库mysql同步的组件

原理介绍

原理相对比较简单： canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议,这样canal server相当于模拟mysql数据库Master的Slave

mysql master收到dump请求，开始推送binary log给slave(也就是canal server)
canal server 与canal client就相当于MQ 的Broker server与消费者一样。
canal server收到日志，会解析binary log对象(原始为byte流)封装成消息实体，推送给订阅了此server的client
客户端client接收到对应的insert update delete类别的消息实体对象，可以进行相应的处理
另外考虑到高可用canal sever必须配置zk当注册中心！
注意：canal适合要对数据库数据进行处理存储的情况。如果两个表结构类似，不需要做业务处理，可以考虑用otter！

使用-spring配置文件配置

    <!--定义一个处理同步的处理类-->
      <bean id="globalCanalInvoke" class="com.xxx.canal.client.GlobalCanalInvoke"/>
    <!--canal客户端配置-->
     <config:canal-config
            id="singleCanalClient"
            destination="example"
            fetchSize="1000"
            host="localhost:2181" hostType="zkCluster">
         <!--
         id:配置id
         destination:扫描的目录。必须与canal server 配置文件里的匹配
         fetchSize:代表每次查询1000条同步记录
         host: localhost：2181代表zookeeper的地址
          -->
        <!-- 处理所有库的所有表IUD-->
        <config:globalInvoke ref="globalCanalInvoke"/>
        <config:tableInvoke>
            <!-- 指定数据库database,和表tableName-->
            <config:invoke database="testDB" tableName="test_table">
                <config:bean ref="dictIndicatorSyncInvoke"/>
            </config:invoke>
        </config:tableInvoke>
    </config:canal-config>