几种主流数据同步ETL工具的比较(TurboDX、Goldengate、Kettle、DataX)

一、

X-Engine是阿里巴巴自研的存储引擎，作为阿里云 RDS MySQL 的一个可选引擎，除了主打高性能和低成本，还增加了不少惠及用户的新功能。本文将详细介绍 MySQL(X-Engine) 如何近乎瞬时完成传统数据库需要数小时完成的DDL操作。

1.数据库DDL操作面临的问题

互联网业务发展迅速，应用模式频繁更改是常态。相应地，数据库访问模式和schema也随之变化。DDL（Data Definition Language）是SQL的一类，主要作用是创建和更改数据的schema信息，最常见的操作包括：加减列、更改列类型、加减索引等。熟悉MySQL的同学都知道，在8.0以前，虽然Online DDL不阻塞其它DML（Insert/Update/Delete）操作，但许多重要的DDL操作，如加列、减列等，仍旧需要等待数小时、甚至好几天时间（依据数据量的大小）才会生效。更改列类型等操作甚至仍需要锁表执行，阻塞DML操作。

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

概述

在任何数据库中，分析和优化SQL的执行，最重要的工作就是执行计划的解读，而说到执行计划得先了解postgresql的查询执行过程。

PG数据库查询执行流程

1、Main

Main是整个后台的入口，基本上不处理任何逻辑，只是简单的分发处理逻辑。

数据是数据平台最重要的资源，企业需要对如何将数据摄取到新的数据平台中进行设计和规划。

本文将讨论变更数据捕获(CDC)解决方案，如何基于Debezium等开源工具设计标准的复制解决方案，以及CDC可以帮助企业迁移到新的数据平台的原因。

Online DDL 改进了 MySQL 操作的几个方面：

1、访问表的应用程序响应速度更快，因为在 DDL 操作进行时，可以对表进行查询和 DML 操作。减少锁定和等待 MySQL 服务器资源会带来更大的可伸缩性，即使对于不参与 DDL 操作的操作也是如此。

一、概述 　　

　　主从复制是指将主数据库（Master）的DDL和DML操作通过二进制日志传到从库（Slave）服务器中，然后在从库上对这些日志重新执行(也叫重做)，从而使得从库和主库的数据保持同步。

背景

mysql中的日志很常见，在面试环节涉及的也比较多，主要有bin log、redo log、undo log三种，要理解清楚这三种日志的定位及区别；

概述

前面说了MGR方面的一些基础介绍，下面介绍一下MGR单主模式应该如何部署..

参考：https://dev.mysql.com/doc/refman/5.7/en/group-replication-requirements-and-limitations.html