山东省大数据中心

山东省大数据中心是山东省大数据局所属正处级公益一类事业单位。主要承担全省云、网、系统、平台等大数据基础设施的建设、管理和运维等工作；承担数据的收集、存贮、处理、共享、开放、开发应用等工作，运用大数据技术对经济社会发展运行情况进行监测和预测；承担数据资源管理及大数据发展应用相关领域研究、融合应用和成果转化等工作；承担全省大数据技术支持和咨询服务等工作。

文 | 陈肃 DataPipeline CTO

随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。

服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构，在带来可伸缩性好处的同时，也给数据的融合计算带来了障碍。

由于数据散落在不同的数据库、消息队列、文件系统中，计算平台如果直接访问这些数据，会遇到可访问性和数据传输延迟等问题。在一些场景下，计算平台直接访问应用系统数据库会对系统吞吐造成显著影响，通常也是不被允许的。

几种主流数据同步ETL工具的比较(TurboDX、Goldengate、Kettle、DataX)

一、

X-Engine是阿里巴巴自研的存储引擎，作为阿里云 RDS MySQL 的一个可选引擎，除了主打高性能和低成本，还增加了不少惠及用户的新功能。本文将详细介绍 MySQL(X-Engine) 如何近乎瞬时完成传统数据库需要数小时完成的DDL操作。

1.数据库DDL操作面临的问题

互联网业务发展迅速，应用模式频繁更改是常态。相应地，数据库访问模式和schema也随之变化。DDL（Data Definition Language）是SQL的一类，主要作用是创建和更改数据的schema信息，最常见的操作包括：加减列、更改列类型、加减索引等。熟悉MySQL的同学都知道，在8.0以前，虽然Online DDL不阻塞其它DML（Insert/Update/Delete）操作，但许多重要的DDL操作，如加列、减列等，仍旧需要等待数小时、甚至好几天时间（依据数据量的大小）才会生效。更改列类型等操作甚至仍需要锁表执行，阻塞DML操作。

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

概述

在任何数据库中，分析和优化SQL的执行，最重要的工作就是执行计划的解读，而说到执行计划得先了解postgresql的查询执行过程。

PG数据库查询执行流程

1、Main

Main是整个后台的入口，基本上不处理任何逻辑，只是简单的分发处理逻辑。

数据是数据平台最重要的资源，企业需要对如何将数据摄取到新的数据平台中进行设计和规划。

本文将讨论变更数据捕获(CDC)解决方案，如何基于Debezium等开源工具设计标准的复制解决方案，以及CDC可以帮助企业迁移到新的数据平台的原因。

Online DDL 改进了 MySQL 操作的几个方面：

1、访问表的应用程序响应速度更快，因为在 DDL 操作进行时，可以对表进行查询和 DML 操作。减少锁定和等待 MySQL 服务器资源会带来更大的可伸缩性，即使对于不参与 DDL 操作的操作也是如此。

一、概述 　　

　　主从复制是指将主数据库（Master）的DDL和DML操作通过二进制日志传到从库（Slave）服务器中，然后在从库上对这些日志重新执行(也叫重做)，从而使得从库和主库的数据保持同步。