ES监听binlog

来源：go-interview / Case

Canal 是阿里巴巴开源的一个工具，用于模拟 MySQL 从库的行为，解析 MySQL 的 binlog（Binary Log），并将数据库的变更同步到其他系统（如 Elasticsearch, HBase, Kafka 等）。它的主要工作原理是通过伪装成 MySQL 的从库，实时地读取并解析 binlog，然后将数据同步到目标系统。

Canal 工作原理

1. 伪装从库

   • Canal 模拟 MySQL 从库的协议，伪装自己为 MySQL 主库的一个从库。通过 MySQL 的 replication 协议，Canal 可以像正常的从库一样接收到主库发送的 binlog。

2. 读取 Binlog

   • MySQL 的 binlog 是一种二进制日志文件，用于记录所有针对数据库的数据更改操作，如 INSERT、UPDATE、DELETE 等。Canal 从主库接收到 binlog 后，会按顺序读取这些日志事件。

3. 解析 Binlog

   • Canal 内置了对 MySQL binlog 的解析能力，它会将二进制的日志文件解析成可读的结构化数据。例如，Canal 会解析出每一个 binlog 事件对应的表名、操作类型、数据行的变更前后值等信息。

4. 生成事件

   • 解析完 binlog 后，Canal 将这些日志事件封装成 Event 对象，包括了变更类型（如 INSERT、UPDATE、DELETE）、变更的数据内容等。

5. 数据同步

   • Canal 将解析后的 Event 推送到目标系统中，如将数据变更推送到 Kafka、直接同步到 Elasticsearch 等。这可以让其他系统实时地感知到数据库的变化，从而保持数据一致性。

Canal 同步到 Elasticsearch 的流程

当 Canal 将 MySQL binlog 中的数据变更同步到 Elasticsearch 时，通常的流程如下：

1. 监控 Binlog

   • Canal 监听 MySQL binlog，并实时地读取到每一个数据变更操作。

2. 数据解析

   • Canal 解析 binlog 中的事件，将其转换成结构化的事件对象。

3. 处理事件

   • Canal 根据 binlog 事件类型（如 INSERT、UPDATE、DELETE）生成相应的 Elasticsearch 请求。通常是对应的 index、update 或 delete 请求。

4. 同步到 Elasticsearch

   • Canal 使用 Elasticsearch 客户端将这些数据同步到指定的索引中。对于 INSERT 和 UPDATE 操作，Canal 会将数据写入 Elasticsearch；对于 DELETE 操作，Canal 会在 Elasticsearch 中删除对应的文档。

Canal 的优势

• 实时性：通过模拟从库协议，Canal 能够实时监听并解析 MySQL 的 binlog，确保数据同步的实时性。
• 高效性：直接使用 binlog 数据进行同步，避免了全量数据的重复传输和处理。
• 支持多目标系统：Canal 可以将解析后的数据同步到多种目标系统，如 Elasticsearch、Kafka、HBase 等，适应性强。

使用场景

• 数据同步：在大规模数据场景下，可以使用 Canal 将 MySQL 中的数据实时同步到 Elasticsearch，以便进行快速的全文搜索或复杂的分析查询。
• 数据备份与恢复：通过监听 binlog，可以在目标系统中进行数据备份与恢复操作。
• 异构系统集成：通过 Canal，将 MySQL 数据变更同步到异构系统中，实现数据的多系统实时同步。

总结来说，Canal 通过模拟 MySQL 从库的行为，实时监听和解析 binlog，再将解析后的数据同步到目标系统（如 Elasticsearch），从而实现高效的数据同步和集成。