引言

本项目通过在 tiflow 项目内引入 Wasm 虚拟机，扩展 DM 组件的插件化开发能力，探索将 Wasm 作为未来 DM 工具多语言 ETL 能力的基座。

团队

eastfisher yfaming niubell

项目介绍

为 DM 内嵌 Wasm 虚拟机，增加几个新的插件，改变 DM复制过程中的行为表现。

背景

当前 DM 几个基础过滤功能都在 tidb-binlog 这个包内，包括 Table Router、Cloumn Mapping、Event Filter 等，我们打算扩展这几个基础组件，实现数据打印，添加数据前缀、指定列值脱敏等功能。

项目设计

架构设计

要点概述

dmctl 通过 dm-master 组件管理 Wasm Code，包括：dmctl wasm show | load | unload 三个子命令
多个 dm-worker 通过 Watch 机制感知 Wasm Code 的变化，并加载最新版本
增加部分 Imports、Exports 函数，使得 Wasm 虚拟机可以和 Host 进行复杂数据交互，方便 Wasm Function 处理输入数据、输出应答

功能列表

Log，打印 Value of Rows
AddPrefix，给指定列值增加前缀
Encrypt，给指定列值脱敏或加密，支持数据传输中一些隐私安全类的需求

小结

DM 作为一款高效的数据迁移工具，当前还不具备特别突出的多语言插件开发的能力，而 Wasm 虚拟机带来了这样一个契机，DM 作为一款流式数据复制组件，如果具备多语言、复杂插件的开发能力，就可以满足更多用户 ETL 的诉求，这也是我们做这个项目的一个初衷。