DataLeap

为了减轻资源负担，降低数仓维护成本，需要对数仓建设成本进行治理与优化。

本文主要讲述了使用 MySQL 作为 JanusGraph 存储后端时，在设计上面的思考，以及在实际过程中遇到的一些问题。

本文介绍的数据血缘能力和实践，目前大部分已通过火山引擎 DataLeap 对外提供服务，欢迎大家点击阅读原文体验。

本文介绍的数据血缘能力和实践，目前大部分已通过火山引擎DataLeap对外提供服务。

市面上其实针对数据血缘的产品有很多，像阿里DataWorks的数据地图、字节的DataLeap以及非常火的开源产品Apache Atlas都是非常好用工具产品。但是本质上是想通过这篇文章，让小伙伴们在使用这些产品的时候多去思考这些产品背后的实现原理。

Apache Atlas 对于实时消息的消费处理不满足性能要求，内部使用 Flink 任务的处理方案在 ToB 场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。