懂车帝准实时指标体系架构及应用

业务背景及挑战

• 业务数仓的业务流程会比较复杂，数据变化快，一个流程从开始到结束，各个节点会发生频繁的变化。
• 流量数仓数据量比较大，但是数据一旦产生后（主要是以流量日志的形式），数据本身不会发生太大变化。

02

技术架构如何应对业务挑战

• 存储计算层的统一，统一实时离线架构；
• 查询服务层的统一，统一指标的生产、消费。

• 需要维护两套不同的计算代码，维护开发成本高；
• 开发迭代过程中，非常容易出现指标口径不一致的问题。

• 提供了湖仓一体可扩展、高可用、高性能的元数据服务，完全兼容 Hive Metastore，支持多种计算引擎。
• 支持对海量数据的高效 Insert/Overwrite 能力，并且完全兼容 HSQL 的 OLAP 能力。
• 支持对历史数据的 Update/Delete 能力。
• 支持对新增数据的 Upsert（主键）和 Append（非主键）能力。
• 支持 Streaming Source/Sink，提供近实时分析能力，同时支持接入数据集看板。

• 与现有框架无缝集成；
• 分钟级延迟满足业务要求；
• 规范化指标生产与消费；
• 学习开发运维成本低。

• 无法满足秒级时延；
• 功能完备性还有待提升空间；
• 具有额外的存储开销。

遇到的问题及解决办法

• Las 读写性能差
  在 Las2.0 版本中，通过一系列优化，使性能得到了提升。
• Flink SQL 多表复杂 JOIN 场景下存在性能问题
  通过 HSQL 微批以及 Las 多流列拼接等方式解决了该问题。
• 微批场景下 HSQL 调度等待
  将 HSQL 放到常驻进程的 Spark 集群上执行，避免申请资源时的等待。
• 历史数据回溯
  新增 ODS 的 Hive 数据分区表，用于异常回溯。在后续，希望通过 Time Travel 的能力进一步改善，避免在 ODS 层存储大量快照。

成果及规划

• 二手车门店所有指标（600+）实现了分钟级准实时化；
• 二手车门店全面实现了流批一体；
• 解决了二手车门店指标一致性的问题。

• 二手车门店指标秒级实时化
  这会对存储有更高的要求，目前基于 HDFS 和 Las 的存储可能无法满足，会考虑迁移到基于内存的存储，这样 Checkpoint 就不会再有问题。
• 真正实现计算层统一
  目前计算层还没真正实现统一，只是采用了一个变通的方法，即一个逻辑只用一份代码去写。将来要实现真正的计算层统一。