刘首维

刘首维

汽车之家基于 Apache Flink 的跨数据库实时物化视图探索
汽车之家基于 Apache Flink 的跨数据库实时物化视图探索

本文介绍了汽车之家在基于 Flink 的实时物化视图的一些实践经验与探索,并尝试让用户直接以批处理 SQL 的思路开发 Flink Streaming SQL 任务。主要内容为:物化视图这一功能想必大家都不陌生,我们可以通过使用物化视图,将预先设定好的复杂 SQL 逻辑,以增量迭代的形式实时 (按照事务地) 更新结果集,从而通过查询结果集来避免每次查询复杂的开销,从而节省时间与计算资源。事实上,很多数据库系统和 OLAP 引擎都不同程度地支持了物化视图。另一方面,Streaming SQL 本身就和物化视图有着很深的联系,那么基于 Apche Flink (下称 Flink) SQL 去做一套实时物化视图系统是一件十分自然而然的事情了。

汽车之家基于 Flink 的数据传输平台的设计与实践
汽车之家基于 Flink 的数据传输平台的设计与实践

数据接入与传输作为打通数据系统与业务系统的一道桥梁,是数据系统与架构中不可或缺的一个重要部分。数据传输系统稳定性和准确性,直接影响整个数据系统服务的 SLA 和质量。此外如何提升系统的易用性,保证监控服务并降低系统维护成本,优雅应对灾难等问题也十分重要。

基于Flink的数据传输平台的设计与实践
基于Flink的数据传输平台的设计与实践

数据接入与传输作为打通数据系统与业务系统的一道桥梁,是数据系统与架构中不可或缺的一个重要部分。数据传输系统稳定性和准确性,直接影响整个数据系统服务的 SLA 和质量。此外如何提升系统的易用性,保证监控服务并降低系统维护成本,优雅应对灾难等问题也十分重要。

从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践
从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

本文授权转自:https://mp.weixin.qq.com/s/ZbDzxDgd9phmNIVhNhXImw在 2019 年之前,之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎,凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性,俘获了大批用户。下图是实时计算团队 Storm 平台页面:

  • 关注
    • qr_code

      微信公众号

      最新前沿最热资讯

    • qr_code

      技术支持钉钉群

      时时刻刻得到帮助

  • TOP