37 手游基于 Flink CDC + Hudi 湖仓一体方案实践
37 手游基于 Flink CDC + Hudi 湖仓一体方案实践

本文作者是 37 手游大数据开发徐润柏,介绍了 37 手游为何选择 Flink 作为计算引擎,并如何基于 Flink CDC + Hudi 构建新的湖仓一体方案,主要内容包括:Flink CDC Connectors 是 Apache Flink 的一个 source 端的连接器,目前 2.0 版本支持从 MySQL 以及 Postgres 两种数据源中获取数据,2.1 版本社区确定会支持 Oracle,MongoDB 数据源。

2021-09-17

Flink 在 58 同城的应用与实践
Flink 在 58 同城的应用与实践

本文整理自 58 同城实时计算平台负责人冯海涛在 Flink Forward Asia 2020 分享的议题《Flink 在 58 同城应用与实践》,内容包括:实时计算平台的定位是为 58 集团海量数据提供高效、稳定的实时计算一站式服务。一站式服务主要分为三个方向:

2021-09-14

Apache Hudi 在 B 站构建实时数据湖的实践
Apache Hudi 在 B 站构建实时数据湖的实践

本文作者喻兆靖,介绍了为什么 B 站选择 Flink + Hudi 的数据湖技术方案,以及针对其做出的优化。主要内容为:之前 B 站数仓的入仓流程大致如下所示:在这种架构下产生了以下几个核心痛点:总结一下就是:

2021-09-10

Flink 1.14 新特性预览
Flink 1.14 新特性预览

本文由社区志愿者陈政羽整理,内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为:此文章为 8 月 7 日的分享整理,1.14 版本最新进展请注意文中的注释说明。

2021-09-02

伴鱼:借助 Flink 完成机器学习特征系统的升级
伴鱼:借助 Flink 完成机器学习特征系统的升级

本文作者陈易生,介绍了伴鱼平台机器学习特征系统的升级,在架构上,从 Spark 转为 Flink,解决了特征上线难的问题,以及 SQL + Python UDF 如何用于生产实践。 主要内容为:在伴鱼,我们在多个在线场景使用机器学习提高用户的使用体验,例如:在伴鱼绘本中,我们根据用户的帖子浏览记录,为用户推荐他们感兴趣的帖子;在转化后台里,我们根据用户的绘本购买记录,为用户推荐他们可能感兴趣的课程等。

2021-09-01

Flink 在顺丰的应用实践
Flink 在顺丰的应用实践

本⽂由社区志愿者苗文婷整理,内容源⾃顺丰科技大数据平台研发工程师龙逸尘在 Flink Forward Asia 2020 分享的《Flink 在顺丰的应用实践》,主要分享内容为:顺丰基于 Flink 建设实时数仓的思路,引入 Hudi On Flink 加速数仓宽表,以及实时数仓平台化建设的实践。分为以下 5 个部分:

2021-08-31

Apache Flink 在京东的实践与优化
Apache Flink 在京东的实践与优化

本文整理自京东高级技术专家付海涛在 Flink Forward Asia 2020 分享的议题《Apache Flink 在京东的实践与优化》,内容包括:京东在 2014 年基于 storm 打造了第一代流式处理平台,可以较好的满足业务对于数据处理实时性的要求。不过它有一些局限性,对于那些数据量特别大,但是对延迟却不那么敏感的业务场景,显得有些力不从心。于是我们在 2017 年引入了 Spark streaming,利用它的微批处理来应对这种业务场景。

2021-08-30

使用 Flink Hudi 构建流式数据湖
使用 Flink Hudi 构建流式数据湖

本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进。用户可以通过 Flink SQL 将 CDC 数据实时写入 Hudi 存储,且在即将发布的 0.9 版本 Hudi 原生支持 CDC format。主要内容为:

2021-08-26

最新公告
12月4 日
【活动】Flink Forward Asia 2021 议题征集

年度盛会 FFA 正式启动,点击投递议题~

9月21 日
【活动】第三届 Apache Flink 极客挑战赛

赛事开启,30万奖金等你来!点击报名~

propaganda
Why learning Apache Flink™
Apache Flink 为用户提供了更强大的计算能力和更易用的编程接口
批流统一批流统一Runtime 和 SQL 层批流统一,提供强大的 SQL 支持。
生态兼容生态兼容与 Yarn / Mesos / Kubernetes 集成,支持单机模式运行。
性能卓越性能卓越提供高吞吐、低时延的批处理与流处理支持。
规模计算规模计算水平扩展架构、支持超大状态与增量检查点机制。
  • 关注
    • qr_code

      微信公众号

      最新前沿最热资讯

    • qr_code

      技术支持钉钉群

      时时刻刻得到帮助

  • TOP