Skip to content
  • 活动
    • Meetup
    • Flink Forward
    • 其他
  • 开发者资料
    • 博客分享
    • 开发实践
    • 专业教程
    • 资料中心
  • 企业实践
    • 行业案例
    • 经典场景
    • 深度用户
注册
登录

Flink Kafka 端到端 Exactly-Once 分析

Posted by吴鹏 2020年3月20日2020年4月02日

Developer Tag Archives:

Flink Kafka 端到端 Exactly-Once 分析

Flink Kafka 端到端 Exactly-Once 分析

本文基于 Flink 1.9.0 和 Kafka 2.3 版本,对 Flink kafka 端到端 Exactly-Once 进行分析及 notifyCheckpointComplete 顺序,主要内容分为以下两部分:1.Flink-kafka 两阶段提交源码分析;2.Flink 中 notifyCheckpointComplete 方法调用顺序

Flink kafka source & sink 源码解析

apache-flink Ververica Flink 实时计算 流计算

Flink kafka source & sink 源码解析

本文基于 Flink 1.9.0 和 Kafka 2.3 版本,对 Flink Kafka source 和 sink 端的源码进行解析。

Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL

apache-flink Ververica Flink 实时计算 流计算 大数据 ApacheFlink

Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL

本文衍生于伍翀(云邪)在2019年8月31日 「Apache Kafka × Apache Flink Meetup 深圳站」上的分享《Flink SQL 1.9.0 技术内幕和最佳实践》。会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

apache-flink Ververica Flink 实时计算 流计算

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

描述Flink checkpoint机制是如何保证Flink程序结果的Exactly-Once的
显示Flink如何通过两阶段提交协议与数据源和数据输出端交互,以提供端到端的Exactly-Once保证
通过一个简单的示例,了解如何使用TwoPhaseCommitSinkFunction实现Exactly-Once的文件输出

  • 活动
    • Meetup
    • Flink Forward
    • 其他
  • 企业实践
    • 行业案例
    • 经典场景
    • 深度用户
  • 开发者资料
    • 博客分享
    • 开发实践
    • 专业教程
    • 资料中心

扫码加入钉钉群

扫码关注公众号

flink-learning.org is a collection of learing resource for Apache Flink. The Apache Software Foundation has no affiliation with and does not endorse or review the materials provided at this website,which is managed by Alibaba.