邱从贤(山智)

邱从贤(山智)

Apache Flink Contributor,阿里巴巴高级开发工程师

向社区贡献了状态数据多线程上传和下载的功能,序列化器迁移等相关代码,正在对状态存储做重大重构。目前任职阿里巴巴高级工程师,主要从事 Flink 中状态管理相关工作。
阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?
阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?

众所周知,Flink 是当前最为广泛使用的计算引擎之一,它使用 checkpoint 机制进行容错处理 [1],checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部,我们使用的存储主要是 HDFS,当同一个集群的 Job 到达一定数量后,会对 HDFS 造成非常大的压力,本文将介绍一种大幅度降低 HDFS 压力的方法——小文件合并。

Flink Checkpoint 问题排查实用指南
Flink Checkpoint 问题排查实用指南

在 Flink 中,状态可靠性保证由 Checkpoint 支持,当作业出现 failover 的情况下,Flink 会从最近成功的 Checkpoint 恢复。在实际情况中,我们可能会遇到 Checkpoint 失败,或者 Checkpoint 慢的情况,本文会统一聊一聊 Flink 中 Checkpoint 异常的情况(包括失败和慢),以及可能的原因和排查思路。

Apache Flink 零基础入门(六):Flink Time & Window 解析
Apache Flink 零基础入门(六):Flink Time & Window 解析

Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink 中 Window 可以将无限流切分成有限流,是处理有限流的核心组件,现在 Flink 中 Window 可以是时间驱动的(Time Window),也可以是数据驱动的(Count Window)。

  • 关注
    • qr_code

      微信公众号

      最新前沿最热资讯

    • qr_code

      技术支持钉钉群

      时时刻刻得到帮助

  • TOP