付典

付典

Apache Flink PMC,阿里巴巴高级技术专家

2012年硕士毕业于西安交通大学,曾就职于搜狗、英特尔等公司,从事 Hadoop 的相关开发工作。2017年加入阿里巴巴实时计算部门,从事 Blink SQL 的开发及优化。2019年开始参与 PyFlink 项目从0到1的建设,目前是 Apache Flink 的 PMC 成员。
PyFlink 教程(三):PyFlink DataStream API - state & timer
PyFlink 教程(三):PyFlink DataStream API - state & timer

Flink 1.13 已于近期正式发布,超过 200 名贡献者参与了 Flink 1.13 的开发,提交了超过 1000 个 commits,完成了若干重要功能。其中,PyFlink 模块在该版本中也新增了若干重要功能,比如支持了 state、自定义 window、row-based operation 等。随着这些功能的引入,PyFlink 功能已经日趋完善,用户可以使用 Python 语言完成绝大多数类型Flink作业的开发。接下来,我们详细介绍如何在 Python DataStream API 中使用 state & timer 功能。

PyFlink 教程(二):PyFlink Table API - Python 自定义函数
PyFlink 教程(二):PyFlink Table API - Python 自定义函数

Python 自定义函数是 PyFlink Table API 中最重要的功能之一,其允许用户在 PyFlink Table API 中使用 Python 语言开发的自定义函数,极大地拓宽了 Python Table API 的使用范围。

PyFlink 教程(一):如何从 0 到 1 开发 PyFlink API 作业
PyFlink 教程(一):如何从 0 到 1 开发 PyFlink API 作业

Apache Flink 作为当前最流行的流批统一的计算引擎,在实时 ETL、事件处理、数据分析、CEP、实时机器学习等领域都有着广泛的应用。从 Flink 1.9 开始,Apache Flink 社区开始在原有的 Java、Scala、SQL 等编程语言的基础之上,提供对于 Python 语言的支持。经过 Flink 1.9 ~ 1.12 以及即将发布的 1.13 版本的多个版本的开发,目前 PyFlink API 的功能已经日趋完善,可以满足绝大多数情况下 Python 用户的需求。接下来,我们以 Flink 1.12 为例,介绍如何使用 Python 语言,通过 PyFlink API 来开发 Flink 作业。

  • 关注
    • qr_code

      微信公众号

      最新前沿最热资讯

    • qr_code

      技术支持钉钉群

      时时刻刻得到帮助

  • TOP