基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与实现
基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与实现

作者:李辉在伴鱼发展早期,出现了一系列实时性相关的需求,比如算法工程师期望可以拿到用户的实时特征数据做实时推荐,产品经理希望数据方可以提供实时指标看板做实时运营分析。这个阶段中台数据开发工程师主要是基于 Spark 实时计算引擎开发作业来满足业务方提出的需求。然而这类作业并没有统一的平台进行管理,任务的开发形式、提交方式、可用性保障等也完全因人而异。

2021-06-10
李辉
开发实践
行业案例
伴鱼
palink
PyFlink 教程(三):PyFlink DataStream API - state & timer
PyFlink 教程(三):PyFlink DataStream API - state & timer

Flink 1.13 已于近期正式发布,超过 200 名贡献者参与了 Flink 1.13 的开发,提交了超过 1000 个 commits,完成了若干重要功能。其中,PyFlink 模块在该版本中也新增了若干重要功能,比如支持了 state、自定义 window、row-based operation 等。随着这些功能的引入,PyFlink 功能已经日趋完善,用户可以使用 Python 语言完成绝大多数类型Flink作业的开发。接下来,我们详细介绍如何在 Python DataStream API 中使用 state & timer 功能。

2021-06-07
付典
专业教程
资料中心
pyflink
汽车之家:基于 Flink + Iceberg 的湖仓一体架构实践
汽车之家:基于 Flink + Iceberg 的湖仓一体架构实践

作者:邸星星@汽车之家内容简要:一、数据仓库架构升级的背景二、基于 Iceberg 的湖仓一体架构实践三、总结与收益四、后续规划原有的数据仓库完全基于 Hive 建造而成,主要存在三大痛点:痛点一:不支持 ACID

2021-06-07
邸星星
博客分享
行业案例
开发实践
iceberg
Flink + Iceberg 在去哪儿的实时数仓实践
Flink + Iceberg 在去哪儿的实时数仓实践

作者:余东@去哪儿摘要: 本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括:我们在使用 Flink 做实时数仓以及数据传输过程中,遇到了一些问题:比如 Kafka 数据丢失,Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了这些业务场景碰到的问题。对比 Kafka 来说,Iceberg 在某些特定场景有自己的优势,在此我们做了一些基于 Iceberg 的实践分享。

2021-05-31
余东
开发实践
行业案例
去哪儿
实时数仓
iceberg
【干货篇】bilibili:基于flink的机器学习工作流平台在b站的应用
【干货篇】bilibili:基于flink的机器学习工作流平台在b站的应用

转载自:AICUG人工智能社区分享嘉宾:张杨,B 站资深开发工程师导读:整个机器学习的过程,从数据上报、到特征计算、到模型训练、再到线上部署、最终效果评估,整个流程非常冗长。在 b 站,多个团队都会搭建自己的机器学习链路,来完成各自的机器学习需求,工程效率和数据质量都难以保证。于是我们基于 Flink 社区的 aiflow 项目,构建了整套机器学习的标准工作流平台,加速机器学习流程构建,提升多个场景的数据实效和准确性。本次分享将介绍 b 站的机器学习工作流平台 ultron 在 b 站多个机器学习场景上的应用。

2021-05-26
张杨
行业案例
博客分享
深度用户
bilibili
Flink 和 Pulsar 的批流融合
Flink 和 Pulsar 的批流融合

作者:翟佳简介:StreamNative 联合创始人翟佳在本次演讲中介绍了下一代云原生消息流平台 Apache Pulsar,并讲解如何通过 Apache Pulsar 原生的存储计算分离的架构提供批流融合的基础,以及 Apache Pulsar 如何与 Flink 结合,实现批流一体的计算。

2021-05-24
翟佳
开发实践
pulsar
Flink 在有赞的实践和应用
Flink 在有赞的实践和应用

作者:沈磊简介:今天主要分享的内容是 Flink 在有赞的实践和应用。内容包括:Flink 支持的业务场景有风控,埋点的实时任务,支付,算法实时特征处理,BI 的实时看板,以及实时监控等等。目前的实时任务规模有 500+。

2021-05-21
沈磊
行业案例
开发实践
有赞
Flink 1.13 发布说明
Flink 1.13 发布说明

Flink 1.13 发布了!Flink 1.13 包括了超过 200 名贡献者所提交的 1000 多项修复和优化。这一版本中,Flink 的一个主要目标取得了重要进展,即让流处理应用的使用和普通应用一样简单和自然。Flink 1.13 新引入的被动扩缩容使得流作业的扩缩容和其它应用一样简单,用户仅需要修改并发度即可。

2021-05-19
Stephan EwenDawid Wysakowicz
版本公布
1.13
资料中心
Apache Flink在bilibili的多元化探索与实践
Apache Flink在bilibili的多元化探索与实践

简介:本文由 bilibili 大数据实时平台负责人郑志升分享,本次分享核心讲解万亿级传输分发架构的落地,以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。更多内容详见本次分享。本次分享主要围绕以下四个方面:

2021-05-13
郑志升
开发实践
深度用户
行业案例
bilibili
Flink 最佳实践之使用 Canal 同步 MySQL 数据至 TiDB
Flink 最佳实践之使用 Canal 同步 MySQL 数据至 TiDB

原文链接:https://asktug.com/t/topic/68731本文将介绍如何将 MySQL 中的数据,通过 Binlog + Canal 的形式导入到 Kafka 中,继而被 Flink 消费的案例。

2021-05-11
王天宜
开发实践
博客分享
TiDB
PyFlink 教程(二):PyFlink Table API - Python 自定义函数
PyFlink 教程(二):PyFlink Table API - Python 自定义函数

Python 自定义函数是 PyFlink Table API 中最重要的功能之一,其允许用户在 PyFlink Table API 中使用 Python 语言开发的自定义函数,极大地拓宽了 Python Table API 的使用范围。

2021-05-11
付典
专业教程
资料中心
pyflink
Flink 实时计算在微博的应用
Flink 实时计算在微博的应用

简介:微博机器学习研发中心数据计算负责人,高级系统工程师曹富强为大家带来 Flink 实时计算在微博的应用的介绍。内容包括微博的介绍,数据计算平台的介绍,以及 Flink 在数据计算平台的应用。本次给大家带来的分享是 Flink 实时计算在微博的应用。微博是中国领先的社交媒体平台,目前的日活跃用户是 2.41 亿,月活跃用户是 5.5 亿,其中移动用户占比超过了 94%。

2021-05-08
曹富强
行业案例
深度用户
经典场景
微博
百信银行基于ApacheHudi实时数据湖演进方案
百信银行基于ApacheHudi实时数据湖演进方案

本文介绍了百信银行实时计算平台的建设情况,介绍了实时数据湖构建在 Hudi 上的方案和实践方法,同时也对实时计算平台集成 Hudi 和使用 Hudi 的方式进行了简单的介绍。纲要:百信银行,全称为 “中信百信银行股份有限公司”,是首家获批独立法人形式的直销银行。作为首家国有控股的互联网银行,相比于传统金融行业,百信银行对数据敏捷性有更高的要求。

2021-05-06
胡申民
行业案例
经典场景
百信银行
hudi
Flink on Zeppelin 系列之:Yarn Application 模式支持
Flink on Zeppelin 系列之:Yarn Application 模式支持

作者:章剑锋(简锋)去年 Flink Forward 在讲 Flink on Zeppelin 这个项目的未来时我们谈到了对Application 模式的支持,今天就有一个好消息要告诉大家,社区已经实现了这一Feature,欢迎大家加入 Flink on Zeppelin 的钉钉群(32803524),下载最新版来使用这个Feature。

2021-04-29
章剑锋(简锋)
资料中心
专业教程
zeppelin
PyFlink 教程(一):如何从 0 到 1 开发 PyFlink API 作业
PyFlink 教程(一):如何从 0 到 1 开发 PyFlink API 作业

Apache Flink 作为当前最流行的流批统一的计算引擎,在实时 ETL、事件处理、数据分析、CEP、实时机器学习等领域都有着广泛的应用。从 Flink 1.9 开始,Apache Flink 社区开始在原有的 Java、Scala、SQL 等编程语言的基础之上,提供对于 Python 语言的支持。经过 Flink 1.9 ~ 1.12 以及即将发布的 1.13 版本的多个版本的开发,目前 PyFlink API 的功能已经日趋完善,可以满足绝大多数情况下 Python 用户的需求。接下来,我们以 Flink 1.12 为例,介绍如何使用 Python 语言,通过 PyFlink API 来开发 Flink 作业。

2021-04-26
付典
专业教程
资料中心
pyflink