基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与实现

基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与实现

作者:李辉在伴鱼发展早期,出现了一系列实时性相关的需求,比如算法工程师期望可以拿到用户的实时特征数据做实时推荐,产品经理希望数据方可以提供实时指标看板做实时运营分析。这个阶段中台数据开发工程师主要是基于 Spark 实时计算引擎开发作业来满足业务方提出的需求。然而这类作业并没有统一的平台进行管理,任务的开发形式、提交方式、可用性保障等也完全因人而异。

2021-06-10
PyFlink 教程(三):PyFlink DataStream API - state & timer

PyFlink 教程(三):PyFlink DataStream API - state & timer

Flink 1.13 已于近期正式发布,超过 200 名贡献者参与了 Flink 1.13 的开发,提交了超过 1000 个 commits,完成了若干重要功能。其中,PyFlink 模块在该版本中也新增了若干重要功能,比如支持了 state、自定义 window、row-based operation 等。随着这些功能的引入,PyFlink 功能已经日趋完善,用户可以使用 Python 语言完成绝大多数类型Flink作业的开发。接下来,我们详细介绍如何在 Python DataStream API 中使用 state & timer 功能。

2021-06-07
汽车之家:基于 Flink + Iceberg 的湖仓一体架构实践

汽车之家:基于 Flink + Iceberg 的湖仓一体架构实践

作者:邸星星@汽车之家内容简要:一、数据仓库架构升级的背景二、基于 Iceberg 的湖仓一体架构实践三、总结与收益四、后续规划原有的数据仓库完全基于 Hive 建造而成,主要存在三大痛点:痛点一:不支持 ACID

2021-06-07
Flink + Iceberg 在去哪儿的实时数仓实践

Flink + Iceberg 在去哪儿的实时数仓实践

作者:余东@去哪儿摘要: 本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括:我们在使用 Flink 做实时数仓以及数据传输过程中,遇到了一些问题:比如 Kafka 数据丢失,Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了这些业务场景碰到的问题。对比 Kafka 来说,Iceberg 在某些特定场景有自己的优势,在此我们做了一些基于 Iceberg 的实践分享。

2021-05-31
【干货篇】bilibili:基于flink的机器学习工作流平台在b站的应用

【干货篇】bilibili:基于flink的机器学习工作流平台在b站的应用

转载自:AICUG人工智能社区分享嘉宾:张杨,B 站资深开发工程师导读:整个机器学习的过程,从数据上报、到特征计算、到模型训练、再到线上部署、最终效果评估,整个流程非常冗长。在 b 站,多个团队都会搭建自己的机器学习链路,来完成各自的机器学习需求,工程效率和数据质量都难以保证。于是我们基于 Flink 社区的 aiflow 项目,构建了整套机器学习的标准工作流平台,加速机器学习流程构建,提升多个场景的数据实效和准确性。本次分享将介绍 b 站的机器学习工作流平台 ultron 在 b 站多个机器学习场景上的应用。

2021-05-26
Flink 和 Pulsar 的批流融合

Flink 和 Pulsar 的批流融合

作者:翟佳简介:StreamNative 联合创始人翟佳在本次演讲中介绍了下一代云原生消息流平台 Apache Pulsar,并讲解如何通过 Apache Pulsar 原生的存储计算分离的架构提供批流融合的基础,以及 Apache Pulsar 如何与 Flink 结合,实现批流一体的计算。

2021-05-24
Flink 在有赞的实践和应用

Flink 在有赞的实践和应用

作者:沈磊简介:今天主要分享的内容是 Flink 在有赞的实践和应用。内容包括:Flink 支持的业务场景有风控,埋点的实时任务,支付,算法实时特征处理,BI 的实时看板,以及实时监控等等。目前的实时任务规模有 500+。

2021-05-21
Flink 1.13 发布说明

Flink 1.13 发布说明

Flink 1.13 发布了!Flink 1.13 包括了超过 200 名贡献者所提交的 1000 多项修复和优化。这一版本中,Flink 的一个主要目标取得了重要进展,即让流处理应用的使用和普通应用一样简单和自然。Flink 1.13 新引入的被动扩缩容使得流作业的扩缩容和其它应用一样简单,用户仅需要修改并发度即可。

2021-05-19
最新公告
5月19 日
Apache Flink 1.13 正式发布

Flink 1.13.0 版本让流处理应用的使用像普通一样自然,并且让永不可以更好地理解流计算的性能

5月13 日
Apache Flink Meetup 北京站

5月22日,北京站 Meetup不见不散

Why learning Apache Flink™
Apache Flink 为用户提供了更强大的计算能力和更易用的编程接口
批流统一批流统一Runtime 和 SQL 层批流统一,提供强大的 SQL 支持。
生态兼容生态兼容与 Yarn / Mesos / Kubernetes 集成,支持单机模式运行。
性能卓越性能卓越提供高吞吐、低时延的批处理与流处理支持。
规模计算规模计算水平扩展架构、支持超大状态与增量检查点机制。