作业帮基于 Flink 的实时计算平台实践
作业帮基于 Flink 的实时计算平台实践

摘要:本文整理自作业帮实时计算负责人张迎在 Flink Forward Asia 2021 的分享。在作业帮实时计算演进过程中,Flink 起到了重要的作用,特别是借助于 FlinkSQL 极大的提高了实时任务的开发效率。这篇文章主要分享 FlinkSQL 在作业帮的使用情况、实践经验,以及随着任务规模增长,在从 0 到 1 搭建实时计算平台的过程中遇到的问题及解决方案。内容包括:

2022-01-25

行业先锋畅聊 Flink 未来 —— FFA 2021 圆桌会议(北京)
行业先锋畅聊 Flink 未来 —— FFA 2021 圆桌会议(北京)

摘要:1 月 8 日,Flink Forward Asia 2021 邀请到了几位国内外顶尖科技公司实时计算方向的负责人,举办了两场圆桌分享。本文为大家带来北京场题为《行业先锋畅聊 Flink 未来》的圆桌分享的精彩内容。本场圆桌主要讨论了三个话题:

2022-01-24

工商银行实时大数据平台建设历程及展望
工商银行实时大数据平台建设历程及展望

本文整理自中国工商银行大数据平台负责人袁一在 Flink Forward Asia 2021 的分享。主要内容包括:点击查看原文视频工商银行从 2002 年开始建设数据集市,当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加,开始引入 TD、ED 等国外高端一体机。2014 年工行正式基于 Hadoop 技术建设了大数据平台,在其之上构建了企业级数据湖及数据仓库。2017 年,随着 AI 技术的兴起,又开始建设机器学习平台,2020 年开始建设数据中台和高时效类场景。

2022-01-20

从 Flink Forward Asia 2021,看 Flink 未来开启新篇章
从 Flink Forward Asia 2021,看 Flink 未来开启新篇章

作者:梅源(Yuan Mei)点击查看原文视频律回春晖渐,万象始更新,这句诗用来形容 2021 年的大数据领域再合适不过,而 Flink 在 2021 年也开启了新的篇章。2022 年 1 月 8-9 号,Flink Forward Asia (FFA) 线上峰会成功举行。Flink Forward Asia 是由 Apache 官方授权,Apache Flink 中文社区主持举办的会议。目前,Flink Forward Asia 已成为国内最大的 Apache 顶级项目会议之一,是 Flink 开发者和使用者的年度盛会。由于疫情原因,本届峰会仍采用线上直播的形式,峰会首日流量峰值 PV 20W+、UV 10W+;实时观看量峰值 4.5W+。直播页累计 PV 100W+、UV 30W+。在线上峰会的同时,FFA 还举办了首届以实时计算为主题的 Flink Hackathon,共有 267 支参赛队伍,最终 27 支队伍入围参与线下决赛。未来 Flink Hackathon 也会常态化举办,集思广益。

2022-01-19

Alink、Tensorflow on Flink 在京东的应用
Alink、Tensorflow on Flink 在京东的应用

本文整理自京东搜索推荐算法工程师刘露、京东搜索推荐算法工程师张颖在 Flink Forward Asia 2021 的分享。主要内容包括:点击查看原文视频搜索和推荐是互联网应用的两个核心入口,大多数流量都来自于搜索和推荐这两个场景。京东零售按站点,分为主站、京喜、海外站以及一些垂直领域站点。

2022-01-18

Pravega Flink Connector Table API 进阶功能探秘
Pravega Flink Connector Table API 进阶功能探秘

摘要:本文整理自戴尔科技集团软件工程师周煜敏在 Flink Forward Asia 2021 分享的议题《Pravega Flink Connector Table API 进阶功能探秘》,文章内容为:

2022-01-11

Flink CDC 系列 - Flink CDC 如何简化实时数据入湖入仓
Flink CDC 系列 - Flink CDC 如何简化实时数据入湖入仓

摘要:本文整理自伍翀 (云邪)、徐榜江 (雪尽) 在 Flink Forward Asia 2021 的分享,该分享以 5 个章节详细介绍如何使用 Flink CDC 来简化实时数据的入湖入仓, 文章的主要内容如下:

2022-01-10

Flink 大规模作业调度性能优化
Flink 大规模作业调度性能优化

本文作者洪志龙(柏星)& 朱翥(长耕),分享了如何在 Flink 1.13 版本和 1.14 版本中对 Flink 调度大规模作业的性能进行了优化。主要内容包括:随着 Flink 流批一体架构不断演进和升级,越来越多的用户开始选择用 Flink 来同时承载实时和离线的业务。离线业务和实时业务有一定差异性,其中比较关键的一点是 —— 离线作业的规模通常都远远大于实时作业。超大规模的流批作业对 Flink 的调度性能提出了新的挑战。在基于 Flink 1.12 版本部署大规模流批作业时,用户可能会遇到以下瓶颈:

2022-01-09

最佳实践
最新公告
1月8 日
【活动】Flink Forward Asia 2021

FFA 2021 视频回放 & 演讲 PDF 获取

1月10 日
【PDF】Pravega x Flink 白皮书下载

基于 Pravega 和 Apache Flink 构建数据库实时同步

propaganda
社区合作伙伴
Why learning Apache Flink™Apache Flink 为用户提供了更强大的计算能力和更易用的编程接口
批流统一批流统一Runtime 和 SQL 层批流统一,提供强大的 SQL 支持。
生态兼容生态兼容与 Yarn / Kubernetes 集成,支持单机模式运行。
性能卓越性能卓越提供高吞吐、低时延的批处理与流处理支持。
规模计算规模计算水平扩展架构、支持超大状态与增量检查点机制。
  • 关注
    • qr_code

      微信公众号

      最新前沿最热资讯

    • qr_code

      技术支持钉钉群

      时时刻刻得到帮助

  • TOP