工商银行实时大数据平台建设历程及展望
工商银行实时大数据平台建设历程及展望

本文整理自中国工商银行大数据平台负责人袁一在 Flink Forward Asia 2021 的分享。主要内容包括:工商银行从 2002 年开始建设数据集市,当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加,开始引入 TD、ED 等国外高端一体机。2014 年工行正式基于 Hadoop 技术建设了大数据平台,在其之上构建了企业级数据湖及数据仓库。2017 年,随着 AI 技术的兴起,又开始建设机器学习平台,2020 年开始建设数据中台和高时效类场景。

2022-01-20

从 Flink Forward Asia 2021,看 Flink 未来开启新篇章
从 Flink Forward Asia 2021,看 Flink 未来开启新篇章

作者:梅源(Yuan Mei)律回春晖渐,万象始更新,这句诗用来形容 2021 年的大数据领域再合适不过,而 Flink 在 2021 年也开启了新的篇章。2022 年 1 月 8-9 号,Flink Forward Asia (FFA) 线上峰会成功举行。Flink Forward Asia 是由 Apache 官方授权,Apache Flink 中文社区主持举办的会议。目前,Flink Forward Asia 已成为国内最大的 Apache 顶级项目会议之一,是 Flink 开发者和使用者的年度盛会。由于疫情原因,本届峰会仍采用线上直播的形式,峰会首日流量峰值 PV 20W+、UV 10W+;实时观看量峰值 4.5W+。直播页累计 PV 100W+、UV 30W+。在线上峰会的同时,FFA 还举办了首届以实时计算为主题的 Flink Hackathon,共有 267 支参赛队伍,最终 27 支队伍入围参与线下决赛。未来 Flink Hackathon 也会常态化举办,集思广益。

2022-01-19

Alink、Tensorflow on Flink 在京东的应用
Alink、Tensorflow on Flink 在京东的应用

本文整理自京东搜索推荐算法工程师刘露、京东搜索推荐算法工程师张颖在 Flink Forward Asia 2021 的分享。主要内容包括:搜索和推荐是互联网应用的两个核心入口,大多数流量都来自于搜索和推荐这两个场景。京东零售按站点,分为主站、京喜、海外站以及一些垂直领域站点。

2022-01-18

Pravega Flink Connector Table API 进阶功能探秘
Pravega Flink Connector Table API 进阶功能探秘

摘要:本文整理自戴尔科技集团软件工程师周煜敏在 Flink Forward Asia 2021 分享的议题《Pravega Flink Connector Table API 进阶功能探秘》,文章内容为:

2022-01-11

Flink CDC 系列 - Flink CDC 如何简化实时数据入湖入仓
Flink CDC 系列 - Flink CDC 如何简化实时数据入湖入仓

摘要:本文整理自伍翀 (云邪)、徐榜江 (雪尽) 在 Flink Forward Asia 2021 的分享,该分享以 5 个章节详细介绍如何使用 Flink CDC 来简化实时数据的入湖入仓, 文章的主要内容如下:

2022-01-10

Flink 大规模作业调度性能优化
Flink 大规模作业调度性能优化

本文作者洪志龙(柏星)& 朱翥(长耕),分享了如何在 Flink 1.13 版本和 1.14 版本中对 Flink 调度大规模作业的性能进行了优化。主要内容包括:随着 Flink 流批一体架构不断演进和升级,越来越多的用户开始选择用 Flink 来同时承载实时和离线的业务。离线业务和实时业务有一定差异性,其中比较关键的一点是 —— 离线作业的规模通常都远远大于实时作业。超大规模的流批作业对 Flink 的调度性能提出了新的挑战。在基于 Flink 1.12 版本部署大规模流批作业时,用户可能会遇到以下瓶颈:

2022-01-09

Apache Flink 不止于计算,数仓架构或兴起新一轮变革
Apache Flink 不止于计算,数仓架构或兴起新一轮变革

作者 | 蔡芳芳采访嘉宾 | 王峰(莫问) 维基百科的 “Apache Flink” 词条下,有这么一句描述:“Flink 并不提供自己的数据存储系统,但为 Amazon Kinesis、Apache Kafka、Alluxio、HDFS、Apache Cassandra 和 Elasticsearch 等系统提供了数据源和接收器”,很快,这句话的前半句或许将不再适用。

2022-01-08

Apache Flink ML 2.0.0 发布公告
Apache Flink ML 2.0.0 发布公告

来源 | Apache Flink 官方博客翻译 | 林东,云骞Apache Flink 社区很荣幸地宣布 Apache Flink ML 2.0.0 版本正式发布!Flink ML 提供了算法接口以及基础类,以支持开发具有高易用性,高性能,低延迟的机器学习算法库。

2022-01-07

最佳实践
最新公告
1月8 日
【活动】Flink Forward Asia 2021

FFA 2021 视频回放 & 演讲 PDF 获取

1月10 日
【PDF】Pravega x Flink 白皮书下载

基于 Pravega 和 Apache Flink 构建数据库实时同步

propaganda
社区合作伙伴
Why learning Apache Flink™Apache Flink 为用户提供了更强大的计算能力和更易用的编程接口
批流统一批流统一Runtime 和 SQL 层批流统一,提供强大的 SQL 支持。
生态兼容生态兼容与 Yarn / Kubernetes 集成,支持单机模式运行。
性能卓越性能卓越提供高吞吐、低时延的批处理与流处理支持。
规模计算规模计算水平扩展架构、支持超大状态与增量检查点机制。
  • 关注
    • qr_code

      微信公众号

      最新前沿最热资讯

    • qr_code

      技术支持钉钉群

      时时刻刻得到帮助

  • TOP