一行配置作业性能提升53%!Flink SQL 性能之旅 一行配置作业性能提升53%!Flink SQL 性能之旅 最近,我们用 SQL 查询做了一些实验,这个查询关联了一些维表的丰富原始记录。同时,我们也考虑如果使用 DataStream API 实现相同的任务,是否能够从现有机器中激发出更多的性能。在本文中,我们想带你一起看看这是否有可能发生,以及如何实现?我们还会为不同于 PoC 代码的作业提供进一步的提示,并对未来的工作进行展望。
一套 SQL 搞定数据仓库?Flink 有了新尝试 一套 SQL 搞定数据仓库?Flink 有了新尝试 数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务,也是“数据智能”建设的基础环节。迅速获取数据反馈不仅有利于改善产品及用户体验,更有利于公司的科学决策,因此获取数据的实时性尤为重要。
Demo:基于 Flink SQL 构建流式应用 Demo:基于 Flink SQL 构建流式应用 云邪在 Flink 中文社区钉钉群中直播分享了《Demo:基于 Flink SQL 构建流式应用》,直播内容偏向实战演示。这篇文章是对直播内容的一个总结,并且改善了部分内容,比如除 Flink 外其他组件全部采用 Docker Compose 安装,简化准备流程。读者也可以结合视频和本文一起学习。
Flink Batch SQL 1.10 实践 Flink Batch SQL 1.10 实践 Flink 作为流批统一的计算框架,在 1.10 中完成了大量 batch 相关的增强与改进。1.10 可以说是第一个成熟的生产可用的 Flink Batch SQL 版本,它一扫之前 Dataset 的羸弱,从功能和性能上都有大幅改进,以下我从架构、外部系统集成、实践三个方面进行阐述。
Flink SQL 如何实现数据流的 Join? Flink SQL 如何实现数据流的 Join? 无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言,经过数据库领域多年的积累,Join 语义以及实现已经十分成熟,然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。
Flink 原理与实现:Table & SQL API Flink 原理与实现:Table & SQL API Flink 已经拥有了强大的 DataStream/DataSet API,可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢?
Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL 本文衍生于伍翀(云邪)在2019年8月31日 「Apache Kafka × Apache Flink Meetup 深圳站」上的分享《Flink SQL 1.9.0 技术内幕和最佳实践》。会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。
Apache Flink 零基础入门(九):Flink SQL 编程实践 Apache Flink 零基础入门(九):Flink SQL 编程实践 本文带大家使用 Docker Compose 快速上手 Flink SQL 的编程,并对比 Window Aggregate 和 Group Aggregate 的区别,以及这两种类型的作业如何写入到 外部系统中。感兴趣的同学,可以基于这个 Docker 环境更加深入地去实践,例如运行自己写的 UDF , UDTF, UDAF。查询内置地其他源表等等。
Apache Flink SQL概览 Apache Flink SQL概览 本篇核心目标是让大家概要了解一个完整的Apache Flink SQL Job的组成部分,以及Apache Flink SQL所提供的核心算子的语义,最后会应用Tumble Window编写一个End-to-End的页面访问的统计示例。
Apache Flink®流式 SQL – 回首2018 Apache Flink®流式 SQL – 回首2018 为何选择 SQL流式 SQL 面临的挑战 Flink 流式 SQL 提供的多种 Join 模式识别