Apache Flink 在唯品会的实践
Apache Flink 在唯品会的实践

本文来自于王新春在2018年7月29日 Flink China社区线下 Meetup·上海站的分享。王新春目前在唯品会负责实时平台相关内容,主要包括实时计算框架和提供实时基础数据,以及机器学习平台的工作。之前在美团点评,也是负责大数据平台工作。他已经在大数据实时处理方向积累了丰富的工作经验。

Apache Flink 靠什么征服饿了么工程师?
Apache Flink 靠什么征服饿了么工程师?

下面是目前饿了么平台现状架构图:来源于多个数据源的数据写到 kafka 里,计算引擎主要是 Storm , Spark 和 Flink,计算引擎出来的结果数据再落地到各种存储上。目前 Storm 任务大概有100多个,Spark任务有50个左右,Flink暂时还比较少。

携程基于 Apache Flink 的实时特征平台
携程基于 Apache Flink 的实时特征平台

本文来自7月26日在上海举行的 Flink Meetup 会议,分享来自于刘康,目前在大数据平台部从事模型生命周期相关平台开发,现在主要负责基于flink开发实时模型特征计算平台。熟悉分布式计算,在模型部署及运维方面有丰富实战经验和深入的理解,对模型的算法及训练有一定的了解。

Flink 实时计算性能分析
Flink 实时计算性能分析

本文从数据传输和数据可靠性的角度出发,对比测试了Storm与Flink在流处理上的性能,并对测试结果进行分析,给出在使用Flink时提高性能的建议。Apache Storm、Apache Spark和Apache Flink都是开源社区中非常活跃的分布式计算平台,在很多公司可能同时使用着其中两种甚至三种。对于实时计算来说,Storm与Flink的底层计算引擎是基于流的,本质上是一条一条的数据进行处理,且处理的模式是流水线模式,即所有的处理进程同时存在,数据在这些进程之间流动处理。而Spark是基于批量数据的处理,即一小批一小批的数据进行处理,且处理的逻辑在一批数据准备好之后才会进行计算。在本文中,我们把同样基于流处理的Storm和Flink拿来做对比测试分析。

Spark VS Flink 下一代大数据计算引擎之争,谁主浮沉(上)
Spark VS Flink 下一代大数据计算引擎之争,谁主浮沉(上)

自从数据处理需求超过了传统数据库能有效处理的数据量之后,Hadoop等各种基于MapReduce的海量数据处理系统应运而生。从2004年Google发表MapReduce论文开始,经过近10年的发展,基于Hadoop开源生态或者其它相应系统的海量数据处理已经成为业界的基本需求。

Apache Flink – 重新定义计算
Apache Flink – 重新定义计算

本文整理自 Flink Forward China 2018 大会上蒋晓伟老师的主题演讲《Apache Flink – Redefine Computation》阿里巴巴有着世界上最大的电商平台,我们的平台有着海量的数据,总数据量上有数以EB,并且这个数据量每天在以数以PB的数量级在快速地增长,我们的平台每天产生数万亿条消息,在最高峰需要每秒钟处理数十亿条事件。今天我就给大家分享一下,在阿里巴巴我们是如何利用Flink来处理这海量的数据?我们先从流计算开始讲起。

  • 关注
    • qr_code

      微信公众号

      最新前沿最热资讯

    • qr_code

      技术支持钉钉群

      时时刻刻得到帮助

  • TOP