Flink 和 Prometheus:流式应用程序的云原生监控

Flink 和 Prometheus:流式应用程序的云原生监控
作者:
整理: 陆离
Via:https://flink.apache.org/features/2019/03/11/prometheus-monitoring.html本文将解析开发者如何将 Apache Flink 内置的 Metrics 系统与 Prometheus 结合来有效的观测和监控流式应用程序,文章将从 Prometheus 的基本概念,适合于监控 Apache Flink 的流处理作业的原因进行说明,并通过实例讲解如何利用 Prometheus 深入了解应用程序,对 Flink 作业的潜在问题作出告警
#技术探索#深入解读

Flink 和 Prometheus:流式应用程序的云原生监控

整理: 陆离

Via:https://flink.apache.org/features/2019/03/11/prometheus-monitoring.html本文将解析开发者如何将 Apache Flink 内置的 Metrics 系统与 Prometheus 结合来有效的观测和监控流式应用程序,文章将从 Prometheus 的基本概念,适合于监控 Apache Flink 的流处理作业的原因进行说明,并通过实例讲解如何利用 Prometheus 深入了解应用程序,对 Flink 作业的潜在问题作出告警

Via:https://flink.apache.org/features/2019/03/11/prometheus-monitoring.html

本文将解析开发者如何将 Apache Flink 内置的 Metrics 系统与 Prometheus 结合来有效的观测和监控流式应用程序,文章将从 Prometheus 的基本概念,适合于监控 Apache Flink 的流处理作业的原因进行说明,并通过实例讲解如何利用 Prometheus 深入了解应用程序,对 Flink 作业的潜在问题作出告警

为什么选择 Prometheus?

Prometheus 是一个基于指标的监测系统,最初创建于 2012 年,它是完全开源的(Apache License 2),并且背后有着一个活跃的技术社区支持,去年从云原生基金会毕业,这标志着产品的成熟、稳定和生产可用。Prometheus 系统是基于度量指标的,被设计用来衡量服务的整体健康状况、行为和性能。Prometheus 具备多维的数据模型和灵活的查询语言,并且是为可靠性而设计的,可以很容易地部署在传统的或容器化的环境之中。以下是它所涉及到的一些重要概念:

  • Metrics: Prometheus 将 Metrics 定义为随时间变化的信息流,这些时间序列具有毫秒级的精确度;
  • Labels:是与支持 Prometheus 的数据模型的时间序列相关联的键值对,这与传统的度量系统可能遇到的分层数据结构不太相同;
  • Scrape: Prometheus 是一个基于“拉取”的系统,它从指定的数据源中主动获取(“scrapes”)度量数据,这些数据源以基于文本的格式在 HTTP 协议的地址上进行暴露;
  • PromQL:是 Prometheus 的查询语言,它既可用于创建仪表盘,也可用于设置在满足特定条件时触发的告警规则;

当 Flink 作业需要考虑度量指标和监控系统时,其实有很多选择。Flink 提供了原生支持,通过 PrometheusReporter 功能向 Prometheus 公开数据,配置这个功能非常的简单。

通常来说,Flink 作业不是独立运行的,而是在一个很大的微服务环境中运行的,因此 Prometheus 是一个很好的选择。为了让 Prometheus 能够从其他更广泛的系统中获得度量指标,这里提供两种选择:支持所有主要语言的库,以应用于其它语言开发的应用程序。此外,还有一系列各种各样的输出器,是将第三方系统公开的度量指标(如数据库或者 Apache Kafka)作为 Prometheus 的度量指标。

这里提供了一个 Github 库,演示了上面所描述的整合过程。想要查看的话,先要克隆一个库,并确保环境中安装并运行了 Docker 容器:

./gradlew composeUp

首先利用工具 Gradle 创建一个 Flink 作业,并基于 Docker Compose 启动一个本地的环境,Docker Compose 启动一个运行在 Flink 作业集群(可在http://localhost:8081上访问)中的作业和一个 Prometheus 实例(http://localhost:9090)。

null示例作业 Web界面中的作业曲线图和自定义的度量指标

PrometheusExampleJob 包括三个 operator,一个是生成多达 10000 个随机数,然后是一个 map 会对事件进行计数,并且创建一个值传递的柱状图。最后一个,会丢弃这些事件,不做进一步的输出。下边显示了一些简单的代码,来自于第二个操作,把与业务逻辑相关的定制度量指标添加到 Flink 作业中,这是非常简单的事情。

class FlinkMetricsExposingMapFunction extends RichMapFunction<Integer, Integer> {
  private transient Counter eventCounter;

  @Override
  public void open(Configuration parameters) {
    eventCounter = getRuntimeContext().getMetricGroup().counter("events");
  }

  @Override
  public Integer map(Integer value) {
    eventCounter.inc();
    return value;
  }
}

上述代码从 FlinkMetricsExposingMapFunction.java 文件中摘录的,演示了自定义的 Flink 度量指标。

开始用 Prometheus 监控 Flink 时候,必须要执行以下的步骤:

1. 首先让 PrometheusReporter 的 jar 文件放在 Flink 集群的安装路径里(jar 包是随 Flink 一起发布的);

cp/opt/flink/opt/flink-metrics-prometheus-1.7.2.jar /opt/flink/lib

2. 在 Flink 的 flink-conf.yaml 文件中配置报告(reporter)参数。所有的作业管理器和任务管理器都将公开已配置端口的度量指标;

 metrics.reporters: prom
 metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter
 metrics.reporter.prom.port: 9999

3. Prometheus 需要知道从哪里获取到度量指标。在一个静态的场景中,只需在 prometheus.yml 文件中配置 Prometheus,请看下面的代码:

scrape_configs:
- job_name: 'flink'
  static_configs:
  - targets: ['job-cluster:9999', 'taskmanager1:9999','taskmanager2:9999']

在一些动态的场景中,我们建议使用 Prometheus 提供给不同平台(如Kubernetes、AWS EC2 等等)的服务发现支持机制。

Prometheus 现在有两个自定义的度量指标,见下图:

nullPrometheus web UI 中的度量指标实例

Flink 集群还提供了更多的技术度量指标(如检查点大小或持续时间、Kafka offset或资源消耗机制)。如果你感兴趣的话,可以查看所有作业管理器和两个任务管理器的 Prometheus 度量指标,它们分别在 http://localhost:9249、http://localhost:9250http://localhost:9251 上显示。

要测试 Prometheus 的告警功能,通过执行如下的命令:

docker killtaskmanager1

我们的 Flink 作业可以通过检查点机制快速地从局部的失败中恢复。不过,大约在一分钟之后(如果告警规则中配置过了),下图中的告警将会被触发:

nullPrometheus web UI的报警示例.

在实际情况下,这样的告警可以通过一个名为 Alertmanager 的组件进行路由,并在分类之后发送到给系统的通知里,如电子邮件、PagerDuty 或 Slack 等。

继续使用这个设置,并查看 http://localhost:3000(权限:*admin/flink*)上的 Grafana 实例,来可视化 Prometheus 的度量指标。如果有任何问题或建议,请随时在 Github 上留言。最后,不要忘记执行以下的命令以结束演示:

./gradlewcomposeDown

结论

将 Prometheus 和 Flink 结合使用,可以为有效的监测和预警 Flink 作业提供一种简洁的方法。这两个技术背后都有着非常活跃的社区,并在即将发布的版本里做了完善以及添加了新的功能。我们鼓励大家一起尝试着使用这两项技术,这可以极大地促进大家对在生产中运行的 Flink 作业的了解。


欢迎转载,敬请在正文中标注并保留文章来源、原文链接、作者/译者等信息。

Apache Flink 在 eBay 监控系统上的实践和应用
  • 关注
    • qr_code

      微信公众号

      最新前沿最热资讯

    • qr_code

      技术支持钉钉群

      时时刻刻得到帮助

  • TOP