flink实战--REST API与metrics监控

最新推荐文章于 2025-03-03 22:52:45 发布
最新推荐文章于 2025-03-03 22:52:45 发布
阅读量2.5k 收藏 4
点赞数
原文链接：https://blog.youkuaiyun.com/aA518189/article/details/88952910
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.youkuaiyun.com/aA518189/article/details/88952910 
                </div>
                                                
                                    
            <div class="htmledit_views" id="content_views">
                                        <h1><a name="t0"></a><a></a>Flink metrics简介</h1>

          Flink的metrics是Flink公开的一个度量系统，允许收集flink程序的公开指标到外部系统，我们也可以自定义指标通过metric收集，实际开发时经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文将详细介绍如何通过metric监控flink程序，自定义监控指标以及metrics在flink的UI界面的应用。

 metrics在UI页面上的应用

          在flink的UI的界面上我们点击任务详情，然后点击Task Metrics会弹出如下的界面，在 add metic按钮上 我们可以添加我需要的监控指标。

注意：如果点击Task Metrics没有显示Add metics 点击一下任务的DAG图就会显示出来，当我们点击了DAG图中某个算子的名字，那么Add  metric显示的就是该算子的监控指标，且按照分区显示，算子名前置的数字就是分区号。

各个指标的含义

          关于各个指标的含义官网上有详细介绍：https://ci.apache.org/projects/flink/flink-docs-release-1.7/monitoring/metrics.html#availability

自定义监控指标

案例：在map算子内计算输入的总数据

设置MetricGroup为：flink_test_metric

指标变量为：mapDataNub

代码：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     DataStream<
     
     String> userData = kafkaData.
     
     map(new 
     
     RichMapFunction<
     
     String, 
     
     String>() {
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     Counter mapDataNub;
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 @
     
     Override
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     public void 
     
     open(
     
     Configuration parameters) 
     
     throws 
     
     Exception {
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                     mapDataNub=  getRuntimeContext()
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                            .getMetricGroup()
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                            .addGroup(
     
     "flink_test_metric")
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                            .counter(
     
     "mapDataNub");
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 }
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 @
     
     Override
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     public 
     
     String 
     
     map(
     
     String s)  {
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                    
     
     String s1 =
     
     "";
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                    
     
     try {
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     String[] 
     
     split = s.
     
     split(
     
     ",");
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                         long userID = 
     
     Long.parseLong(
     
     split[
     
     0]);
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                         long itemId = 
     
     Long.parseLong(
     
     split[
     
     1]);
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                         long categoryId = 
     
     Long.parseLong(
     
     split[
     
     2]);
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     String behavior = 
     
     split[
     
     3];
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                         long timestamp = 
     
     Long.parseLong(
     
     split[
     
     4]);
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     Map 
     
     map = new 
     
     HashMap();
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     map.put(
     
     "userID", userID);
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     map.put(
     
     "itemId", itemId);
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     map.put(
     
     "categoryId", categoryId);
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     map.put(
     
     "behavior", behavior);
    
    
    
   
   
  25. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     map.put(
     
     "timestamp", timestamp);
    
    
    
   
   
  26. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                         s1 = 
     
     JSON.toJSONString(
     
     map);
    
    
    
   
   
  27. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                         mapDataNub.inc();
    
    
    
   
   
  28. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     System.out.
     
     println(
     
     "数据"+
     
     map.
     
     toString());
    
    
    
   
   
  29. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                     } 
     
     catch (
     
     NumberFormatException e) {
    
    
    
   
   
  30. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                         e.printStackTrace();
    
    
    
   
   
  31. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                     }
    
    
    
   
   
  32. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                    
     
     return  s1;
    
    
    
   
   
  33. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 }
    
    
    
   
   
  34. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   

 
 

 
 
  • 1

程序启动之后就可以在任务的ui界面上查看

注意点：

1.搜索自定义或者查看某个指标需要点击DAG图中对应算子的名称

2.指标的前缀0，1，2....是指算子的分区数

flink metric监控程序

        前面介绍了flink公共的监控指标以及如何自定义监控指标，那么实际开发flink任务我们需要及时知道这些监控指标的数据，去获取程序的健康值以及状态。这时候就需要我们通过 flink REST API ，自己编写监控程序去获取这些指标。很简单，当我们知道每个指标请求的URL,我们便可以编写程序通过http请求获取指标的监控数据。

flink REST API监控程序 

      为了获取flink任务运行状态和吞吐量我们需要注意一下两点：

  1.   flink集群模式需要知道 JobManager 的地址和端口（5004）
  2.   对于 flink on yarn 模式来说，则需要知道 RM 代理的 JobManager UI 地址,例如 http://yarn-resource-manager-ui/proxy/application_155316436xxxx_xxxx

1.获取flink任务运行状态(我们可以在浏览器进行测试，输入如下的连接)

 http://yarn-resource-manager-ui/proxy/application_155316436xxxx_xxxx/jobs
 
 

 
 
  • 1

返回的结果


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     {
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     jobs: [{
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			id: 
     
     "ce793f18efab10127f0626a37ff4b4d4",
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			status: 
     
     "RUNNING"
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		}
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	]
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     }
    
    
    
   
   

 
 

 
 
  • 1

2.获取 job 详情

       需要在/jobs/jobid

 http://yarn-resource-manager-ui/proxy/application_155316436xxxx_xxxx/jobs/ce793f18efab10127f0626a37ff4b4d4

 
 

 
 
  • 1
  • 2

 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     {
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     jid: 
     
     "ce793f18efab10127f0626a37ff4b4d4",
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	name: 
     
     "Test",
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	isStoppable: false,
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	state: 
     
     "RUNNING",
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	start - time: 
     
     1551577191874,
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	end - time: -
     
     1,
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	duration: 
     
     295120489,
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	now: 
     
     1551872312363,
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	。。。。。。
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           此处省略n行
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         。。。。。。
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			}, {
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     id: 
     
     "cbc357ccb763df2852fee8c4fc7d55f2",
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				parallelism: 
     
     12,
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				operator: 
     
     "",
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				operator_strategy: 
     
     "",
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				description: 
     
     "Source: Custom Source -&gt; Flat Map",
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				optimizer_properties: {}
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			}
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		]
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	}
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     }
    
    
    
   
   

 
 

 
 
  • 1

更灵活的方式获取每个指标的请求连接

            有人可能会问，这么多指标，难道我要把每个指标的请求的URL格式都记住吗？今天教大家一个小技巧，一个前端技术，就是进入flink任务的UI界面，按住F12进入开发者模式，然后我们点击任意一个metric指标,便能立即看到每个指标的请求的URL。比如获取flink任务的背压情况：

   如下图我们点击某一个task的status，按一下f12，便看到了backpressue,点开backpressue就是获取任务背压情况的连接如下：

http://127.0.0.1/proxy/application_12423523_133234/jobs/86eb310874aeccb37b58ae2892feced3/vertices/cbc357ccb763df2852fee8c4fc7d55f2/backpressure
 
 

 
 
  • 1

请求连接返回的json字符串如下：我们可以获取每一个分区的背压情况，如果不是OK状态便可以进行任务报警，其他的指标获取监控值都可以这样获取 简单而又便捷。

案例：实时获取yarn上flink任务运行状态

          我们使用 flink REST API的方式，通过http请求实时获取flink任务状态，不是RUNNING状态则进行电话或邮件报警，达到实时监控的效果。


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     public 
     
     class SendGet {
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         public 
     
     static 
     
     String sendGet(
     
     String url) {
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     String result = 
     
     "";
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             BufferedReader 
     
     in = 
     
     null;
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     try {
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     String urlNameString = url;
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 URL realUrl = 
     
     new URL(urlNameString);
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     // 打开和URL之间的连接
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 URLConnection connection = realUrl.openConnection();
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     // 设置通用的请求属性
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 connection.setRequestProperty(
     
     "accept", 
     
     "*/*");
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 connection.setRequestProperty(
     
     "connection", 
     
     "Keep-Alive");
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 connection.setRequestProperty(
     
     "user-agent",
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     // 建立实际的连接
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 connection.connect();
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     in = 
     
     new BufferedReader(
     
     new InputStreamReader(
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                         connection.getInputStream()));
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     String line;
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     while ((line = 
     
     in.readLine()) != 
     
     null) {
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                     result += line;
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 }
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             } 
     
     catch (Exception e) {
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 System.out.println(
     
     "发送GET请求出现异常！" + e);
    
    
    
   
   
  25. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 e.printStackTrace();
    
    
    
   
   
  26. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             }
    
    
    
   
   
  27. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     // 使用finally块来关闭输入流
    
    
    
   
   
  28. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     finally {
    
    
    
   
   
  29. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                
     
     try {
    
    
    
   
   
  30. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                    
     
     if (
     
     in != 
     
     null) {
    
    
    
   
   
  31. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
                        
     
     in.close();
    
    
    
   
   
  32. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                     }
    
    
    
   
   
  33. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 } 
     
     catch (Exception e2) {
    
    
    
   
   
  34. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                     e2.printStackTrace();
    
    
    
   
   
  35. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
                 }
    
    
    
   
   
  36. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             }
    
    
    
   
   
  37. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     return result;
    
    
    
   
   
  38. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         }
    
    
    
   
   
  39. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  40. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         public 
     
     static 
     
     void main(
     
     String[] args) {
    
    
    
   
   
  41. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     String s = sendGet(
     
     "http://127.0.0.1:5004/proxy/application_1231435364565_0350/jobs");
    
    
    
   
   
  42. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             JSONObject jsonObject = 
     
     JSON.parseObject(s);
    
    
    
   
   
  43. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     String string = jsonObject.getString(
     
     "jobs");
    
    
    
   
   
  44. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     String substring = string.substring(
     
     1, string.length() - 
     
     1);
    
    
    
   
   
  45. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             JSONObject jsonObject1 = JSONObject.parseObject(substring);
    
    
    
   
   
  46. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     String status = jsonObject1.getString(
     
     "status");
    
    
    
   
   
  47. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             System.out.println(status);
    
    
    
   
   
  48. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         }
    
    
    
   
   
  49. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     }
    
    
    
   
   

 
 

 
 
  • 1

结果

扫一扫加入大数据技术交流群，了解更多大数据技术，还有免费资料等你哦

扫一扫加入大数据技术交流群，了解更多大数据技术，还有免费资料等你哦

扫一扫加入大数据技术交流群，了解更多大数据技术，还有免费资料等你哦

                                </div>
niancuan7054
关注
flink实战--metrics监控与rest api
阿华田的博客
05-24 1万+
Flink metrics简介 Flink的metrics是Flink公开的一个度量系统，允许收集flink程序的公开指标到外部系统，我们也可以自定义指标通过metric收集，实际开发时经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文将详细介绍如何通过metric......
Flink任务实时监控与大数据
CodeHeroicX的博客
08-13 859
通过对任务运行状态、数据输入输出、中间结果和错误日志的监控，我们可以及时发现问题、优化性能，并保证任务的稳定运行。当然，这只是一个简单的示例，实际应用中还可以根据需求进行更加复杂的监控和处理。本文将介绍如何使用Flink实现任务的实时监控，并展示相关的源代码。下面是一个简单的示例代码，用于演示如何使用Flink的API实现任务监控功能。通过学习和使用Flink进行任务实时监控，可以加深对流处理框架的理解，并提高大数据应用的效率和可靠性。基于上述需求分析，我们可以设计一个简单而实用的Flink任务监控方案。
flink metrics
weixin_34190136的博客
08-18 435
https://stackoverflow.com/questions/50972168/flink-latency-metrics-not-being-shown/50982071#50982071 https://stackoverflow.com/questions/45211970/how-to-get-the-latency-number-of-flink-job https://w...
Flink性能指标详解MetricsAnalysis
最新发布
JIE的博客 --- moon_coder
03-03 814
Flink性能指标详解MetricsAnalysis。
flink-metrics-core-1.14.3-API文档-中文版.zip
06-06
赠送jar包：flink-metrics-core-1.14.3.jar； 赠送原API文档：flink-metrics-core-1.14.3-javadoc.jar； 赠送源代码：flink-metrics-core-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-metrics-core-1.14.3.pom； 包含翻译后的API文档：flink-metrics-core-1.14.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-metrics-core:1.14.3； 标签：apache、flink、metrics、core、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
Flink Metrics&REST API 介绍和原理解析
cloudbigdata的博客
05-06 2143
通过学习 Flink Metrics 和 REST 接口，了解 Flink 是如何完成监控的。
flink实战 -- flink on yarn 任务日志收集与监控
阿华田的博客
09-02 3995
背景 在 Flink on yarn 的模式下,taskManager的日志会存储到所在的DataNode上,当 Flink 任务发生异常，产生异常日志时，需要我们第一时间感知任务已经出现异常，避免影响业务。因此我们需要将Flink任务的日志实时收集起来，出现异常日志立刻报警，做的真正意义上的实时报警，而不是等flink任务掉线了在发出报警。收集到了任务日志，即使任务掉线了也方便我们通过日志定位问题。 日志收集方案 在 Flink 1.1...
flink实战--HistoryServer配置与应用
阿华田的博客
10-15 1922
背景 回想一下，在实际线上开发flink任务时是否存在这样需求，flink实时任务夜间掉线了，此时我们再去查看yarn的页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics监控，那么很遗憾这些信息就丢失了，对我们分析任务出现的bug很不友好，此时flink的HistoryServer出现了，本文将详细介绍HistoryServer的配置与使用。 HistoryServer flink任务停止后，JobMan...
Flink 监控与运维
u010160949的博客
05-10 621
Flink 监控与运维1.metric1.2MetricGroup1.3 自定义 Counter1.4 自定义 Counter1.4 自定义 Gauge1.5 JMXReporter 应用2.Flink RestAPI 介绍与使用3.Checkpoint 的监控与优化3.1checkpoint 指标4.反压监控与原理5.Flink内存配置与调优 1.metric <identifier, measurement> 标识符-度量值 Metric 类型： Counter 计数器 Gauge 最简单的
Flink详解 Metrics 原理与实践
hhhhhhfq的博客
04-12 2461
什么是 Metrics ? Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实行查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下： 首先，常用的如 Counter，写过 mapreduce 作业的开发人员就应该很
Flink常用监控API
白夜的随笔
12-02 4687
通常，我们可以通过Flink WebUI来查看和监控Flink任务的运行状态，如图 但如果我们要基于Flink自建一个实时计算平台，则不能依赖于Flink WebUI，而需要自己实现Flink任务状态的查看和监控了。 实际上，Flink有一套自己的监控REST API，Flink WebUI也是基于这套监控API实现的，我们可以调用官方提供的监控API，来实现我们自己想要的参数查看和状态监控功能。 下面的表格列举了常用的Flink监控REST API： 请求方法 接口 功能 参数 GET
FlinkOnYarn 监控 flink任务（RestAPI）
m0_57320261的博客
01-08 1624
通俗的说就是一个能够接受json，处理json，输出json的程序，反正很好用。获取线运行job任务，记录到日志文件。这里shell脚本也只记录，flink-on-yarn 这种部署方式任务监控。只需要监控实时yarn 任务有没有处于RUNNING，达到监控的目的。Flink任务一般为实时不断运行的任务，如果没有任务监控,Flink任务监控（基于API接口编写shell脚本）这里通过调用API接口方式来获取参数，实现任务监控。shell脚本水平有限，大家多多谅解，欢迎指导。获取这个任务单个信息。
Flink rest接口查询metric的整体链路
tjq980303的博客
06-10 799
Flink metrics 最近根据flinkUI的接口追踪了一下blink的metric信息的查询过程，在这里记录一下 入口 首先我这里的入口指的是flink UI中的/jobs/:jobid这个rest接口，具体处理逻辑是在JobDetailsHandler，JobDetailsHandler的注册以及与path的绑定可以看WebMonitorEndpoint部分，这一块不是本文的具体内容，其中查询的逻辑为JobDetailsHandler.handleRequest。 protected JobDet
Flink 配置4：Flink Metric 配置
北_鱼的博客
11-19 1326
使用 prometheus、pushgateway、grafana 配置 Flink metric，用以监控 Flink 运行时性能。
flink-metrics度量系统设计
huxian1234的专栏
05-29 820
胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号，荣获2024年电子工业出版社博文视点20周年荣誉专家称号。
Flink metric 简单尝试
qq_31866793的博客
05-21 389
参考文档： https://ci.apache.org/projects/flink/flink-docs-release-1.3/monitoring/metrics.html 实际代码： package metric import java.util.Properties import com.sjb.constant.Constants import org.apache.flink.api.common.functions.RichMapFunctio...
Flink（二十七）—— Flink Metrics 原理与监控实战
weixin_42073629的博客
10-17 1359
什么是 Metrics？ Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下： 首先，常用的如 Counter，写过 mapreduce 作业的开发人员就应该
【Flink Rest-ful API 】
追赶者的博客
03-31 1658
Flink 有了一些查询job状态指标的API,这些监控API is a REST-ful API 接受 HTTP 请求并返回JSON data ；这些监控API以jobManager中web server 为基础，默认其监听端口为8081，当然你可以在flink-conf.yaml配置中通过rest.port 自定义其端口，下面我们就对其REST-ful API 进行尝试。 一：Flink 上传jar包REST-ful API PO...
Flink教程（13）- Flink高级API（状态管理）
阿甘兄
03-08 2114
文章目录01 引言02 Flink中的有状态计算03 有状态和无状态计算3.1 无状态计算3.1.1 无状态计算特点3.1.2 无状态计算例子（消费延迟计算）3.2 有状态计算3.2.1 有状态计算特点3.2.2 有状态计算例子（访问量统计）3.2.3 有状态计算的场景04 状态的分类4.1 Managed State & Raw State4.2 Keyed State & Operator State4.2.1 Keyed State4.2.2 Operator State05
Flink监控与优化实战：指标、性能与自定义监控
本项目专注于Flink（Apache Flink）的监控与优化，旨在帮助开发者深入了解如何有效地管理和监控大规模分布式流处理系统。...最后，了解如何通过REST API对Flink进行远程监控，进一步增强了系统的可扩展性和灵活性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值