flume启动关闭重启脚本

Flume监控之Ganglia Ganglia简介 Ganglia是UC Berkeley发起的一个开源集群监视可视化工具,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。 其详细介绍和工作原理请参考百... 阅读详情

#!/bin/bash

#参数:start|stop|restart

#功能:flume 启动停止重启

#使用方法:

# sh flume_operation.sh start agent.properties Agent

#配置文件名称最好和配置文件中的agent名称一致,避免多个配置文件忘记里面的agent名称。(本人现阶段认知,有错误望指正)

##agent.properties (flume配置文件,自己修改) Agent(代理名称,自己修改)

# sh flume_operation.sh stop

# sh flume_operation.sh restart agent.properties (flume配置文件,自己修改) Agent(代理名称,自己修改)

path=$(cd `dirname $0`; pwd)
echo $path
process=$2
AgentName=$3
JAR="flume"

function start(){
    echo "开始启动 ...."
    num=`ps -ef|grep java|grep $JAR|wc -l`
    echo "进程数:$num"
    if [ "$num" = "0" ] ; then
        #eval nohup java -Xmx512m -jar -DplanNames=$planNames -DconfigPath=$CONFIG_PATH $jarpath/$JAR `echo $@|cut -d " " -f3-$#` >> /dev/null 2>&1 &
        # 请自行修改启动的所需要的参数
        ##eval nohup bin/flume-ng agent -c $path/conf -f $path/conf/$process --name $AgentName &

eval nohup $path/bin/flume-ng agent -c $path/conf -f $path/conf/$process -n $AgentName >/dev/null 2>&1 &
        echo "启动成功...."
        echo "日志路径: $path/logs/flume.log"
    else
        echo "进程已经存在,启动失败,请检查....."
        exit 0
    fi
}

function stop(){
    echo "开始stop ....."
    num=`ps -ef|grep java|grep $JAR|wc -l`
    if [ "$num" != "0" ] ; then
        #ps -ef|grep java|grep $JAR|awk '{print $2;}'|xargs kill -9
        # 正常停止flume
        ps -ef|grep java|grep $JAR|awk '{print $2;}'|xargs kill
        echo "进程已经关闭..."
    else
        echo "服务未启动,无需停止..."
    fi
}
 

function restart(){
    echo "begin stop process ..."
    stop
    # 判断程序是否彻底停止
    num=`ps -ef|grep java|grep $JAR|wc -l`
    while [ $num -gt 0 ]; do
        sleep 1
        num=`ps -ef|grep java|grep $JAR|wc -l`
    done
    echo "process stoped,and starting ..."
    start
    echo "started ..."
}

case "$1" in
    "start")
      start $@
      exit 0
    ;;
    "stop")
      stop $@
      exit 0
     ;;
    "restart")
       restart $@
       exit 0
     ;;
    *)
       echo "用法: $0 {start|stop|restart}"
       exit 1
    ;;

esac

 

nohup 、awk、xargs 解释见:https://blog.youkuaiyun.com/hello_java_lcl/article/details/107180813

 

在轻量化与精度之间取得平衡:YOLOv8 + GhostNet 的设计与实验分析 摘要: GhostNet系列(GhostNet、GhostNetv2、GhostNeXt)通过“幽灵特征图”技术,以极低计算量生成丰富特征,为YOLOv8提供轻量化改造方案。该技术能在减少参数量与计算量的同时保持或提升检测精度,适用于边缘设备部署。实现时需替换YOLOv8的Backbone为GhostNet模块,并通过消融实验验证其有效性。实验数据表明,改造后的模型在参数量降低30%的同时,推理速度提升28.6%,mAP@0.5最高提升1.9个百分点,平衡了轻量化与精度,为毕设提供技术创新性与工程落地性的双 阅读详情

相关推荐

软件工程:数据字典

数据字典

永远怀着至诚之心拥抱世界 4277

Flume的关闭,重启,开启的脚本

#!/bin/bash #使用方法: #./execflume.sh start flume_cmbc.conf(配置文件,自己修改) Cobub(代理名称,自己修改) #./execflume.sh stop #./execflume.sh restart flume_cmbc.conf(配置文件,自己修改) Cobub(代理名称,自己修改) path=$(cd dirname $0; pwd)...

在路上的博客 3412

从BIN文件到可烧录程序:深入理解ADI DSP程序读取背后的原理与安全边界

本文深入探讨了ADI DSP程序从BIN文件到可烧录程序的转换原理与安全边界,详细解析了JTAG接口、仿真器工作流程及Flash存储结构。通过Visual DSP++工具,开发者可以理解程序读取的底层机制,同时强调了知识产权保护的重要性,为嵌入式开发提供了实用建议。

weixin_27956639的博客 264

flume采集日志 异常停止之后自动重启

由于业务端日志采集格式不规范,经常会产生各种异常导致flume停止工作,如果对这些参数格式一一进行校验,影响采集速度,日志数据有一定的容错性。编一个一个脚本,不断监控flume运行状况,遇到异常,自动重启flume。 #!/bin/bash export FLUME_HOME=/opt/flume while true do pc=`ps -ef | grep kafka-flume-hdfs.conf | grep -v "grep" | wc -l` if [[ $pc -lt 1 ]] the

weixin_52918377的博客 1329

Halcon深度学习实战:基于异常值检测的工业缺陷精准识别方案

本文详细介绍了Halcon深度学习中的异常值检测技术在工业缺陷识别中的应用。该方法仅需少量正常样本即可训练,能有效应对未知、多变的缺陷类型,显著降低项目启动门槛。文章提供了从数据准备、模型训练、参数调优到产线部署的完整实战指南,并分享了关键的性能优化与避坑经验。

weixin_29042035的博客 243

如何在STM32上5分钟搞定nanopb协议传输?附完整代码示例

本文提供了在STM32微控制器上快速集成nanopb协议传输的实战指南。通过详细的步骤,从.proto文件定义、代码生成到STM32CubeIDE项目移植,帮助开发者利用nanopb这一轻量级Protocol Buffers C语言实现,在5分钟内构建高效、跨平台的嵌入式设备通信框架,并附有完整的代码示例。

jwt8token的博客 839

监控flume状态 异常之后 自动重启

1

javaMylife的博客 528

基于gm/id方法的折叠式共源共栅放大器设计实践

本文详细介绍了基于gm/id设计方法进行折叠式共源共栅放大器设计的完整流程。该方法通过确定晶体管的跨导效率(gm/id)作为核心设计参数,将复杂的放大器设计转化为有明确路径的优化问题。文章以设计一个增益80dB、带宽1GHz的两级放大器为例,逐步拆解了从指标分解、关键晶体管工作点选取、到实战仿真与微调的全过程,特别强调了第二级设计对稳定性的影响以及相位裕度的调试技巧。

w8x9y0z1的博客 415

Windows平台上flume进程的停止问题

FLUME在windows平台上运行,无法使用taskkill /pid pid 去停flume进程,有大神知道这是什么原因么@TOC 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展...

Ll112121的博客 907

H5获取手机相机或相册图片两种方式-Android通过webview传递多张照片给H5

H5调用公共获取图片文件方法,在android手机端,H5主要依赖Webview,这边在webview声明并重写该方法onShowFileChooser使用工具类打开相机或相册,可以两种方式安卓原生方式或者利用第三方组件库方式选中图片,返回uri列表给H5H5收到uri照片列表,并且使用前端方式展示创造价值,乐哉分享!

m0_74823947的博客 3096

Cursor概述及环境配置

Cursor 是一款基于 AI 的代码编辑器,支持 VS Code 配置迁移和 Java 开发环境配置。主要功能分为 Cursor Settings(AI 相关设置)和 Editor Settings(基础编辑器设置)。用户可通过一键导入或手动方式迁移 VS Code 配置,配置包括主题、扩展和快捷键等。对于 Java 开发,需配置 JDK 和 Maven 路径,并安装 Java 扩展插件以获得完整开发体验,如代码补全、调试和 Maven 项目管理。此外,Cursor 支持汉化配置,用户可安装中文语言包切换

Knight 3557

日志采集Flume启动停止脚本

日志采集Flume启动停止脚本

想练武,就得下功夫 1688

R语言中的summarise函数和mutate函数用于计算分组占比。下面是关于这两个函数的详细介绍以及相应的源代码示例:

R语言中的summarise函数和mutate函数用于计算分组占比。

CodeByte的博客 1183

Flume启动/关闭/重启shell脚本

为什么80%的码农都做不了架构师?>>> ...

weixin_34085658的博客 1123

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

flume启动脚本

1、脚本编写与执行 为了执行方便,我们也可以通过自定义脚本实现flume后台的运行(实际上,该脚本就是执行的命令../flume-ng agent -c ../conf -f “agent脚本文件” --name agent&)。同时方便flume脚本自启动等功能的修改。 #!/bin/bash #echo "begin start flume..." #flume的安装根目录(根据自己情况,修改为自己的安装目录) path=/home/software/apache-flume-1.9.0-b

xieedeni的博客 1860

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

flume 启动,停止,重启脚本

#!/bin/bash #echo "begin start flume..." #flume的安装根目录(根据自己情况,修改为自己的安装目录) path=/sysware/apache-flume-1.8.0-bin echo "flume home is :$path" #flume的进程名称,固定值(不用修改) JAR="flume" #flume的配置文...

weixin_30670965的博客 1405

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Flume介绍、基础架构+Flume安装+Flume开发脚本+编写Flume拦截器+埋点数据装载到Hive

一、Flume是什么?+项目背景 1.Flume介绍 Flume 基于流式架构是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 本项目 Flume 实时读取服务器本地目录下生成的埋点数据,将数据实时写入到HDFS。 有的公司涉及几十甚至上百的的web服务器 操作流程可能如下: 二、Flume基础架构 1、核心组件 (1)Agent Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目标地。 主要有 3 个部分组成,Source、Chann.

qq_43476430的博客 5921

Flume-ng 启动脚本

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34051201的博客 531

systemctl flume

/usr/lib/systemd/system/flume.service #[unit]配置了服务的描述,规定了在network启动之后执行。 #[service]配置服务的pid,服务的启动,停止,重启。 #[install]配置了使用用户。 [Unit] Description=Flume After=syslog.target network.target remote-fs.target...

weixin_44772715的博客 676

数据仓库 — 06_Flume的安装与部署(Flume组成框架、Agent内部原理、安装配置、日志采集配置文件、拦截器的编写、Flume群起脚本、Flume启动报错解决)

文章目录1 概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓扑结构1.3.1 Agent连接1.3.2 单source多channel、sink1.3.3 负载均衡1.3.4 Agent聚合1.4 Flume Agent内部原理2 Flume的安装与配置2.1 下载地址2.2 安装部署3 项目经验——flume组件3.1 source3.2 channel4 日志采集的f

文泽路小男孩的博客 1585

Flume的学习和使用

Flume的学习和使用 本文是基于CentOS 7.3系统环境,进行Flume的学习和使用 CentOS 7.3 一、Flume的简介 1.1 Flume基本概念 (1) 什么是Flume Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 (2) Flume的目的 Flume最主要的作业就是,实时读取服务器本地磁盘的数据,将数据写入HDFS 1.2 Flume基本组件 (0) Flume工作流程 Source采集数据并包装成Event,并将Event

哈工大许政的博客 2万+

Flume配置与运行(前台、后台)

#!/bin/bash #echo "begin start flume..." #flume的安装根目录(根据自己情况,修改为自己的安装目录) path=/sysware/apache-flume-1.8.0-bin echo "flume home is :$path" #flume的进程名称,固定值(不用修改) JAR="flume" #flume的配置文件名称(根据自己的情况,修改为自己的flume配置文件名称) Flumeconf="flume-conf.conf" #定义的soure名称 ag.

sinat_34974437的博客 6066

Flume笔记

Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。Flume 是可以收集例如日志,事件等数据资源,并将这些数量庞大的数据从各项数据源中集中起来存储的工具/服务。Flume 可以采集文件,socket 数据包(网络端口)、文件夹、kafka、mysql 数据库等各种形式源数据,又可以将采集到的数据(下沉sink)输出到HDFS、Hbase 、hive、kafka 等众多外部存储系统中。

shabixsaf的博客 1325

flume HA实现

一、Flume简单介绍 Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务 1.1 FLume的基本组成 Flume的组件主要包括三个:Source、Channel、Sink,其前后关系如图1所示。 图1 1.2 Source Source用来从数据源接收数据,并将数据写入到Channel中。 Source分很多种,现在公司内用到的有两个: (1)KafkaSou...

u011624157的专栏 746

Flume-ng启动过程分析

Application.java 入口函数main(): ... application.handleConfigurationEvent(configurationProvider.getConfiguration()); ... //根据配置,启动所有组件 application.start(); final Application ap

某先生的专栏 3622

Flume运维中遇到的问题

关闭文件异常,同名的文件被不同的flume agent打开,在文件第二次打开后,先前打开的agent拥有的token就失效了,因此无法关闭它,尝试设置以下参数。把 JAVA_OPTS="-Xmx20m" 改为 JAVA_OPTS="-Xmx2048m"修改后,重启flume,生效,flume恢复正常运行。尝试后发现,无效,flume后续依然触发了该报错。重启agent,顺畅running。# source增加配置。# sink增加配置。

h952520296的博客 1321
上一篇: SQL Server里查询表结构命令
下一篇: 用到的shell编程命令整理
lcl_bigdata
博客等级 码龄11年 268粉丝 67原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值