Terry Tsang

作用官方文档中没有说明发现生产环境中使用到该服务后续需要源代码分析再更新其他信息创建目录mkdir /apps/svr/falcon-plus/kafka_consumer/{bin,config,logs} -p配置文件/apps/svr/falcon-plus/kafka_consumer/config/cfg.json{ "log_level": "info", "http": { "enabled": true, "listen"

目的trend 用于预聚合搭建 open-falcon trend修改版本信息vim modules/trend/g/g.goconst ( VERSION = "20200818" TREND_INTERVALS = 3600 //聚合区间为1小时)编译# make trendgo build -o bin/trend/falcon-trend ./modules/trend创建目录mkdir /apps/svr/falcon

说明falcon 中大部分组件都需要连接到 DB主要就是为了获取一些模板，组件，主机信息这里只做简要说明不描述集群及优化mariadb 安装yum install -y mariadb启动建议修改一下配置，优化内存， logfile 大小， 添加 skip-name-resolve 参数systemctl restart mariadb 导入 SQL根据文件顺序 1,2,3,4,5 进行 sql 导入导入方法 source xxxx.sql;授权确保每个链接过来的

目的grafana 用于展示监控信息可以支持多种底层数据源， m3db, tsdb, mysql 等等坑1当使用 grafana-7.x 时firefox 登录后，需要修改密码， 并且修改密码不成功firefox 登录后，需要修改密码， 修改后，登录后马上跳转回去登录页面解决方法使用最新版本 firefox更换成 chrome 都可以解决坑2参考 falcon 自身官方说明上述使用了一个插件 (falcon 专用）只支持低版本 grafana ， 很多插件都无法使用

目的作为 transfer, heartbeat, judge, falcon-api 服务转发调度4242 端口代理了 tsdb 服务8633 端口代理了 transfer 服务6030 端口代理了 hbs 服务80 端口代理了 falcon-api 服务安装yum install -y epel-releaseyum install -y nginx配置/etc/nginx/nginx.confuser apps apps;worker_processes 24;w

说明nodata用于检测监控数据的上报异常nodata和实时报警judge模块协同工作过程如下配置了nodata的采集项超时未上报数据，nodata生成一条默认的模拟数据用户配置相应的报警策略，收到mock数据就产生报警采集项上报异常检测，作为judge模块的一个必要补充能够使judge的实时报警功能更加可靠、完善创建目录# mkdir /apps/svr/falcon-plus/nodata/{bin,config,logs} -p编译# make nodatago bu

目的部署 open-falcon aggregator 服务主要用于数据预聚合的操作因为主要用于调用预聚合，因此需要本机 agent 重新 push 数据至少服务器这个机器必须要运行 falcon-agent需求falcon 集群下面组件基本上功能都要可用falcon-apifalcon-graphfalcon-hbsfalcon-transfer本机需要部署 falcon-agent因为 aggregator 需要向本地 falcon-agent 进行数据推送编译#

目的搭建 open-falcon transfer 服务transfer是数据转发服务它接收agent上报的数据，然后按照哈希规则进行数据分片、并将分片后的数据分别push给graph&judge等组件transfer 在 falcon 中属于一个任务比较重的服务transfer 需要连接 agent, graph, judge，tsdb 因为网络连接会成为瓶颈建议 transfer 进行集群模式部署transfer 自身没有任何交互， 可以进行横向扩展当前生产中 transfer

目的部署 open-falcn judge 服务服务用于告警判断agent 将数据 push给TransferTransfer不但会转发给 Graph 组件来绘图，还会转发给 judge 用于判断是否触发告警修改版本modules/judge/g/g.goconst ( VERSION = "20200818")编译# make judgego build -o bin/judge/falcon-judge ./modules/judge创建目录# mkdi

目的部署 falcon-alarmfalcon-alarm 用于处理告警信息支持 sms, 邮件 等方式进行告警处理服务器ns-yun-020026ns-yun-020027ns-yun-020028部署版本修改alarm/g/g.goconst ( VERSION = "20200818")编译# make alarmgo build -o bin/alarm/falcon-alarm ./modules/alarm创建目录mkdir /a

目的搭建 redis server提供 falcon-alarm 使用软件安装yum install -y epel-releaseyum install -y redismkdir /apps/dat/redis_data配置/etc/redis.confdaemonize yespidfile "/var/run/redis/redis.pid"port 6379tcp-backlog 511timeout 0tcp-keepalive 60loglevel noti

目的部署 kafka 集群提供 falcon-transfer 使用kafka 需要使用 zookeeper 集群共享 hadoop 使用中的 zookeeper 即可参考zookeeper 集群部署方法软件下载官方网站下载 kafka_2.13-2.6.0.tgz参考信息需求java 环境Zookeeper 环境 参考 zookeeper 集群部署方法部署kafka 环境变量/etc/profileKAFKA_HOME=/apps/svr/kafkaPATH=$

目的部署 falcon-apiapi 提供一系列接口提供了用户，模板，组件， agent 间的交互版本修改modules/api/config/g.goconst ( VERSION = "20200818")编译# make apigo build -o bin/api/falcon-api ./modules/api创建目录mkdir /apps/svr/falcon-plus/api/{bin,logs,data,config} -p配置文件/ap

目的编译 falcon-hbs启动 falcon-hbs启动依赖mysqldb安装修改版本信息modules/hbs/g/g.goconst ( VERSION = "20200818")编译[root@ns-yun-020049 falcon-plus]# make hbsgo build -o bin/hbs/falcon-hbs ./modules/hbs服务器搭建创建目录mkdir /apps/svr/falcon-plus/hbs/{bin

目的搭建 graph 服务依赖mysql db编译版本修改modules/graph/g/g.goconst ( VERSION = "20200818")编译# make graphgo build -o bin/graph/falcon-graph ./modules/graphgraph 服务器搭建创建目录mkdir /apps/svr/falcon-plus/graph/{bin,config,logs} -p配置文件/apps

目的部署 opentsdb用于 open-falcon 存储 metric 信息前期准备组件参考zookeeper部署方法hapddop部署方法hbase部署方法\opentsdb 信息OpenTSDB由一个时间序列守护程序（TSD）和一组命令行实用程序组成。与 OpenTSDB 的交互主要通过运行一个或多个 tsd 来实现。每个TSD都是独立的。没有主服务器，也没有共享状态，所以您可以根据需要运行任意数量的tsd来处理向它抛出的任何负载。

目的安装 hbase需求zookeeperhadoop参考软件下载hbase 官方下载地址hbase 安装环境变量java (/etc/profile)JAVA_HOME=/apps/svr/javaJRE_HOME=$JAVA_HOME/jreCLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jarPATH=$PATH:$JAVA_HOME/bin:$JRE_H

目的部署 hadoop软件下载官方 apache hadoop 下载地址服务器与角色角色服务器服务器服务器配置ns-yun-020022ns-yun-020023ns-yun-020024zookeeperYYYnameNodeYYhdfs-site.xmldataNodeYYYresourceManagerYYyarn-site.xmlnodeManagerYYYjournamNod

目的部署 zookeeper提供 hadoop 使用下载zookeeper 官方下载地址安装服务器 3 台, （DNS 解析 略）ns-yun-020022.133.comns-yun-020023.133.comns-yun-020024.133.com提前准备JDK 及环境变量 (略)加压并准备在每台服务器上解压二进制软件并创建目录[root@myhostname svr]# mkdir /apps/svr -p ; cd /apps/svr[root@myho

目的搭建 open-falcon 项目open falconOpenFalcon 是一款企业级、高可用、可扩展的开源监控解决方案底层使用了 tsdb 作为时序服务器存储当前服务器数量超过 34K， 指标数量没有具体统计，17K QPS/s 目前还算稳定貌似这个项目已过了热度官方帮助参考open falcon 2.0 中文文档open falcon 架构参考open falcon api 说明测试环境独立部署备忘组件版本参考Mariadb随意略z