stevensam_lin的博客

telegraf & influxdb & mysql & grafana 整合一、下载与安装## telegraf rpm方式wget https://dl.influxdata.com/telegraf/releases/telegraf-1.15.2-1.x86_64.rpmsudo yum localinstall telegraf-1.15.2-1.x86_64.rpm## telegraf 二进制方式wget https://dl.influxdata.com

一、需求背景​ 在做某项目时，遇到一个需求是这样的：每天产生的预演数据会存放在hdfs中某个目录，文件名假设为preview20200723，这个文件在当天可能会一直有数据在追加（间断性），也可能一次性写完（持续性），需要利用现有的技术监控这个目录中数据的变化，将获取到的json数据做解析再保留到数仓中（此部分为Spark编辑部分，本文不做测试）。二、技术选型​ flume + spark streaming，后期可以再添加kafka做个缓存机制，实现高可用性。三、实现步骤注：本文所做的代码实现，

本文实例项目中使用的是idea工具创建maven项目，如果不清楚怎么在idea中建立maven项目的可参考https://blog.youkuaiyun.com/stevensam_lin/article/details/81978041文章。言归正传，直接进入操作步骤。1、搭建maven项目在idea中新建一个maven工程。2、导入influx相关依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.ap

一、概念InfluxDB是一个由InfluxData开发的开源时序型数据库，由Go写成，着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据，IoT行业的实时数据等场景。二、下载和安装1.下载地址：https://portal.influxdata.com/downloads/#influxdb（本文使用的是最新版1.8.1，刚好是在本文开始编写的前一天发布的；2.0在公测，暂不用）在官网上提供了各个操作系统的安装包和安装方法，本文使用CentOS版本，如下：win

一、准备linux环境1.0 配置好各虚拟机的网络（采用NAT联网模式）第一种：通过Linux图形界面进行修改(桌面版本Centos)进入Linux图形界面 -&gt; 右键点击右上方的两个小电脑 -&gt; 点击Edit connections-&gt; 选中当前网络System eth0 -&gt; 点击edit按钮 -&gt; 选择IPv4 -&gt; method选择为manual -...