互联网级监控系统必备-时序数据库之Influxdb集群及踩过的坑

Influxdb Cluster集群部署 Influxdb集群部署方案,几乎与 InfluxDB Enterprise 一模一样,基于nfluxDB 1.8.10 阅读详情

互联网级监控系统必备-时序数据库之Influxdb集群及踩过的坑

上篇博文中,我们介绍了做互联网级监控系统的必备-Influxdb的关键特性、数据读写、应用场景:

互联网级监控系统必备-时序数据库之Influxdb

本文中,我们介绍Influxdb数据库集群的搭建,同时分享一下我们使用集群遇到的坑!

一、环境准备

  1. 同一网段内,3个CentOS 节点,相互可以ping通
  2. 3个节点CentOS配置Hosts文件,相互可以解析主机名
  3. Azure 虚拟机启用root用户
  4. influxdb-0.10.3-1.x86_64.rpm
  5. 设置端口8083 8086 8088 8091例外

二、一步一步搭建Influxdb集群

1. 在各个节点的主机上配置Hosts文件,这样可以保证每个节点直接的互相通讯

2. 各个节点主机安装InfluxDB rpm,只是安装不启动Influxdb

3. 三个节点主机上依次 编辑Influxdb.conf文件(.etc/influxdb/influxdb.conf)

主要修改HostName、bind-address、http-bind-address三个选项

依次修改三个主机节点的配置文件

4. InfluxDB01机器上启动Influxdb

[root@influxdb01 influxdb]# sudo service influxdb start
 
5.  InfluxDB02上配置/etc/default/influxdb文件
  加入influxdb01节点
  INFLUXD_OPTS="-join influxdb01:8091"
 
6.  InfluxDB02机器启动InfluxDB
 [root@influxdb02 default]# sudo service influxdb start
 
7.  InfluxDB03上配置/etc/default/influxdb文件
 加入influxdb01节点
 INFLUXD_OPTS="-join influxdb01:8091"
 
 
8.  InfluxDB03机器启动InfluxDB
[root@influxdb03 default]# sudo service influxdb start
 
9. InfluxDB01上启动InfluxDB
Influx -host influxdb01
 
10.  查看Influxdb集群
 
三、Influxdb集群,我们遇到的坑
 
Influxdb集群模式下,数据在各个节点之间是同步的,即,我们可以选择任何一个节点写入,数据都可以再其他节点查询到。
搭建集群后,我们遇到的第一个问题就是 数据不同步问题。其实,数据写入压力并不大!
数据不同步后重启集群,依然数据不同步。
 
数据写入时,必须是UTC时间,并且是Unix下的UTC时间格式。
批量写入的数据,有时候会很慢,原因是数据必须按时间降序排序好,再批量插入。
 
单机模式比集群模式稳定,同时最新的集群不开源了,商业版本支持。
多条批量写入的性能好,但是并发数有限制,批量数据的个数在1000以内最佳。
 
 
周国庆
2017/7/12
标签:  时序数据库,  监控
6
0
« 上一篇: 互联网级监控系统必备-时序数据库之Influxdb技术
» 下一篇: 互联网级监控平台之内存存储的设计和优化
posted @  2017-07-12 08:40  Eric zhou 阅读( 3932) 评论( 7)  编辑  收藏
时序数据库-InfluxDB 避坑指南 阅读详情

相关推荐

智能制造实战:从工业物联网到预测性维护的微服务架构与部署

智能制造是工业4.0的核心,其技术内核在于实现从自动化到数字化、智能化的演进。其原理是通过工业物联网(IIoT)平台、边缘计算等技术,将生产设备、物料、环境等数据实时采集并互联,构建数据驱动的决策体系。这一过程的技术价值在于提升生产效率、实现预测性维护和柔性化生产,从而优化全要素生产率。其应用场景广泛覆盖设备监测、质量控制、能耗优化等工业领域。本文以设备预测性维护为例,深入探讨了基于MQTT、Flink、Docker等技术的微服务原型构建,并涉及工业互联网平台与数据治理等关键实践,为工业智能化转型提供具体的

weixin_33868027的博客 382

influxdb-cluster集群部署

influxdb-cluster集群部署

anguoan的博客 3845

海康视觉平台VisionMaster通讯实战:三种触发方式深度解析

本文深度解析海康视觉平台VisionMaster的三种通讯触发方式:字符串触发、接收字符串事件触发和轮询D地址触发。通过实际案例和配置技巧,帮助工程师在工业场景中实现高效、稳定的设备通讯,提升视觉系统的集成效率和可靠性。

weixin_42665255的博客 288

(三)InfluxDB集群解决方案 Influx Proxy Docker搭建

可以通过官方的wiki了解一下 https://github.com/chengshiwen/influx-proxy/wiki 首先安装docker参考之前写的 CentOS7+ Docker 安装 编写Influxdb配置 influxdb.conf 文件用于docker启动时候使用 保存在/opt/influx/influxdb/influxdb.conf位置下 # influxdb.conf reporting-disabled = true # 禁用报...

牛肉胡辣汤 5518

方差迭代计算公式

方差迭代计算过程推导术语约定递推公式过程推导 术语约定 (1)En=1n∑i=1nxi E_n =\frac{1}{n} \sum_{i=1}^{n}x_i \tag{1} En​=n1​i=1∑n​xi​(1) (2)F(n)=∑i=1n(x2−En) F(n) = \sum_{i=1}^{n}{(x^2-E_n)} \tag{2} F(n)=i=1∑n​(x2−En​)(2) (3)V(n)...

weixin_44479136的博客 7921

解决鸿蒙/荣耀设备GMS应用调试中的“Play保护机制认证”报错

本文详细解析了在鸿蒙或荣耀设备上调试GMS应用时,遇到“Play保护机制认证”报错的根本原因与解决方案。核心在于获取设备的GMS Device ID,并通过Google官方渠道完成临时注册,从而绕过认证限制。文章提供了无需Root和ADB查询两种具体方法,并分享了授权后的故障排查与实战经验,帮助开发者高效解决问题。

weixin_29288313的博客 307

互联网级监控系统必备-时序数据库之Influxdb技术----Influxdb集群及踩过的坑

时间序列数据库,简称时序数据库,Time SeriesDatabase,一个全新的领域,最大的特点就是每个条数据都带有Time列。 时序数据库到底能用到什么业务场景,答案是:监控系统。 Baidu一下,互联网监控系统,大家会发现小米、饿了吗等互联网巨头都在用时序数据库实现企业级的互联网监控系统。 很多人会说,用Zabbix不就搞定了,其实不是这样的,简单的主机资源监控、网络监控、小规模的部...

yangbosos的博客 7883

中兴B860AV2.1-A刷机避坑指南:晶晨免拆神器+安卓7.1.2固件实测

本文提供中兴B860AV2.1-A机顶盒的详细刷机教程,重点介绍使用晶晨免拆神器配合安卓7.1.2线刷固件包的实操步骤。内容涵盖刷机前的硬件确认、工具准备、软件设置、烧录全过程监控及常见问题解决,旨在帮助用户安全、高效地完成刷机,规避变砖风险,释放设备潜力。

pytorch8learner的博客 752

互联网级监控系统必备-时序数据库之Influxdb技术

时间序列数据库,简称时序数据库,Time Series Database,一个全新的领域,最大的特点就是每个条数据都带有Time列。 时序数据库到底能用到什么业务场景,答案是:监控系统。 Baidu一下,互联网监控系统,大家会发现小米、饿了吗等互联网巨头都在用时序数据库实现企业级的互联网监控系统。 很多人会说,用Zabbix不就搞定了,其实不是这样的,简单的主机资源监控、网络监控、小规模的部

dotNET跨平台 1370

告别龟速与断连:Arduino IDE下ESP32及ESP32-CAM一站式环境部署指南

本文提供Arduino IDE下ESP32及ESP32-CAM一站式环境部署指南,解决下载速度慢、断连等常见问题。通过国内镜像源加速、详细步骤讲解和ESP32-CAM专属配置技巧,帮助开发者快速完成环境搭建,避免常见陷阱,提升开发效率。

weixin_30576827的博客 771

摇骰子、抽奖转盘酒桌游戏 人生重启模拟器小程序源码分享-开通流量主躺着赚钱

摇骰子、抽奖转盘酒桌游戏 人生重启模拟器小程序源码分享-开通流量主躺着赚钱

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 1652

influxdb时序型数据库基础

InfluxDB是一个开源的、高性能的时序型数据库,在时序型数据库DB-Engines Ranking上排名第一。在介绍InfluxDB之前,先来介绍下时序数据。按照时间顺序记录系统、设备状态变化的数据被称为时序数据(Time Series Data),如CPU利用率、某一时间的环境温度等。时序数据以时间作为主要的查询纬度,通常会将连续的多个时序数据绘制成线,制作基于时间的多纬度报表,用于揭示数据背后的趋势、规律、异常,进行实时在线预测和预警,时序数据普遍存在于IT基础设施、运维监控系统和物联网中。

欢迎来到编程小栈 821

十五、【测试执行篇】异步与并发:使用 Celery 实现测试任务的后台执行与结果回调

本文介绍如何使用Celery实现测试任务的异步执行与结果回调,解决同步执行测试计划导致的请求阻塞问题。主要内容包括:Celery的基本概念与工作原理(任务队列、消息中间件、Worker进程),在Django项目中集成Celery的步骤,以及将同步测试逻辑改造为异步任务的方法。

blues_C的博客 713

互联网级监控平台之内存存储的设计和优化

上两篇文章我们介绍了时序数据库Influxdb在互联网级监控系统下的应用: 互联网级监控系统必备-时序数据库之Influxdb技术 互联网级监控系统必备-时序数据库之Influxdb集群及踩过的坑 在我们监控平台V1.0和V2.0版本的演进过程中,设计上,我们在监控引擎端引入了内存存储的理念,即监控数据内存槽。 为什么需要一个内存存储来做监控数据的内存槽,它的应用场景是什么? 一. 从实...

weixin_30667649的博客 174

基于STM32F4XX 、HAL库的GXHT30C温湿度传感器驱动应用C语言程序设计

define GXHT30C_STATUS_WRITE_CHK (1 << 0) // 写数据校验状态。#define GXHT30C_STATUS_HUMI_TRACK (1 << 11) // 湿度跟踪报警。#define GXHT30C_STATUS_TEMP_TRACK (1 << 10) // 温度跟踪报警。#define GXHT30C_STATUS_CMD_STATUS (1 << 1) // 命令执行状态。

PP_Cottage的博客 230

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

系统性能优化全链路实战:从瓶颈定位到高并发架构设计

性能优化是软件工程中的核心实践,其本质是在资源约束下提升系统的吞吐量、降低延迟并保障稳定性。其原理遵循木桶效应,系统整体性能取决于最慢的环节,常见的瓶颈集中在计算、I/O、内存和并发锁竞争四个维度。这项技术的价值在于,它能直接提升用户体验、降低运营成本并增强系统扩展性,是应对业务增长和高并发挑战的基础能力。应用场景极其广泛,从提升Web应用的前端加载速度与后端接口响应,到设计支撑海量用户同时在线的即时通讯(IM)系统,再到资源受限的嵌入式设备开发,都需要针对性的优化策略。例如,在构建高并发IM系统时,通过连

weixin_30292745的博客 475

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

工业具身智能底座:破解异构设备协同与实时调度的工程化难题

在工业自动化领域,实现设备间的协同作业与实时控制是迈向智能化的核心挑战。其原理在于通过统一的软件架构,将异构的物理设备(如机械臂、AGV、PLC)抽象为可编程的数字模型,并借助高可靠通信中间件实现数据与指令的同步。这一技术价值在于,它将分散的‘信息孤岛’整合为可集中调度的虚拟工厂,大幅提升了系统的可靠性与开发效率。典型的应用场景包括柔性产线、无人仓储和协同装配等需要多智能体协作的复杂环境。本文聚焦的‘工业具身智能底座’正是为解决上述工程化难题而提出的平台化方案,它通过设备接入与数字孪生、资源调度等关键组件,

weixin_30463341的博客 518

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

influxdb性能优化整理

influxdb一般情况下比较稳定,但是随着数据量越来越大,也会出现一些性能问题,需要进行一些调优。我目前遇到的关于influxdb的性能问题大体上可以分为两类 CPU持续居高不下 内存持续居高不下,并伴随着较高的iowait 下面分别来讨论我当时的处理方法。 CPU持续居高不下 当时遇到的现象是,influxdb进程的CPU利用率持续居高不下,查询数据的速度很慢。经过分析,最终定位到infl...

朱登凯的专栏 1万+

influx数据同步

经过测试,通过设置influxdb可以将多个influx数据库实时汇总到一台服务器的同一个数据库里。 1、test_A数据库创建保留策略 influx -execute “CREATE SUBSCRIPTION “momServices_sub” ON “test_A”.“autogen” DESTINATIONS ANY ‘http://192.168.50.50:8086’” -database “Test_All” momServices_sub:同步规则名 mom_services: 要做数据同步的

zhaobaojun 3627

influxdb2.x 主从数据实时同步

influxdb2.x 主从数据实时同步

qq_40692113的博客 2333

InfluxDb v0.11集群部署

InfluxDb v0.11集群部署 一、环境准备 同一网段内,3个CentOS 节点,相互可以ping通 3个节点CentOS配置Hosts文件,相互可以解析主机名 ​ 2.1 在各个节点的主机上配置hosts文件,这样可以保证每个节点直接的互相通讯 vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.

ninja_的博客 1860
上一篇: Druid创始人Eric Tschetter详解开源实时大数据分析系统Druid
下一篇: druid集群的安装和验证
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值