on the way . . .

TDengine用户权限管理。

MongoDB 是C++语言编写的一个基于分布式文件存储的NoSQL数据库，介于关系型数据库和非关系型数据库之间。

选Etcd和Worker在k8s-node1和k8s-node2节点上执行下面的命令。刚开始如下图所示，中间要持续很长时间（我这里半个小时左右，具体与网络有关）然后全选这三个，在k8s-master节点上执行下面的命令。点击完成就行了，后面还可以查看这命令。在首页或者集群管理界面创建集群。最终成功后如下图所示。

需要修改成你自己的inflxudb服务所在的IP。如果用我提供的这一步也不用了。

通过利用Flink提供的CEP进行时间模式的抽取，同时应用Flink的Sql进行事件数据的转换，在流式系统中构建实施规则引擎，一旦事件触发报警规则，便立即将告警结果通知至下游通知系统，从而实现对设备故障快速预警检测，车辆状态监控等目的。flink利用自身作为纯数据流的特性优雅的实现反压机制。在金融领域的业务中，常常出现各种类型的欺诈行为，例如信用卡欺诈，信贷申请欺诈等，运用Flink流式计算技术能够在毫秒内就完成对欺诈行为判断指标的计算，然后实时对交易流水进行实时拦截，避免因为处理不及时而导致的经济损失。.

Kafka基础概念及与springboot的集成KafkaProducer生产者KafkaConsumer消费者9、监控工具

Background上年6月份写过一篇关于Machbase时许数据库的简单介绍 【时序数据库Machbase】。但之前只是简单介绍了下，今天我们详细介绍下，主要是Machbase中针对存储传感器监测数据而设计的Tag table的基本使用，并在本地单机环境简单测试了一下数据的写入性能，写入的数据和之前测试中【Influxdb和TDengine的写入性能测试（Java）】使用的一样，一个传感器带三个指标数据。最终测试结果为【125万条/秒】。这次测试的服务器和之前测试Influxdb和TDengine

Background这里读写测试是为了大致了解下Influxdb和TDengine的读写速度，以及对比数据存储大小。Influxdb是用go语言开发的，TDengine是用c语言开发，Influxdb和TDengine都支持单机版和集群版，这里都使用单机版测试。TDengine服务端下载地址TDengine-server-2.4.0.12-Linux-x64.tar.gz (15.5 M)TDengine Windows客户端下载地址TDengine-client-2.4.0.12-Windo

C/C++工程编译常见错误及解决方法背景简介先上张最终编译成功的图编译环境问题1：boost/thread/mutex.hpp: No such file or directory问题2：error: 'cout' is not a member of 'std'问题3：No rule to make target '***', needed by '***'. Stop问题4：config...

这里写自定义目录标题Background提交一个任务（或称启动一个Flink集群）触发保存点（保存点需手动触发，检查点会自动触发）停止（或称取消）任务并创建保存点从保存点恢复任务Background大数据平台是基于CDH6.2搭建的，具体可以参考【Centos7.5+CDH 6.2搭建大数据平台】，Flink（1.9.0） 集群是后来集成的，具体可参考【CDH6.2/6.3 集成安装Flink 简明教程】在yarn模式下，Flink 的相关命令和其他模式的所有不同，实验总结记录方便以后查找，相关

1 介绍大数据时代，海量数据的存储和分析是一个巨大的挑战，给hadoop或者hbase集群添加数据压缩的能力，是必不可少的，通过压缩不但能节约磁盘空间，而且也能节省集群间网络带宽的损耗，从而间接提高了集群任务的整体执行效率，hadoop已经自带支持一些比较常用的压缩，如gz，bz等，使用hadoop checknative -a命令可以查看hadoop支持的几种压缩格式。主流的HBase压...

Backgroundhbase集群是基于CDH搭建的，版本2.1.0+cdh6.2.01、HBCKhbck是HBase最基本运维工具。作用：检查集群上region的一致性。根据检查结果使用相应的命令进行修复。注意：部分命令在HBase version 2.0+已经不支持了。使用示例：# 查看表cloudansys:gps的region状态hbase hbck 'cloudansys:gps'2、HFile作用：检查当前某个具体的HFile的内容/元数据。当业务上发现某个re

Backgroud最近遇到这样一个情况：基于CDH6.2在国科云上搭建了一套大数据的环境，没有给v-p-n，在内网可以正常访问Kafka集群，但是在window开发环境下无法访问（其实是无法访问9092端口，无法生产和消费数据），通过尝试最终解决问题，如下记录：修改kafka.properties在kafka.properties中添加下面两行，node01是Kafka节点IP。但是在CDH环境下，kafka.properties是动态生成的，直接修改配置文件没用，需要在CDH的管理界面修改配

Background在公司搭建了一套大数据平台 ，基于CDH6.2，在使用过程遇到的问题会在此记录，以便在以后的工作中不断完善。Trouble 1Host Cloud01 has upper-case characters in its name. Authentication through Kerberos will not work correctly in this case.solution：主机名host尽量不要使用大写。Trouble 2Java HotSpot(T

Backgroundkafka-manager（目前已更名为CMAK）是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。我们这里一切从头开始安装。此次jdk版本选用【jdk1.8.0_301】；JDK8官网下载地址。此次Kafka的版本选用【kafka_2.12-2.4.1】；kafka官网下载地址。Kafka-Manager的版本选用【kafka-manager-1.3.3.4】；kafka-manager官网下载地址。这里给出安装包，

Background不同类型的传感器数据频率不同，低频的有的几分钟一个数，高频的有的一秒几十个数、几百个数。低频数据可以使用传统的mysql进行数据的存储。但数据频率比较高时，对程序的计算能力和数据存储能力要求较高，还好有现成的轮子可以直接拿来使用。本文介绍高频数据流的实时计算和存储，应用场景选用风电塔筒提升监测为例。之前的博客中也有探索，这里算是总结下吧，写出来是希望和大家交流，哪里有问题，多多指点哈。这里给出源码【170-tower-lift-processor】，但是你拿到肯定是起不来的，

Background作为时许数据库，从设计原则上来说，为了提高写入和查询的性能，在数据删除、更新等操作上进行了严格的限制，influxdb人家也是不提倡对数据进行删除修改操作的，大数据Hadoop上亦是如此。具体就不深入探讨，这里写删除的脚本确实业务上有这样的要求（那个数据有问题啊、当时传感器受到波动、客户不想看到这样的数据等等，当然这些问题通过数据预处理可以解决，但是怎么解决也需要提前说啊，通常是看到数据有问题才说有问题。。），官方的相关命令又不太友善，所以开发个脚本一劳永逸。Influxdb官方

Background最近偶然接触到Machbase，发现相关信息很少，于是自己做了一些简单的了解，这里记录下，方便有兴趣的童靴参考哈。1、官方介绍Machbase是韩国的一家公司开发的一款类似InfluxDB、DolphinDB、TDengine等时序数据库产品，不开源，不过单机fog版可以免费试用，具体可以参考官方网站：https://www.machbase.com/product/edge；但是国外的网站访问不便，这里给个下载的链接，想试用的可以下载：下载链接：https://pan.

目录Background1、安装部署2、修改配置3、使用说明Background就不具体介绍OpenTSDB了。这里主要介绍怎么在基于CDH部署的HBase上集成OpenTSDB。之前使用的时序数据库InfluxDB，后面要做平台，不想花钱买InfluxDB集群，就只能上开源的OpenTSDB了，现在只是在测试环境上测试，这里做个记录，方便以后正式上快速安装部署。1、安装部署1.1 安装JDK这个 jdk1.6+ 都行，我这里用的1.8，具体安装就不赘述了。1.2 安装gnuplo

Background这里整理方便自己以后翻阅。具体可参考 官方文档进入数据库命令行influx -username admin -password 'cloudansys[admin]'查看数据库> show databasesname: databasesname----_internaltest使用\切换数据库> use testUsing database test查看所有表> show measurementsname: measureme

Centos7.5+CDH 6.2搭建大数据平台1.CDH介绍2.Cloudera Manager 介绍3.环境准备3.1.节点准备（四个节点）3.2.配置主机名和hosts解析(所有节点)3.3.关闭防火墙3.4.关闭SELinux3.5.配置时间同步3.6.禁用透明大页面压缩，CDH配置需要3.7.优化交换分区4.安装 CM 和 CDH4.1.配置 Cloudera Manager 仓库(所有...

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装简介Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zoo...

Hadoop伪分布式搭建CentOS-6.5-x86_64-minimal.iso 提取码：yuu9jdk-8u191-linux-x64.rpm 提取码：rrkihadoop-2.9.2.tar.gz 提取码：1wr3基本环境准备关闭防火墙[root@Centos ~]# service iptables stop[root@Centos ~]# chkconfig ipt...