hyy_blue的博客

Linux ftp服务器的搭建以及注意事项。

1、走过的弯路网上很多的博客介绍的是增量从某个数据库导入hive，其实就是使用类似于这种的sqoop语句，sqoop import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect "jdbc:sqlserver://IP地址:1433;database=TS_Test" --username sa --password Test6530 --table data --target-dir '/user/hive/wareho

RabbitMQ 学习笔记rabbitMQ基本结构：broker: 消息队列服务进程，此进程包括两个部分 Exchange和queueExchange：消息对列交换机，按照一定的规则将消息路由转发到某个队列，将消息进行过滤。Queue：消息队列，存储消息的队列，消息到达队列并转达给指定的消费方。producer：消息生产者，也就是生产方客户端，生产方客户端将消息发送到MQConsumer:消息消费者，即消费者客户端，接受MQ转发的消息。消息发布接受流程：-----------发送消息1

1、opentsdb介绍opentsdb是基于Hbase的分布式、可伸缩的时间序列数据库。主要用途：就是做监控系统提供最高毫秒级精度的时间序列数据存储，能够长久保存原始数据并且不失精度提供很强的写入能力，支持大并发的数据写入。opentsdb 的简介就不过多的介绍。2、OpenTSDB存储相关的概念在opentsdb中存储的结构是以下面的结构写入的：{ "metric": "单位的名字", "timestamp": db.TIME, "value":

问题：最近用cloudera manager 搭建的hadoop大数据处理平台，因为需求要安装livy、flink,然后自己就手动制作了flink 和livy parcel，（网上有很多的教程）这里我遇到的问题是下载parcel出现哈希验证失败:一开始总是怀疑是parcel的hash值与parcel.sha的hash值不一样，但是我仔细查看了一下，是没有问题的，这里就按照flink为例：FLINK-1.10.2-BIN-SCALA_2.12-el7.parcel.shamanifest.json

利用hive查看Hbase的数据通过建立hive的一个外部表，建立Hbase与hive的关联关系，CREATE EXTERNAL TABLE meter_record (KEY STRING,ID STRING,CUSTID INT, METERID STRING, DATAVALUE STRING, DATATIME STRING, SYSTEMID TINYINT, RECORDTIME TINYINT, RECORDMANID STRING) STORED BY "org.apache.hado