- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive数据导出到外部,形成文件
1、hive -e "SET hive.exec.compress.output=false;insert overwrite directory ‘/home/data/’row format delimited fields terminated by ‘,’stored as textfileselect * from table_name;"2、hive -e "select * from table_name“ > file_name
2020-11-17 19:37:05
266
原创 linux查看mysql是否启动
1、在centos6中使用命令 # service mysqld status 或者 # service mysql status 命令来查看mysql 的启动状态如果是 mysqld is stopped 那就说明mysql服务是停止状态，如果是 mysqld is running 那就说明mysql服务是启动状态2、在centos7中还可以使用systemctl status mysqld...
2020-10-09 15:59:48
838
原创 Hive直接读取Mysql中的数据
思考：之前做过Hive和Hbase之间的映射，那必然HIve和Mysql也可以映射，如果能实现映射,那就不需要canal实时同步增量数据了？？那如果实现了映射联查的效果咋样？实现：1、利用三方开源项目实现映射项目地址：https://github.com/stagraqubole/Hive-JDBC-Storage-Handler或https://github.com/KironJ/hive-jdbc-storage-handler2、打包之后上传到对应目录2.1 打包：例如： 2.1.1：
2020-09-28 11:54:27
1969
1
原创 flume配置文件：消费阿里云loghub落地到hdfs,按100M滚动
## Source: Loghub# Sink: HDFS#agent.sources = slssourceagent.sinks = hdfssinkagent.channels = memoryChannel# Configure the source:agent.sources.slssource.type = com.aliyun.loghub.flume.source.LoghubSourceagent.sources.slssource.endpoint = https:/
2020-09-27 11:10:40
321
原创 linux下使用mail发送邮件
一、安装 yum install mailx 二、编辑配置文件------vi /etc/mail.rcset bsdcompatset from=han.zhang@xxxxx.com --邮箱名set smtp=smtps://smtp.exmail.qq.com:465 --三方转服务器，写我的这个就行set smtp-auth-user=han.zhang@XXXXX.com --邮箱名set smtp-auth-password=jcHEg3riMqqqP8Vn --授权码set
2020-09-11 16:41:38
433
原创 flume实时消费阿里loghub的数据并写到本地
一、工具flume+日志服务二、实现1、安装flume(自己百度吧)2、flume外部jar添加lib目录中source：使用阿里的jar包(https://help.aliyun.com/document_detail/123446.html?spm=a2c4g.11186623.6.1091.39dd5cb5N7piPF)sink：我自己写的jar包（如下）package com.han.consumer;import java.io.*;import java.text.Simp
2020-09-02 11:17:17
440
原创 Mysql全量备份及主从配置
引言：生产服务器上有个主数据库，为了不直接操作线上mysql，需要做一台备库。主要步骤：一、全量备份mysql二、备份后的文件发到从库的服务器上三、数据的准备和恢复四、启动服务并配置主从五、注意事项步骤一 全量备份mysql：1、挑选工具percona-xtrabackup1.1、安装依赖wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repoyum -y install perl pe
2020-08-21 18:26:39
332
原创 Ngnix给CDH服务配置反向代理
引言：我的CDH集群放在了内网，因为挖矿病毒攻击了我的集群，所以我把它放在了内网，但是web页面也就无法访问了，所以我用另一台机子做了个反向代理就能用了。一、注意配置nginx的服务器一定是可以访问外网，并且和CDH的服务器是在同一局域网内。如果你是阿里云的服务器一定记得开安全组。二、安装Nginx直接贴一个文章照着装没有错！！！https://www.runoob.com/linux/nginx-install-setup.html三、配置1、/usr/local/webserver/ng
2020-08-13 11:17:27
809
原创 使用本地源搭建ceph存储集群并配置对象网关
前言-最近使用OSS比较多，想着自己搭一套，搜了半天选了ceph，其中的坑也是比较多，所以记录下来，让小伙伴们踩坑少一点。并且我这里是以单机版为例.注意：如果你的服务器是一个裸机那么必然格式化磁盘并且创建文件系统，这里我建议你使用xfs文件系统，因为如果用ext4后面会出现问题，如果用你已经用了ext4也没关系，请看文章末尾。一、搭建ceph本地源1、创建好目录并下载软件包------注意如果网络不行，直接通过url下载在scp过去mkdir-p /var/www/html/ceph/10.2.2
2020-08-04 16:32:07
929
原创 使用本地源手动搭建CDH.6.3.0
**一、前期准备 1、关闭防火墙 2、配置NTP时间同步服务 3、设置SELinux模式 前期准备就不展开网上一搜一大堆，如果你是使用阿里云的服务器那么防火墙和SElnux啥的都不用管。如果你是单节点ntp也不用配**二、准备安装包 1、MYSQL安装包 https://dev.mysql.com/downloads/mysql/5.7.html#downloads 2、JDBC 驱动包 wget https://dev.mysql.com/get
2020-08-04 14:30:57
564
原创 阿里OSS服务与文件系统的对比
最近在用阿里云的许多组件,oss即是其中之一,于是在脑海中浮现出了oss和文件系统之间的区别,自己总结的没有阿里全面，于是附上地址，方便大家学习。**https://help.aliyun.com/document_detail/31827.html**...
2020-07-02 19:37:24
1092
原创 HIVE解析json格式数据
1.最近遇到一个需求，数据是这样的：| id | conditions ||312|{“diyItems”:[{“a”:510723474755551232,“b”:1,“c”:80,“d”:507,“e”:2,“f”:45,“g”:30},{“a”:495134318704852992,“b”:2,“c”:90,“d”:229,“e”:0,“f”:48,“g”:118},{“a”:568838501110611968,“b”:3,“c”:90,“d”:642,“e”:0,“f”:44,“g”:69}]
2020-06-29 10:53:17
454
原创 使用Go语言重构Python数据采集功能
Python和Go真是一对难兄难弟大家好，这篇文章主要是在我做需求的时候的所思所感，很多代码没优化甚至写的相当矬，期望大家勇于提出问题大家一块进步。剖析需求我们公司主要做的是某款电商APP，主要数据分为两种一是支撑OLTP的业务数据，二是支撑OLAP的历史数据和日志数据，对于业务数据一般是存在Mysql中，这个无需详细展开，对于历史数据，记录的是某些数据的历史状态变化，从而根据需求发掘出数据本身的价值，对于日志数据，主要记录的是用户的行为数据，这次的需求主要是针对前端埋点日志数据进行采集落地。一般来
2020-06-17 21:30:08
867
ceph-10.2.2-0.el7.x86_64.rpm
2020-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人