zwmonk的博客

从centos06过来的人喜欢使用命令行性质的黑窗口。显然cnetos7中的inittab中已经无法修改，但还是可以看到修改方法介绍。命令行中：cat /etc/inittab获取当前模式 systemctl get-default修改启动模式为命令行模式 systemctl set-default multi-user.target1.在安装集群之前请确保系统安装了jdk等必备软件。开始克隆虚拟机。2.修改虚拟机名称和存放位置，选择完整克隆，不要链接克隆。一路下一步等待3.克隆完成修改完

本来以为学习一下clickhouse，不料都装好了，报错，系统不兼容环境不行，群友们助攻逼着我需要重新安装一个centos7系统，不得发福利来了，记录一下装机过程。1.去阿里镜像站下载一个镜像包http://mirrors.aliyun.com/centos/7/isos/x86_64/2.打开VMware，选择创建虚拟机-自定义3.一路默认下一步。选择稍后安装虚拟机系统4.选择linux操作系统5.选择虚拟机内存，看自己的宿主机情况而定6.选择网络类型7.继续一路默认选择

最近在做需求发现算周表的时候将数据存储在每个星期的周一。在国内的语法实现完全没问题，但是将相同的脚本发送给海外部署新加坡站点俄罗斯站点部署时在国内测试通过的语句。在海外部署报错语法错误，这不折磨一通，难道hive不是适合国际化的趋势吗？研究发现果不其然还真是不是兼通海内外，随着我的排查思路待我慢慢道来。就拿今天举例子吧，且看日历第一种实现：就什么时间格式转换且自己自行百度转换成标准时间格式xxxx-xx-xx就okhive计算周一的日期；SELECT DATE_SUB(‘2020-09-05’,

经典hive面试题输入1,2,4,5,6,8,9输出 就是能连续上的搞在一起 用hive解决1,24,5,68,9直接进入主题：建表CREATE TABLE people(number varchar(256),id int,pt_d int)ROW FORMAT SERDE‘org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe’STORED AS INPUTFORMAT‘org.apache.hadoop.mapred.Te

在hive3.0之前我们一般建立hive外部表后，遇到增加字段或者修改字段类型长度等，我们习惯做法，删表重建后全表修复文件MSCK REPAIR TABLE table_name，一般对于没有错误历史数据的表，这样修复是可以的。但是我们如果遇到一些比较复杂的场景，这时我们只需要修复特定分区即可 MSCK REPAIR TABLE table_name partition（pt_d=‘2020033...

这里没有单独的清空数据的命令，这里要达到清空数据的目的只需要以下步骤：一、如果当前topic没有使用过即没有传输过信息：可以彻底删除。二、 如果当前topic有使用过即有过传输过信息：并没有真正删除topic只是把这个topic标记为删除（marked for deletion）。想要彻底删除topic数据要经过下面两个步骤：①：删除topic,重新用创建topic语句进行创建topic②...

pom文件package cm.zhang.com.zhang.mapreduce;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.ap...

有两个很大文件，两个文件中存储的都是url，求出两个文件中相同的url大文件的时候怎么办？我们也采用分而治之的思想：将两个大文件都进行切分，每个大文件都切成多个小文件一个大任务=4*4个小任务这样虽然可以达到目的但是效率太低？怎么办？排序，切分（规则同一） 最终将任务减少到4个但是大文件排序仍然是一个非常消耗性能的事情，如果不需要排序就可做到这个效果尽量不要排序怎么办？ has...

有一个很大（4T）的文件，文件中存储的是ip 每行存储一个 要求求出出现次数最多的那个ippackage day2;import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.util.HashMap;import java.util.Iterat...

HBase 整合 Hive1、原理Hive 与 HBase 利用两者本身对外的 API 来实现整合，主要是靠 HBaseStorageHandler 进行通信，利用 HBaseStorageHandler，Hive 可以获取到 Hive 表对应的 HBase 表名，列簇以及列，InputFormat 和 OutputFormat 类，创建和删除 HBase 表等。Hive 访问 HBas...

package hbase.com.cn.hbase;import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.had...

package hbase.com.cn.hbase;import java.io.BufferedReader;import java.io.FileReader;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Config...

1、 先进入 hbase shell 命令行在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hbase shell 客户端[root@hadoop01 ~]# hbase shell2、 进入之后先别着急，先看一下提示。其实是不是有一句很重要的话：HBase Shell; enter ‘help’ for list of supported commands...

#!/bin/sh###############collect mysql data import into hdfs约定：变量都用大写，多个单词之间使用下划线分割mysql: test/t_userhdfs : /input/data-clean/t_user在""中会执行``命令，但是在’'中，无法解析${}#################source配置文件functi...

###########################################################主要作用是监听目录中的新增文件，采集到数据之后，输出到hdfs#########################################################a1.sources = r1a1.sinks = k1a1.channels = c1#对...

import java.io.IOException;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase...