- 博客(18)
- 收藏
- 关注
RSS订阅原创 hbase的读写流程
hbase的读写流程1）Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；2）根据namespace、表名和rowkey在meta表中找到对应的region信息；3）找到这个region对应的regionserver；4）查找对应的region；5）先从MemStore找数据，如果没有，再到B...
2019-09-22 22:27:19
224
原创 关于lua中ipairs/paris的区别
tbl1 = {[1]="hello",[2]="world", [4]="lua", [5]="java"}for index,value in ipairs(tbl1)do print(index, value)endprint("----------")for index,value in pairs(tbl1)do print(inde...
2019-09-21 23:38:47
581
原创 DataFrame 去重函数
DataFrame 去重函数去重数据： distinct// Returns a new Dataset that contains only the unique rows from thisDatasetdef distinct(): Dataset[T] = dropDuplicates()去重函数： dropDuplicates def dropDuplicates(c...
2019-09-15 23:19:36
828
原创 关于日期转换的问题SimpleDateFormat和FastDateFormat的问题
使用FastDateFormat进行日期的转换/**获取当前的日期，格式为:20190910*/def getTodayDate(): String = {// a. 获取当前日期val nowDate = new Date()// b. 转换日期格式FastDateFormat.getInstance(“yyyyMMdd”).format(nowDate)}由于JDK里自...
2019-09-15 18:02:27
621
原创 hbase禁用一张表和把禁用的一张表恢复状态
首先需要先让该表为disable状态，使用命令：disable ‘表名’然后才能drop这个表，使用命令：drop ‘表名’(注意：如果直接drop表，会报错：Drop the named table. Table must first be disabled)但是，如果禁用一张表之后发现不想删除了，可以用enable ‘表名’ 把表的状态恢复过来。...
2019-08-15 21:18:56
2549
原创 关于flume的采集数据源类型、channel的类型、拦截器、选择器使用
sourcesexec类型执行一条命令a1.sources.s1.type = execa1.sources.s1.command = tail -f /export/datas/shells/access.logchannelmemory类型存到内存中agent.channels.c1.type = memory#channel的容量最多能存多少个eventagent.chann...
2019-08-10 12:10:42
1276
原创 flume把日志从文件夹中采集hdfs上配置文件
The configuration file needs to define the sources,the channels and the sinks.Sources, channels and sinks are defined per agent,in this case called ‘agent’#initagent.sources = s1agent.channels =...
2019-08-10 10:44:33
388
原创 hive的客户端与服务端的启动顺序
hive 的启动 6-Hive的客户端与服务端 -》Hive shell Cli -》bin/hive -》HiveServer and Beeline[实际工作中用它] -》启动服务端：hiveserver2 10000 之前启动：前台启动 bin/hiveserver2 netstat -at...
2019-08-08 08:28:36
618
原创 关于Hadoop的历史服务YARN日志聚集的开启，和启动顺序
-》学习时常用的配置（必配）-》MapReduce的历史服务：JobHistory -》修改机器上的mapred-site.xml <!--配置MapReduce的JobHistory rpc--> <property> <name>mapreduce.jobhistory.address</name&g...
2019-08-08 08:26:26
244
原创 关于hive中的sql语句中的排序关键词的使用
排序： order by：全局排序，只能有一个reduce sort by：在多个reduce的情况下，指定每个reduce内部按照什么进行排序 distribute by：指定当前SQL语句在转化成MapReduce时，按照什么来分区 cluster by:distribute by + sort by 如果同一个字段，可以直接使用 cluster by...
2019-08-07 15:54:28
536
原创 hadoop中常用的集群配置
**core-site.xml 文件中的配置** fs.trash.interval 10080hdfs-site.xml 文件中的配置 dfs.namenode.name.dir file:///export/servers/hadoop-2.7.5/data/dfs/nn/name1,file:///export/servers/hadoop-2.7.5/data/...
2019-08-07 11:17:35
122
原创 关于hadoop中需要修改的配置
-》HDFS: NameNode本地元数据的存储：dfs.namenode.name.dir 存储fsimage/edits：可以设置多个目录，以逗号隔开 复制到多个目录 DataNode数据块的存储：dfs.datanode.data.dir 存储HDFS的 上数据：可以设置多个目录，以逗号隔开 ...
2019-08-07 10:13:08
471
原创 hadoop-mapreduce模板
package com.it.userwritable;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org...
2019-08-03 14:53:03
120
原创 此maven依赖打包只能应用于子项目不能应用于父项目
org.apache.maven.plugins maven-shade-plugin 2.4.3 package ...
2019-08-02 22:03:00
390
原创 linux彻底删除MySQL数据库
一、使用命令查看当前安装mysql情况，查找以前是否装有mysql（1） rpm -qa|grep -i mysql可以看到安装的MySQL的信息。二、停止mysql服务、删除之前安装的mysql删除命令：删除第一步查询到的安装信息 例如： rpm -ev MySQL-client-5.5.25a-1.rhel5 ...
2019-07-23 18:32:17
4847
原创 eclipse中快捷键alt+/提示自动补全，每次按一下就会变一下提示的内容，有时候想第一次提示出来Default Proposals
应该是首发，在网上找了半天没找到方法没有修改前如下：比如想输入scanner类。第一次输入sc,按快捷键alt+/提示下图第二次又按一次alt+/提示换了一下，最后才出来想要的结果。看下面几张图片。修改后如下：第一次按alt+/出现如下：下面给出操作步骤：如图：Window -> Preferences -> Java -> Editor -> Co...
2019-04-16 17:22:03
6592
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人