- 博客(18)
- 收藏
- 关注
RSS订阅原创 hbase的读写流程
hbase的读写流程 1）Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息； 2）根据namespace、表名和rowkey在meta表中找到对应的region信息； 3）找到这个region对应的regionserver； 4）查找对应的region； 5）先从MemStore找数据，如果没有，再到B...
2019-09-22 22:27:19
282
原创 关于lua中ipairs/paris的区别
tbl1 = {[1]="hello",[2]="world", [4]="lua", [5]="java"} for index,value in ipairs(tbl1) do print(index, value) end print("----------") for index,value in pairs(tbl1) do print(inde...
2019-09-21 23:38:47
670
原创 DataFrame 去重函数
DataFrame 去重函数 去重数据： distinct // Returns a new Dataset that contains only the unique rows from this Dataset def distinct(): Dataset[T] = dropDuplicates() 去重函数： dropDuplicates def dropDuplicates(c...
2019-09-15 23:19:36
911
原创 关于日期转换的问题SimpleDateFormat和FastDateFormat的问题
使用FastDateFormat进行日期的转换 /** 获取当前的日期，格式为:20190910 */ def getTodayDate(): String = { // a. 获取当前日期 val nowDate = new Date() // b. 转换日期格式 FastDateFormat.getInstance(“yyyyMMdd”).format(nowDate) } 由于JDK里自...
2019-09-15 18:02:27
715
原创 hbase禁用一张表和把禁用的一张表恢复状态
首先需要先让该表为disable状态，使用命令： disable ‘表名’ 然后才能drop这个表，使用命令： drop ‘表名’ (注意：如果直接drop表，会报错：Drop the named table. Table must first be disabled) 但是，如果禁用一张表之后发现不想删除了，可以用enable ‘表名’ 把表的状态恢复过来。 ...
2019-08-15 21:18:56
2718
原创 关于flume的采集数据源类型、channel的类型、拦截器、选择器使用
sources exec类型执行一条命令 a1.sources.s1.type = exec a1.sources.s1.command = tail -f /export/datas/shells/access.log channel memory类型存到内存中 agent.channels.c1.type = memory #channel的容量最多能存多少个event agent.chann...
2019-08-10 12:10:42
1379
原创 flume把日志从文件夹中采集hdfs上配置文件
The configuration file needs to define the sources, the channels and the sinks. Sources, channels and sinks are defined per agent, in this case called ‘agent’ #init agent.sources = s1 agent.channels =...
2019-08-10 10:44:33
447
原创 hive的客户端与服务端的启动顺序
hive 的启动 6-Hive的客户端与服务端 -》Hive shell Cli -》bin/hive -》HiveServer and Beeline[实际工作中用它] -》启动服务端：hiveserver2 10000 之前启动：前台启动 bin/hiveserver2 netstat -at...
2019-08-08 08:28:36
724
原创 关于Hadoop的历史服务YARN日志聚集的开启，和启动顺序
-》学习时常用的配置（必配） -》MapReduce的历史服务：JobHistory -》修改机器上的mapred-site.xml <!--配置MapReduce的JobHistory rpc--> <property> <name>mapreduce.jobhistory.address</name&g...
2019-08-08 08:26:26
284
原创 关于hive中的sql语句中的排序关键词的使用
排序： order by：全局排序，只能有一个reduce sort by：在多个reduce的情况下，指定每个reduce内部按照什么进行排序 distribute by：指定当前SQL语句在转化成MapReduce时，按照什么来分区 cluster by:distribute by + sort by 如果同一个字段，可以直接使用 cluster by ...
2019-08-07 15:54:28
629
原创 hadoop中常用的集群配置
** core-site.xml 文件中的配置 ** fs.trash.interval 10080 hdfs-site.xml 文件中的配置 dfs.namenode.name.dir file:///export/servers/hadoop-2.7.5/data/dfs/nn/name1,file:///export/servers/hadoop-2.7.5/data/...
2019-08-07 11:17:35
179
原创 关于hadoop中需要修改的配置
-》HDFS: NameNode本地元数据的存储：dfs.namenode.name.dir 存储fsimage/edits：可以设置多个目录，以逗号隔开 复制到多个目录 DataNode数据块的存储：dfs.datanode.data.dir 存储HDFS的 上数据：可以设置多个目录，以逗号隔开 ...
2019-08-07 10:13:08
553
原创 hadoop-mapreduce模板
package com.it.userwritable; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org...
2019-08-03 14:53:03
161
原创 此maven依赖打包只能应用于子项目不能应用于父项目
org.apache.maven.plugins maven-shade-plugin 2.4.3 package ...
2019-08-02 22:03:00
429
原创 linux彻底删除MySQL数据库
一、使用命令查看当前安装mysql情况，查找以前是否装有mysql （1） rpm -qa|grep -i mysql 可以看到安装的MySQL的信息。 二、停止mysql服务、删除之前安装的mysql 删除命令：删除第一步查询到的安装信息 例如： rpm -ev MySQL-client-5.5.25a-1.rhel5 ...
2019-07-23 18:32:17
4998
原创 eclipse中快捷键alt+/提示自动补全，每次按一下就会变一下提示的内容，有时候想第一次提示出来Default Proposals
应该是首发，在网上找了半天没找到方法 没有修改前如下： 比如想输入scanner类。 第一次输入sc,按快捷键alt+/提示下图 第二次又按一次alt+/提示换了一下，最后才出来想要的结果。 看下面几张图片。 修改后如下： 第一次按alt+/出现如下： 下面给出操作步骤： 如图： Window -> Preferences -> Java -> Editor -> Co...
2019-04-16 17:22:03
6724
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人