- 博客(37)
- 资源 (1)
- 收藏
- 关注
原创 行转列
行转列===》select name,max(case course when '语文' then score else 0 end) as chinese,max(case course when '数学' then score else 0 end) as mach,max(case course when '英语' then score else 0 end) as english...
2020-04-10 12:58:04
196
转载 navicat for mysql 链接时报错:1251-Client does not support authentication protocol requested by server
https://my.oschina.net/u/3295928/blog/1811804
2019-12-24 16:27:16
258
原创 linux安装mongodb
1、创建仓库sudo yum install -y mongodb-org2、把下面的内容复制进来,保存并退出[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/gpgcheck=0enabled=...
2019-01-22 21:34:34
158
原创 那些磁盘不足导致集群失败的事儿
这里笔者分享自己的一次经历:有一天发现自己的集群启动不起来,jps看了一下,发现是磁盘空间不足。Insufficient space for shared memory file:共享内存文件空间不足下面是我的解决方法:命令:find / -type f -size +500M查看/目录下大于500兆的文件可以看到查询的结果大部分都是/usr/local/kafka/logs/下的...
2019-01-15 22:25:45
1142
原创 子查询需要取表名
我们先来看一个列子:没有取别名的:hive> select user_id,type,cnt,content, > row_number() over(partition by user_id,type order by cnt desc) as rn, > SUBSTR(FROM_UNIXTIME(UNIX_TIMESTAMP()),1,10) ,dt fr...
2019-01-11 21:37:31
1043
原创 sqoop job创建增量表的去重特性
sqoop job如果想使用去重功能可以设置check-column xx-id一般表里的id是自增的,可以设置id。第一次执行这个sqoop job ,可以在hdfs文件中找对应位置,看到数据,也能load到hive表中。那么load之后。再执行这个sqoop job,hdfs文件中就看不到数据了。更不可能load到hive中。这就能表现它的去重性!!!第二次执行sqoop job其实...
2019-01-10 21:52:36
338
原创 github新手上车(创建存储库)
1、创建新存储库在右上角,在您的头像或identicon旁边,单击 然后选择New repository。命名您的存储库hello-world。写一个简短的描述。选择使用自述文件初始化此存储库。简单的存储库就建好了...
2019-01-09 20:22:42
2563
原创 在linux上使用zip压缩
[hadoop@mini01 job]$ zip -r command.zip ./command.job adding: command.job (deflated 59%)[hadoop@mini01 job]$ lscommand.job command.zip
2019-01-08 21:11:29
844
原创 简单的azkaban使用流程
1、在右上角创建一个project2、填写你的project的信息3、点击Upload4、选择你的zip压缩包,点击Upload5、6、点击执行
2019-01-08 21:11:08
246
原创 直接启动hive报错
[hadoop@mini01 hive]$ bin/hiveLogging initialized using configuration in jar:file:/home/hadoop/install/hive/lib/hive-common-0.13.1-cdh5.3.6.jar!/hive-log4j.propertiesException in thread "main" java...
2019-01-07 21:31:55
451
原创 python抽取特征值
from sklearn.feature_extraction import DictVectorizerfrom sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizerfrom sklearn.preprocessing import MinMaxScaler,StandardScalerimport ...
2019-01-04 22:41:48
2374
原创 Spark DataFrame与DataSet
DataFrame=DataSet[Row]在Spark1.6的时候就出了SparkSession,但是当时没有推广起来在Spark2.0的时候完善把SparkContent和SparkSqlContent进行整合DataSet强类型支持SQLkafka分区和消费者的关系kafka分区继承了一个接口实现的是PartitionAssignor,这个接口下面有两个类,RoundRobi...
2019-01-04 22:32:17
160
原创 编程新手需要知道的几个专业名词
很多初学编程的人在学习的过程中,都有一次不好理解的专业名词。这里笔者给大家分享几个:依赖:比如我们在linux上装mysql,总会提示我们需要装依赖。有没有人好奇这个依赖到底是什么呢?其实也很简答,大家都知道,要想盖三层的楼房,必须先要盖底层和第二层,然后才能盖第三层。依赖就好像是底层和第二层的楼房,没有底层和第二层不可能凭空盖第三层。容器...
2019-01-02 23:03:01
2328
原创 浅谈map集合
对于初学者来说,map集合可能会有点难理解。这里笔者给大家总结一下:key 和value是1 1 对应的在map集合中key一定是不同的,不同的key可以对应相同的value比如 zhangsan -->20lisi -->20因为key是不可重复的。...
2019-01-02 22:54:38
158
原创 MapReduce 优化方法
MapReduce 优化方法主要从六个方面考虑:数据输入、Map 阶段、Reduce 阶段、IO 传输、数据倾斜问题和常用的调优参数。6.2.1数据输入(1)合并小文件:在执行 mr 任务前将小文件进行合并,大量的小文件会产生大量的map 任务,增大 map 任务装载次数,而任务的装载比较耗时,从而导致 mr 运行较慢。(2)采用 CombineTextInputFormat 来作为输入,...
2018-12-26 19:42:13
740
原创 Linux上装mysql5.7(傻瓜式)
首先先确认你的机器是否有自带的mysqlrpm -qa | grep mysql如果发现有,那么将其卸载rpm -e --nodeps 指定上一部出来的结果下面开始安装下载mysql的repo源在这里插入代码片wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql-community-re...
2018-12-10 20:40:52
177
原创 org.apache.hadoop.hbase.TableExistsException: hbase:namespace
https://blog.youkuaiyun.com/zhifeiyu2008/article/details/47021445
2018-12-06 21:14:40
285
原创 教你一招:用flume把数据抽到kafka
创建一个消费者,开启消费:(消费的是test02的数据,可更改自行创建)开启水管flume,(监听temData.tsv)这里有一个flume的配置文件(job是我创建在flume目录下的文件夹,job下有flume-kafka.conf的文件)向temData.tsv中写入数据(这里写了个jar包,不停向temData.tsv写入数据)在这里插入代码片a1.sources = ...
2018-12-06 21:12:03
527
1
原创 码云简单上传(下载)
上传:(码云已经有该项目)先add添加到仓库,然后commit最后push一下!想下载的时候(如果IDEA已经有了这个项目):直接pull就好了
2018-12-05 18:04:17
752
原创 kafka命令(0.9版本和0.9+的区别)
转载:http://orchome.com/454创建主题(4个分区,2个副本)bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test查询查询集群描述bin/kafka-topics.sh --describe --zookeepe...
2018-11-30 19:46:11
1694
原创 IDEA的快捷键
IntelliJ Idea 常用快捷键列表Ctrl+Alt+t 选择代码块 try catchAlt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等) mac系统 fn+alt+回车Ctrl+E或者Alt+Shif...
2018-11-28 20:22:48
170
原创 String常用方法
length():求字符串的长度indexOf():求某个字符在字符串中的位置charAt():求一个字符串中某个位置的值equals():比较两个字符串是否相同replace():将字符串中的某些字符用别的字符替换掉。形如replace(“abc”,”ddd”);字符串中的abc将会被ddd替换掉。split():根据给定正则表达式的匹配拆分此字符串。形如 String s = “Th...
2018-11-28 20:18:37
111
原创 一个简单jps软链接
首先找到jdk的位置,然后再jdk的bin目录下就看到你的jps然后把这里的路径映射到 /usr/local/bin然后cd /usr/local/bin查看这样就ok了
2018-11-27 22:22:06
480
原创 Linnux三剑客
Linux三剑客:grep使用正则表达式查询aaa里面的数据cut:默认分隔符是制表符tabgrep -v取反printf条件里面的\n,\t要加上双引号,不然会报错反斜杠不是行的最后一个字符BEGIN的作用:END的作用并没有数据本身在第二行后面加数据,数据本身没有变化在第二行前插入一行数据,数据本身没变替换第二行,数据本身没变字符串替换,数据本身没变改变第三行的数据...
2018-11-26 19:42:33
126
原创 史上最简单的HBase表结构分析(有图有真相)
HBase中有三种东西:RowKey,TimeStamp(时间戳),列族一个RowKey代表一行数据,TimeStamp(时间戳)根据时间的先后可以看作是数据的版本号,而列族下面可以装很多的列。下面我们来看一张表,看完你认为它是几行?没错,答案是一行,可能有人纳闷了,为什么是一行?因为数据都在一个RowKey里,在HBase中,一个RowKey代表一行不理解可以看下面的图,"RK0...
2018-11-24 18:02:44
1498
1
原创 HBase中常见的shell命令
创建一个列族的表:create ‘student’,‘info’创建多个列族的表(一般不超过3个):create ‘t1’, {NAME => ‘f1’}, {NAME => ‘f2’}, {NAME => ‘f3’}增:hbase(main) > put ‘student’,‘1001’,‘info:name’,‘Thomas’hbase(main) > ...
2018-11-24 16:33:52
180
原创 Hbase的HMaster刚起就死(没有/tmp/hbase-root-master.pid)
如果启动Hbase集群出现下面的情况:Habase集群启动后,过一会jps就看不见HMater,但是有 HRegionServer。如下图:浏览器访问http://hadoop01:16010被拒绝。。。想关闭Hbase集群时:如果你集群也这样,那么我们是一样的错误:hbase配置的端口号和hadoop配置的端口号不同导致的也就是Hadoop的conf文件core-site.xml和...
2018-11-21 18:03:11
1971
4
原创 关于Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file: 11043的解决办
今天启动hadoop集群的时候发现有两台机器起不起来,用jps命令报如下的错大致说的是内存不够的意思,然后查了以下,用find / -type f -size +500M命令查看跟目录/下大于500兆的所有文件,结果如下:看到都是kafka里面的的东西,直接cd /usr/local/kafka_2.11-0.8.2.2/logs然后使用du -h命令:可以看到两台机器都用了不少资...
2018-11-19 23:01:50
10989
2020全国行政区划代码.xlsx
2020-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人